ArticlePDF Available

Abstract and Figures

Nos centraremos en la evaluación internacional PISA (Programme for International Student Assessment) en el área específica de Ciencias, entendida como competencia científica. El programa PISA, dirigido por la OCDE (Organización para la Cooperación y el Desarrollo Económico), se basa en el análisis del rendimiento de estudiantes a partir de pruebas estandarizadas que se realizan cada tres años y que tienen como fin hacer una valoración internacional de las competencias alcanzadas por los alumnos de 15 años. En un primer nivel de discusión, hemos realizado un análisis de las pruebas liberadas de PISA para el área de Ciencias en los años 2000 a 2006, tomando como matriz seis capacidades científicas (reproducción, aplicación, reflexión, transferencia, heurística y argumentación). Hemos concluido que estas pruebas demandan principalmente capacidades científicas de baja complejidad (aplicación y reflexión), con escasa presencia de la mera reproducción. En un segundo nivel de discusión, hemos valorado la distancia existente entre el concepto global de competencia propuesto en el informe DESECO para la OCDE y lo que realmente parece evaluar el programa PISA a la luz de los resultados de nuestros análisis. Según nuestra investigación, PISA parece atomizar la noción de competencia y alejarse de la concepción holística original para evaluar únicamente capacidades que, al ser valoradas individualmente, no parecen mostrar realmente el grado de adquisición de competencias que los estudiantes alcanzan en la escuela.
No caption available
… 
Content may be subject to copyright.
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
La competencia científica y su evaluación.
Análisis de las pruebas estandarizadas de PISA
Scientific competence and its assessment.
Analysis of PISA standardized tests
DOI: 10-4438/1988-592X-RE-2011-360-127
Rafael Yus Ramos
Manuel Fernández Navas
Monsalud Gallardo Gil
Javier Barquín Ruiz
María Pilar Sepúlveda Ruiz
María José Serván Núñez
Universidad de Málaga. Facultad de Ciencias de la Educación. Departamento de Didáctica y Organización
Escolar. Grupo de Investigación HUM-311. Málaga, España.
Resumen
Nos centraremos en la evaluación internacional PISA (Programme for International Student
Assessment) en el área específica de Ciencias, entendida como ‘competencia científica’. El programa PISA,
dirigido por la OCDE (Organización para la Cooperación y Desarrollo Económico), se basa en el análisis del
rendimiento de estudiantes a partir de pruebas estandarizadas que se realizan cada tres años y que tienen como
fin la valoración internacional de las competencias alcanzadas por los alumnos/as de quince años. En un primer
nivel de discusión, hemos realizado un análisis de las pruebas liberadas de PISA para el área de ciencias en los
años 2000 a 2006, tomando como matriz seis capacidades científicas (reproducción, aplicación, reflexión,
transferencia, heurística y argumentación), concluyendo que estas pruebas demandan principalmente
capacidades científicas de baja complejidad (aplicación y reflexión), con escasa presencia de la mera
reproducción en las mismas. En un segundo nivel de discusión, hemos realizado una valoración de la distancia
existente entre el concepto global de competencia propuesto en el informe DeSeCo para la OCDE y lo que
realmente parece evaluar el programa PISA a la luz de los resultados de nuestros análisis. Según nuestra
investigación, PISA parece atomizar la noción de competencia, alejándose con ello de la concepción holística
original, para evaluar únicamente capacidades que, al ser valoradas individualmente, no parecen mostrar
realmente el grado de adquisición de competencias en la escuela por los estudiantes.
Palabras clave: Evaluación; pruebas PISA; competencia científica; competencia; aprender cómo aprender.
Abstract
We will focus on the international evaluation survey PISA (Programme for International Student
Assessment), in the specific area of science, understood as 'scientific literacy’. The PISA programme, led by the
OECD (Organization for Economic Cooperation and Development) analyzes student performance in standardized
tests; they are conducted every three years and are aimed at an international assessment of competencies or
‘literacies’ achieved by fifteen-year-old students all over the world. At a first level of discussion, we conducted an
analysis of the PISA released units in the science domain along the years 2000-2006, on six matrix scientific
capabilities (reproduction, implementation, reflection, transference, heuristics and argumentation); we conclude
that these tests seem to require low level scientific abilities (implementation and reflection), and same way,
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
reproduction capability is not so much requires in the tests. At a second level of discussion, we have tried to assess
the distance between the global concept of competency proposed in the OECD DeSeCo report and what PISA
really seems to assess in the light of the results of our analysis. According to our research, PISA seems to atomize
the notion of competency, thereby moving away from its original holistic approach. When these abilities are
assessed individually they do not actually seem to show the student real performance levels.
Keywords: Assessment; PISA tests; scientific competence; competence; learn how to learn.
Introducción
El presente estudio forma parte de una investigación del Grupo HUM-3111 del Departamento de
Didáctica y Organización Escolar de la Universidad de Málaga, desarrollada en el marco del Proyecto
I+D (ref. SEJ-2007-66967): “La evaluación educativa de los aprendizajes de segundo orden,
aprender cómo aprender, análisis de proyectos internacionales y experimentación de estrategias
alternativas”, financiado por el Ministerio de Ciencia e Innovación (España) y dirigido por D. Ángel
I. Pérez Gómez. En el desarrollo de dicho proyecto se abordó la temática de las competencias básicas
como un mecanismo potencial para el desarrollo de las capacidades útiles para la vida (Pérez Gómez,
Á.I., 2007), específicamente las competencias de orden superior que podrían agruparse bajo el
constructo de “Aprender cómo Aprender” (Hargreaves, 2005). Uno de los propósitos del estudio era
analizar el potencial de las evaluaciones externas y diagnósticas para estimar el grado de adquisición
de estas competencias, recogidas en la nueva reforma educativa española: la Ley Orgánica 2/2006 de
Educación (LOE) (Ministerio de Educación, 2006). Desde este marco, se estableció el objetivo de
estudiar y valorar en qué medida las pruebas del Programa de Evaluación Internacional de Estudiantes
(PISA) miden estas competencias y si de ello se pueden obtener orientaciones para la estrategia de
aprender cómo aprender, en la línea que apuntan algunos autores, como Hernández (2006) y Gil y
Vílchez (2006), quienes encuentran en los informes de PISA una oportunidad estimuladora para
repensar la tarea que se lleva a cabo en los centros, al ponerse en evidencia que la escuela tiende a
enseñar para la reproducción, mientras que las pruebas PISA están dirigidas a la aplicación o
transferencia de conocimientos a situaciones cotidianas. Para este objetivo, dentro del equipo de
investigación se establecieron grupos de trabajo específicos para cada área curricular (como veremos
en el apartado de descripción metodológica), de modo que en este artículo se resumen las principales
conclusiones del área de Ciencias, es decir, la llamada competencia científica, denominada en la LOE
“competencia en el conocimiento y la interacción con el mundo físico”.
Para contextualizar la investigación que desarrollamos en estas páginas, comenzaremos
señalando brevemente el marco general de la investigación, donde incluiremos algunas anotaciones
con respecto a la teoría de los tests, para pasar, seguidamente, a la descripción del proceso
metodológico y el análisis propiamente dicho de las pruebas de PISA en el área de Ciencias.
1 Grupo de Investigación del PAIDI (Plan Andaluz de Investigación, Desarrollo e Innovación): HUM-311, “Innovación e
Investigación educativa en Andalucía”, del Departamento de Didáctica y Organización Escolar de la Universidad de
Málaga, dirigido por Ángel I. Pérez Gómez.
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
Marco general de la investigación
El propósito general del Proyecto I+D2 en el que se inserta nuestra investigación es indagar la
posibilidad de identificar en los estudiantes el grado de adquisición de las competencias de
aprendizaje de segundo orden dentro de los propósitos y principios que orientan toda evaluación
diagnóstica y formativa.
Teniendo en cuenta lo anterior, el grupo de investigación HUM-311, de la mano de su
director, ha tratado de comprender y delimitar la complejidad de competencias y procesos incluidos
en los aprendizajes de segundo orden denominados Aprender cómo Aprender (Hargreaves, 2005),
tratando de establecer un marco operativo que identifique los componentes básicos de esta familia de
competencias de segundo orden en los escenarios escolares.
Los aprendizajes de orden superior o las competencias de Aprender cómo Aprender se
conceptualizan en nuestra investigación como constructos complejos que incluyen inseparables
factores cognitivos y afectivos, que suponen un propósito de autorregulación del proceso de aprender,
una decidida tendencia a comprender los procesos en sus contextos, con el objetivo de facilitar la
actuación competente del sujeto en su entorno, en función del propio proyecto personal, social o
profesional. Por tanto, la evaluación de los aprendizajes de segundo orden, o las competencias de
Aprender cómo Aprender, requiere la atención simultánea tanto a los factores cognitivos de orden
superior como a los factores afectivos o motivacionales que impulsan y estimulan los movimientos de
los aprendices (Pérez Gómez, Á.I., 2007, 2008).
En consonancia con esto, la evaluación externa de los rendimientos educativos, basada en test
estandarizados, de la que PISA forma parte, ha ido evolucionando desde la medición de aspectos
puramente cognitivos a la intención de medir competencias complejas en contextos auténticos. Los
test estandarizados centrados en lo cognitivo, a pesar de estar ligados a poderosos sistemas de
incentivos, se habían mostrado insuficientes para cambiar las prácticas educativas. Como
consecuencia, la evaluación externa ha ido evolucionando intentando proporcionar información más
útil para que los docentes puedan utilizarla a la hora de analizar sus prácticas al mismo tiempo que
cumplen con el propósito de informar a la sociedad y a la administración educativa. Pero esta
evolución es lenta y refleja las contradicciones de intentar medir competencias complejas en
situaciones auténticas con pruebas estandarizadas de lápiz y papel (Cumming y Wyat-Smith, 2009;
Serván, 2011, en prensa).
Con este marco de partida, el grupo de investigación ha analizado los programas más
reconocidos de evaluación diagnóstica de desarrollo de competencias, siendo PISA uno de ellos,
tratando de comprobar su adecuación teórica y práctica a las exigencias delimitadas en el marco
operativo propuesto por el equipo de investigación, como veremos más adelante. Además, en este
análisis, el equipo trata de identificar las fortalezas y debilidades de los programas de evaluación
analizados, tratando de proponer alternativas a través de la experimentación del Portafolios como
estrategia apropiada para la evaluación del desarrollo de la familia de competencias implicadas en los
procesos de Aprender cómo Aprender, a través de la realización de tres estudios de caso.
En el presente artículo, nos centraremos en el análisis desarrollado de las pruebas PISA. Para
comprender el proceso metodológico seguido, debemos indicar previamente que el equipo de
investigación en su conjunto decidió organizarse en torno a tres grupos diferenciados para el análisis
de las pruebas PISA; a cada uno de estos grupos lo denominamos:‘comisiones’. La constitución de
estas comisiones responde a la necesidad de operativizar los análisis en cada una de las áreas de
evaluación abordadas, correspondiendo el artículo que tienen en sus manos al área específica de
Ciencias.
2 SERVÁN NÚÑEZ, M. J. (COORD.) (2011) La evaluación externa de los aprendizajes escolares. Revista Cultura y Educación
(en prensa).
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
Descripción del proceso metodológico de la comisión de Ciencias
La comisión de Ciencias está compuesta por cinco investigadores del grupo HUM-311, del área de
Didáctica y Organización Escolar: cuatro doctores en Ciencias de la Educación y un licenciado en
Pedagogía. Además, cuenta con un investigador doctor experto en Didáctica de las Ciencias, con
amplia trayectoria en este campo, como avalan sus innumerables publicaciones sobre dicha materia.
La investigación de las pruebas de PISA en el área de Ciencias tiene su inicio en el año 2008 a
través de la realización de un estudio preliminar en profundidad de los diferentes marcos teóricos
relacionados tanto con los Informes de PISA como con investigaciones relevantes sobre el ámbito de
las competencias educativas y el constructo de Aprender cómo Aprender en general (Hargreaves,
2005).
Una vez analizados estos marcos teóricos, el grupo de Ciencias decidió pasar al análisis
propiamente dicho de las pruebas de PISA en dicha área. El acceso a todas las pruebas constituyó una
dificultad añadida al proceso metodológico, en tanto que tan sólo pudieron analizarse las pruebas que
ya habían sido liberadas en las publicaciones que se especifican a continuación: Informe Español de
PISA 2006 (4 unidades), marco de la Evaluación de PISA 2006 (16 unidades) y los ítems liberados de
PISA 2000 y 2003 (13 unidades).
Para el análisis de estas pruebas, diseñamos una ficha en formato web, de forma que cada
investigador/a pudiera analizar los ítems de las diferentes pruebas PISA para volcarlos posteriormente
a una base de datos común y analizarlos en SPSS (puede verse, en la figura 1, ficha base de análisis).
Estos análisis ocuparon todo el año 2009, sometiéndose los resultados a continua discusión para llegar
a una triangulación de los mismos en los análisis realizados por cada miembro del grupo. Estos
resultados fueron, además, contrastados con el investigador-experto en Didáctica de las Ciencias, con
objeto de validar los hallazgos, lo que tuvo lugar tanto mediante reuniones presenciales mantenidas
para tal efecto como a través de una Plataforma Virtual, basada en el sistema Moodle. De esta
triangulación, el equipo de investigación en su conjunto, gracias a la guía de su director (el profesor
D. Ángel I. Pérez Gómez), decide emplear en sus análisis una taxonomía de capacidades similar a la
propuesta por Stefan T. Hopmann, Gertrude Brinek y Martin Retzl (2007), como veremos
detenidamente en epígrafe: ‘Análisis de capacidades’.
Analizadas todas las pruebas y extraídos los datos estadísticos, así como las particularidades
que cada investigador/a observa en sus pruebas (lo que llamamos “incidentes críticos”), se vuelve a
someter a análisis las diferentes pruebas, con objeto de redundar y validar los resultados obtenidos.
Cada capacidad establecida a priori se vuelve a valorar en función primero de su presencia en la
prueba y después de su peso en la misma. Así, se establece una gradación de 1 a 3 para indicar qué
capacidad/es aparecen como dominantes y cuáles son más secundarias, tratando de establecer al
mismo tiempo los paralelismos existentes entre éstas y las capacidades definidas por PISA. Como
último paso, todos los frutos de la investigación, conclusiones y resultados, quedan plasmados en un
completo informe sectorial del área de Ciencias.
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
FIGURA I: Ficha base de análisis
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
Sobre la competencia científica
Otro nivel de discusión ha discurrido en torno a la validez de las pruebas de PISA para evaluar
competencias y, en todo caso qué es lo que realmente evalúa.
Para su discusión, debemos comenzar por recordar que la noción de competencia no es
unívoca. Heredada de la formación profesional y las exigencias del mundo empresarial, una persona
es competente para un trabajo determinado cuando tiene capacidad para hacerlo de forma adecuada y
creativa (Cockenill, 1989). En el ámbito de la enseñanza, en el mundo anglosajón este concepto ha
seguido utilizándose desde hace decenios en movimientos de reforma escolar más ajustadas a las
demandas del mercado, siendo los empresarios y empleadores en general los que establecían las
cualidades que perfilan un aprendizaje competente (Mirabile, 1998).
La Organización para la Cooperación y Desarrollo Económico (OCDE) tomó, en los años
1990 esta idea y se propuso impulsar a nivel internacional un cambio de rumbo en los sistemas
educativos de los países miembros, para que enfocaran la enseñanza para lograr aprendizajes más
competentes, con la convicción de que ello redundará en un mayor desarrollo económico en estos
países, en una clara identificación entre aprendizaje competente y aumento de la competitividad
(OECD, 1997). Así lo reflejaba la famosa escalera del conocimiento de North (1998), mediante la que
representaba su idea de que el papel del sistema educativo consiste en enseñar a los estudiantes a
procesar la información para adquirir conocimientos y aprender destrezas. Pero, además, añade el
autor: el conocimiento adoptado debería ponerse en un contexto y aplicarse de modo que se adquieran
competencias personales y en equipo, y con ello se alcance la competitividad.
En pleno debate sobre la noción de competencia en la OCDE, Weinert (2001) ya aportaba una
visión compleja de competencia pues consideraba que esta noción hace referencia a la combinación de
destrezas cognitivas, motivacionales, morales y sociales, potencialmente asimilables por una persona,
que subyacen en el dominio o maestría mediante una comprensión y acciones apropiadas de una serie
de demandas, tareas, problemas y metas.
Tras el largo debate sobre este concepto en el seno de la OCDE (Definition and Selection of
Key Competencies: DeSeCo), Rychen y Salganik (2001), concluyeron que la competencia es una
aproximación funcional frente a demandas y tareas, en las que se requiere no solamente conocimientos
y destrezas sino también estrategias y rutinas necesarias para aplicar este conocimiento y destrezas, así
como emociones y actitudes apropiadas y un manejo efectivo de estos componentes. Algo más
adelante Rychen y Tiana (2004), vuelven a resaltar esta concepción de DeSeCo al definir la
competencia como “un concepto holístico que integra la existencia de demandas externas, los
atributos personales (incluida la ética y los valores) así como el contexto”. Es decir, entendemos que
las competencias son sistemas complejos de pensamiento y actuación, que suponen la combinación de
conocimientos, habilidades, actitudes, valores y emociones (Pérez Gómez, Á.I., 2007, 2008).
De este modo, la noción de competencia conlleva componentes cognitivos pero también
motivacionales, éticos, sociales y conductuales. Combina rasgos estables, resultados de aprendizajes,
sistemas de creencias y valores, y otras características psicológicas. Desde este punto de vista, las
destrezas básicas de lectura, escritura y cálculo son componentes críticos de numerosas competencias.
Mientras que el concepto de competencia se refiere a la habilidad de enfrentarse a demandas de alto
grado de complejidad, e implica sistemas de acción complejos, el término conocimiento se aplica a
hechos o ideas adquiridas mediante estudio, investigación, observación o experiencia, y se refiere a un
cuerpo de información que es comprendido. El término destreza se usa para designar la habilidad de
usar el conocimiento propio en relación con tareas relativamente fáciles de desempeñar. Se reconoce
que la línea entre competencia y destreza es algo borrosa, pero la diferencia conceptual entre estos
términos es real.
Contradictoriamente, cuando se elaboró el programa internacional de evaluación de las
competencias (PISA), se abandonó esta concepción holística y se adoptó un enfoque analítico,
atomizando la competencia en tantas partes como materias académicas de niveles no universitarios,
prestando más atención a una de estas materias en cada trienio, empezando con la competencia lectora
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
(PISA, 2000), seguida de la matemática (PISA, 2003) y finalmente la científica (PISA, 2006). Cada
competencia parcial se definía por un conjunto de capacidades que eran el objeto preciso de
evaluación. Seguramente este enfoque analítico sea más operativo para realizar una tarea tan ardua
como una evaluación internacional, en tanto que da más garantías de implementación y corrección
teóricamente más objetivos, pero decididamente no evalúa la competencia como tal sino meramente
capacidades, como mostramos en la presente investigación (Figura II).
En el caso particular que nos ocupa, la competencia científica fue definida por PISA (2006)
como: La capacidad de emplear el conocimiento científico para identificar problemas, adquirir nuevos
conocimientos, explicar fenómenos científicos y extraer conclusiones basadas en pruebas sobre
cuestiones relacionadas con la ciencia. Además, comporta la comprensión de los rasgos característicos
de la ciencia, entendida como un método del conocimiento y la investigación humanas, la percepción
del modo en que la ciencia y la tecnología conforman nuestro entorno material, intelectual y cultural,
y la disposición a implicarse en asuntos relacionados con la ciencia y con las ideas sobre la ciencia
como un ciudadano reflexivo (OCDE, 2006). Para el programa PISA, la competencia científica
implica tanto la comprensión de conceptos científicos como la capacidad de aplicar una perspectiva
científica y de pensar basándose en pruebas científicas.
Se debe destacar que en el área de Ciencias, PISA muestra una aparente evolución en su
fundamentación teórica desde el año 2000, en la que hablaba de “formación científica”, sin alusión al
concepto de “competencia” (OCDE, 2002). Posteriormente, tras el Informe de DeSeCo (2002), en
PISA de 2003 se empieza a abordar la noción de competencia científica, aunque en los mismos
términos que en año 2000, es decir, como un sumatorio de conocimientos, procesos y situaciones o
contextos (personal, público y global) (OCDE, 2004). Finalmente, en el 2006, año en que se incorpora
la evaluación en el área de Ciencias, se introduce el concepto de competencia científica aplicado a un
individuo concreto, pero manteniendo el objetivo de evaluar ‘conocimiento’ (conceptos) y ‘aplicación
del mismo’ a una situación o contexto (capacidades), añadiendo como única novedad, la ‘disposición’
(actitud) del alumnado hacia las pruebas y el conocimiento científico (OCDE, 2006).
Competencia general
Competencia
lectora
Capa
cidad
1
Capa
cidad
2
Cono
cimie
nto
Competencia
Matemática
Capa
cidad
1
Capa
cidad
2
Cono
cimie
nto
Competencia
científica
Capa
cidad
1
Capa
cidad
2
Cono
cimie
nto
FIGURA II. Proceso de atomización de la competencia en capacidades para su evaluación por PISA
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
Si se acepta la concepción holística de competencia, el dominio de una capacidad sola no hace
competente al aprendiz, sino el dominio de todas, aplicadas de manera global para resolver problemas
de la vida real, máxime cuando algunas de ellas (ej. competencia lectora y competencia matemática)
son claramente transversales. En el caso específico de la competencia científica, es evidente que PISA
evalúa las tres capacidades en que se descompone de forma independiente, no elaborando ninguna
prueba que demande la aplicación combinada o global de las mismas, por lo que ponemos en duda que
esta prueba evalúe realmente la competencia científica. Otro nivel de discusión se plantea en relación
al contexto, ya que la adquisición de una competencia en el contexto académico no asegura que se
domine o aplique en un contexto no académico, en la vida real del aprendiz, que es el contexto en el
que realmente se fraguan las competencias de valor para el mercado de trabajo y la actividad humana
en general.
En suma, para evaluar la competencia sería preciso diseñar pruebas que integraran todas las
competencias específicas de áreas y, dentro de cada área, que integraran todas las capacidades en las
que se basan, sin olvidar el componente actitudinal, normalmente ausente en estas pruebas. PISA ha
optado por un diseño más analítico en su afán de facilitar una mayor fiabilidad estadística en su
corrección. De este modo, no extraña que durante la aplicación de pruebas diseñadas al estilo del
PISA, se advierta que muchas pruebas dirigidas a la evaluación de la competencia científica obtienen
bajos resultados por una baja competencia lectora (ej. no se comprende el enunciado) y/o una baja
competencia matemática (ej. no se sabe interpretar un gráfico), o simplemente porque el aprendiz
muestra actitudes negativas hacia la prueba o su contenido, pero los criterios de corrección no parecen
registrar estas incidencias, perdiéndose la oportunidad de realizar un diagnóstico más global y cercano
a la realidad.
Análisis de capacidades
Debe recordarse aquí que PISA trata de poner de manifiesto las competencias científicas a
través del dominio de los procedimientos científicos que están en la base de las preguntas, la
comprensión de las capacidades que están presentes en su resolución y la valoración de las
actitudes que presenta el alumnado hacia la ciencia actual. Así, PISA evalúa el conocimiento
científico a través de tres dimensiones: a) Los procesos o destrezas científicas; b) Los
conceptos y contenidos científicos; y c) El contexto en que se aplica el conocimiento
científico. Por otra parte, PISA identifica cinco procesos científicos: Reconocer cuestiones
científicamente investigables; identificar las evidencias necesarias en una investigación
científica; extraer o evaluar conclusiones; comunicar conclusiones válidas; demostrar la
comprensión de conceptos científicos en determinadas situaciones. Estos procesos científicos
se organizan en tres grupos de competencias según el tipo de capacidad de pensamiento
predominante que se requiere para resolver las preguntas que se presentan (OCDE, 2006)
(Cuadro I).
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
CUADRO I. Tipos de capacidades en la competencia científica (PISA, 2006)3
Identificar cuestiones
científicas
Reconocer cuestiones susceptibles de ser investigadas científicamente
Identificar términos clave para la búsqueda de información científica
Reconocer los rasgos clave de la investigación científica
Explicar fenómenos
científicos
Aplicar el conocimiento de la ciencia a una situación determinada
Describir o interpretar fenómenos científicamente y predecir cambios
Identificar las descripciones, explicaciones y predicciones apropiadas
Utilizar pruebas
científicas
Interpretar pruebas científicas y elaborar y comunicar conclusiones
Identificar los supuestos, las pruebas y los razonamientos que subyacen a las
conclusiones
Reflexionar sobre las implicaciones sociales de los avances científicos y
tecnológicos
Con independencia de estas tres capacidades que PISA desglosa como partes de lo que
denomina competencia científica, hemos realizado un análisis de las pruebas utilizando una escala de
capacidades científicas basadas en la propuesta de Stefan T. Hopmann, Gertrude Brinek y Martin
Retzl (2007), como ya indicábamos brevemente en el apartado de descripción metodológica (Cuadro
II).
Cuadro II. Capacidades registradas en las pruebas liberadas de PISA (2000-2006)4
Orden Capacidad Significado
1 Reproducción
RP Supone repetir de forma mecánica y memorística los conocimientos
científicos
2 Aplicación
AP Consiste en aplicar los conocimientos científicos aprendidos previamente
a situaciones sencillas y/o conocidas
3 Reflexión
RF Implica la comprensión del fenómeno científico y reflexionar sobre los
conocimientos aprendidos en esta área.
4 Transferencia
TR Supone aplicar el conocimiento aprendido a nuevas situaciones,
conectando ideas, conceptos o hechos científicos.
5 Heurística
HE Requiere el diseño de un plan, o la descripción de los pasos que son
necesarios seguir para llegar a dicha solución.
6 Argumentación
AR Requiere razonar de forma argumentada para explicar el fenómeno
científico que se trate, comunicando la conclusión científica a la que se
llegue a través del lenguaje escrito.
3 Elaboración propia.
4 Elaboración propia.
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
Obsérvese que las tareas que requiere cada tipo de capacidad están ordenadas en un orden
creciente de complejidad. De este modo, el nivel más bajo estaría representado por la mera
reproducción del conocimiento científico, que aunque requiere una capacidad de memorización, no
representa un tipo de aprendizaje que pueda considerarse de orden superior, ya que repetir un
conocimiento declarativo no implica necesariamente su comprensión, y menos aún su utilización para
resolver problemas, sean académicos o de la vida cotidiana. En el nivel más alto se situaría una
heurística, en la que el aprendiz muestra habilidad para planificar creativamente un procedimiento
para averiguar o solucionar un problema, sea académico o de la vida cotidiana. Esta escala de
capacidades según su complejidad también representa una escala de apertura intelectual, divergencia y
creatividad, pues se pasa de planteamientos cerrados a planteamientos totalmente abiertos (Figura III).
Estas seis capacidades científicas grosso modo guardan cierta correspondencia con las tres
capacidades definidas y evaluadas por PISA para el área de Ciencias (Cuadro III). Excluimos aquí las
actitudes por no ser un parámetro de capacidad en sentido estricto, aunque bien evaluado podría
aportar bastante luz sobre los resultados en las capacidades, dada la estrecha relación entre lo
cognitivo y lo afectivo.
CUADRO III. Equivalencia de capacidades PISA-HUM311
Capacidades de PISA Capacidades HUM-311(Stefan T. Hopmann,
Gertrude Brinek, Martin Retzl, 2007)
1. Identificación de cuestiones científicas 1.-Comprensión/Reflexión
2. Explicación científica de fenómenos 2.-Comunicación Argumentación1
3.Utilización de pruebas científicas 3.-Aplicación/Transferencia
4. Actitudes hacia la Ciencia (–)
(-) 5.-Heurística/Creación
(-) 6.-Reproducción
(1) Este apartado incluye la interpretación de gráficos y tablas.
Resultados y discusión. Capacidades que demanda PISA
A partir del análisis realizado sobre las capacidades que deducimos trata de evaluar las preguntas
liberadas de PISA (2000-2006), obtuvimos los siguientes resultados para cada una de las seis
capacidades definidas y en una gradación de puntuaciones desde el 0 (ausencia) al 3 (Tabla I):
FIGURA III. Jerarquía de capacidades analizadas en pruebas PISA
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
TABLA I. Resultados del análisis de pruebas PISA (% Puntuación máxima)
RP AP RF TR HE AR
No presente 67,73 34,31 1,96 49,02 72,55 54,90
1 12,75 28,31 12,75 12,75 1,96 4,90
2 3,92 12,75 26,47 17,65 2,94 9,80
3 0,00 17,65 56,86 1,96 7,84 17,65
NR 19,61 6,86 1,96 18,63 14,71 12,75
Presente 16,67 58,5 96,08 32,36 12,78 32,35
Tomando como referencia la puntuación máxima, los resultados que tomamos como elemento
de análisis se refieren a la diferencia entre el total de puntuaciones no presentes y el resto, lo que nos
ofrece el porcentaje de presencia de cada capacidad en las pruebas analizadas.
A partir del análisis de las pruebas realizado por el grupo de investigación (Gallardo, M.;
Fernádez, M.; Sepúlveda, MªP.; et al.; 2010), encontramos que la capacidad que se requiere en más
ocasiones es la que hemos definido como ‘reflexión o comprensión’ (un 96,08% del total de ítems),
que conlleva el entendimiento del fenómeno científico en cuestión y la reflexión sobre los
conocimientos científicos implicados. En este sentido, encontramos que, en la mayoría de los ítems, la
capacidad de comprensión/reflexión no va más allá de la mera recuperación de información que
aparece en el texto que se presenta al inicio del ítem a modo de estímulo, sin necesidad siquiera de que
el estudiante ponga en relación la información del texto con lo que ya sabe. Muy pocas, no obstante,
reclaman una ‘reproducción’ de conocimientos científicos tal y como hemos definido esta capacidad,
relacionada con la ‘memorización mecánica’. Concretamente, aparece tan sólo en un 16,67% de los
casos, lo que podría relacionarse con la definición de ‘competencia’ que se defiende desde el propio
programa PISA, donde la reproducción queda claramente descartada en la valoración de las
competencias. Por otra parte, también encontramos que son frecuentes las preguntas de ‘aplicación’
(58,5% de los ítems analizados), estando esta aplicación generalmente asociada a los contenidos que
aparecen en la propia prueba. En este sentido, cabe afirmarse que las pruebas que hemos analizado,
salvo en pocas ocasiones, se pueden responder de forma efectiva comprendiendo la información que
se aporta en la misma actividad y aplicando los conocimientos que se suelen presentar en el propio
ítem. En otras ocasiones, hay que aplicar esta comprensión en una situación nueva, es decir, se
requiere ‘transferencia’ del conocimiento, pero ésta aparece tan sólo en un 32,36% de los ítems
analizados. Del mismo modo, encontramos que otra de las capacidades superiores definidas por el
grupo de investigación como la capacidad de diseñar estrategias para resolver la situación planteada,
es decir, la ‘heurística’, aparece en un porcentaje muy bajo en las pruebas analizadas (12,78%).
Por otra parte, en las pruebas examinadas, no siempre se estimula la argumentación, pareciendo que lo
único que interesa es la respuesta ‘aplicada’ por parte del estudiante, el resultado final, y no tanto el
proceso que lleva al alumno/a a dar una u otra respuesta. De hecho, aún considerándose la
argumentación como una de las capacidades más interesantes para la evaluación de competencias en
sentido complejo, tan sólo está presente en un 32,35% de ítems analizados. Nuestro estudio evidencia
que la argumentación es una de las capacidades centrales en la evaluación de la competencia
científica, en tanto que es la capacidad que pone de relieve el pensamiento complejo del estudiante. En
las pruebas analizadas, cuando la ‘argumentación’ está presente, suele implicar un nivel elevado de
dificultad, pero sólo se suele dar como válida una sola respuesta, que es la que obtiene mayor
puntuación, desconsiderándose las relaciones que ha podido establecer el estudiante o las reflexiones
que haya podido realizar. Las preguntas abiertas, donde está presente la capacidad de argumentación,
exigen que el estudiante esté habituado a razonar y a comunicar sus planteamientos, alejándose, por
tanto, del mero ‘reconocimiento’; además, implica que el estudiante sepa leer comprensivamente y
expresarse correctamente por escrito; todo ello de suma relevancia para una auténtica evaluación de
competencias.
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
El Gráfico I nos muestra los resultados obtenidos de nuestro análisis de capacidades de las
pruebas liberadas de PISA (2000-2006).
GRÁFICO I: Modelo obtenido del análisis de capacidades
Este gráfico se obtiene llevando los datos de la tabla anterior (Tabla I) a un sistema de
coordenadas en el que, en abscisas, se sitúan las capacidades examinadas en las pruebas
PISA, ordenadas por orden creciente de complejidad. Con objeto de interpretar este gráfico,
en los Gráficos II y III se muestra una representación ideal del gráfico que se obtendría con
unas pruebas centradas en la evaluación del aprendizaje competencial (Gráfico III) y el que se
obtendría con unas pruebas centradas en la evaluación del aprendizaje culturalista (Gráfico
II). Estos gráficos representan los resultados esperables en sistemas de evaluación
adaptados a dos modelos pedagógicos extremos en función de las capacidades evaluadas: el
modelo culturalista, más centrado en la reproducción del conocimiento científico, y por tanto
más acorde con la escuela tradicional basada en aprendizajes académicos (Gráfico II) y el
modelo competencial, más centrado en la funcionalidad del aprendizaje científico, y por tanto
más acorde con una escuela más moderna, basada en aprendizajes competenciales (Gráfico
III).
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
GRÁFICO II: Modelo de aprendizaje culturalista
GRÁFICO III: Modelo de aprendizaje competencial
El modelo que se obtiene del análisis de las preguntas de PISA (Gráfico I) nos muestra un
modelo intermedio entre los dos extremos señalados, con un claro sesgo hacia las capacidades menos
complejas, pues las tres primeras reúnen el 68,8% de las preguntas, frente al 31,2% de las tres últimas,
consideradas más complejas. Lo relevante de este análisis es que, a nuestro juicio, el marco teórico de
PISA muestra su objetivo de evaluar una enseñanza que corresponde más con el modelo representado
en el Gráfico III, por lo que mostramos nuestras dudas de que, al menos las pruebas liberadas, evalúen
de acuerdo con los objetivos y el modelo de competencia científica que maneja PISA.
Conclusiones
PISA pretende establecer un marco común, internacional, de evaluación del rendimiento de los
estudiantes de quince años, entendido éste como nivel de competencia. Partiendo de esta premisa
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
PISA diseña unas pruebas con el objeto de conocer las capacidades de los estudiantes para analizar y
resolver situaciones determinadas. Es decir, el enfoque de evaluación gira en torno a la valoración de
los conocimientos, capacidades y actitudes que activa un estudiante para dar respuesta a un problema.
Responder a esta demanda requiere la “aplicación” del conocimiento a contextos diversos y que estos
posibiliten la resolución, la comunicación y la adecuada expresión de la respuesta, esto es, que sean
“útiles”. Con lo cual, solventar las situaciones cotidianas supera la mera memorización de conceptos y
reproducción de los mismos y, por el contrario, que el alumnado haya adquirido un aprendizaje
relevante.
Sin embargo, en nuestro análisis, encontramos ciertas limitaciones de cara a la evaluación de la
competencia científica en los términos que define el propio programa PISA –como un ‘saber hacer
complejo’–. En este sentido, consideramos que se debería potenciar una aproximación más holística e
interdisciplinar a las competencias, en tanto que encontramos una falta de correspondencia entre el
concepto de competencia que plantea DeSeCo (2002) y el que plantea PISA (2006), que tiende a
atomizarla adoptando un enfoque analítico, a fragmentarla en disciplinas, capacidades, habilidades y
destrezas según hemos analizado, alejándose con ello de la concepción holística original, obviándose
los componentes motivacionales, sociales y éticos, para evaluar únicamente capacidades que, al ser
valoradas individualmente, parecen no mostrar realmente el grado de adquisición de competencias en
la escuela. La competencia científica es evaluada por PISA a partir de las tres capacidades en que se
descompone de forma independiente, pareciendo prestar escasa atención a la aplicación combinada o
global de las mismas, lo que nos hace dudar de la viabilidad de la prueba para evaluar la competencia
científica.
De esta forma, valoramos que PISA parece alejarse de las capacidades de orden superior, como
son la transferencia, la heurística y la argumentación, demandando con mayor frecuencia capacidades
científicas de baja complejidad (aplicación, reflexión), aunque con escasa presencia de la mera
reproducción (Stefan T. Hopmann, Gertrude Brinek, Martin Retzl, 2007).
Por otra parte, consideramos que se debería aprovechar todo el potencial crítico de las
preguntas, en tanto que un artificio llamativo de las pruebas de PISA parece ser la restricción de los
problemas a contextos puramente académicos, con escasa o nula conexión con los temas transversales
y de la ‘vida real’. Entendemos que la adquisición de una competencia en el contexto académico no
asegura que se domine o aplique en un contexto de la vida real del aprendiz. Es cierto que algunas
actividades plantean cuestiones de salud y medio ambiente, pero no parecen profundizar en ellas, no
plantean preguntas que revelen en profundidad la actitud del alumno/a, ni plantean reflexiones o
dilemas éticos ligados a la actividad científica.
El hecho de que las pruebas deban ser sometidas al análisis estadístico, así como su formato de
‘papel y lápiz’, quizás puede estar en la base de esta desconexión (Pérez Gómez, Á.I. y Soto Gómez,
E.; 2011, en prensa). Entendemos que para realizar un evaluación internacional esta opción puede
facilitar la ardua tarea de implementación y corrección, no obstante, consideramos que no posibilita
evaluar la competencia en los términos anteriormente señalados. Tal como hemos indicado en el
apartado de ‘marco general de la investigación’, creemos que la utilización del portafolios puede ser
un interesante instrumento de evaluación de aprendizajes relevantes, es decir, de los conocimientos,
las habilidades, las actitudes y los valores que un individuo requiere para solventar una situación
concreta, tomando conciencia de forma activa y reflexiva del problema presentado y adoptando
estrategias de forma consciente en su resolución (Pérez Gómez, Á.I., 2007). Esta herramienta permite
adentrarnos en las interpretaciones que realizan los estudiantes de los contextos problemas, del
cuestionamiento al que se someten para responder de forma ajustada y de los argumentos utilizados
para plantear una solución. Somos conscientes de que este tipo de evaluación requiere una inversión
de tiempo mayor, es más costosa desde el punto de vista económico, pero proporciona una mayor
información sobre las competencias adquiridas por el alumnado.
A modo de conclusión final, cabría plantearse para futuras investigaciones si este modelo de
evaluación de competencias que plantea PISA (mediante pruebas estandarizadas) es o debe ser el más
adecuado para las finalidades que se proponen desde el propio Programa de evaluación.
Consideramos, a la luz de nuestra investigación, que se precisan otros modelos más acordes para la
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
evaluación de competencias educativas en sentido holístico. En este sentido, ponemos en duda si la
solución de la evaluación de competencias está en el perfeccionamiento de la prueba PISA o en el
modelo elegido para la evaluación de las mismas.
Referencias bibliográficas
COCKENILL, T. (1989). The kind of competence for rapid change. Personnel Management, September:
52-56.
CUMMING, J. J. Y WYATT-SMITH, C, M. (2009) Framing assessment today for the future : Issues and
challenges. En Cumning, J. J. y Wyat-Smith, C. M. (eds.) Educational assessment in the 21st
century. Springer : Nueva York.
GIL PEREZ, D. Y VILCHEZ, A. (2006). ¿Cómo puede contribuir el proyecto PISA a la mejora de la
enseñanza de las Ciencias (y de otras áreas de conocimiento)?, Revista de Educación.
Extraordinario, 1, 295-331.
HARGREAVES, D.H. (2005). Personalising learning 3: learning to learn & the new technologies.
London: Specialist Schools Trust.
HERNÁNDEZ, F. (2006). El informe PISA: una oportunidad para replantear el sentido del aprender en
la escuela secundaria. Revista de Educación, extraordinario PISA, 357-379.
HOPMANN, S.T.; BRINEK, G.; RETZL, M. (Eds.) (2007). PISA zufolge PISA - PISA According to PISA.
Hält PISA, was es verspricht? Does PISA Keep What It Promises? Reihe Schulpädagogik und
Pädagogische Psychologie, Bd.6. Germany: Wien Lit-Verlag.
LEVY, F. Y MURNANE, R.J. (1999). Are There Key Competencies Critical to Economic Success? An
Economics Perspective, DeSeCo Expert Report. Neuchâtel: Swiss Federal Statistical Office.
MINISTERIO DE EDUCACIÓN (2006). Ley Orgánica 2/2006, de 3 de mayo, de Educación. Boletín
Oficial del Estado, nº196 (4 de mayo), 17158-17207.
MIRABILE, R.J. (1998). Leadership Competency Development. Management Development
Forum, 1 (2).
NORTH, K. (1998). Wissenorientierte Unternehmensführung. Wiesbaden, Gabler: Westschöpfung
durch Wissen.
OECD Y HUMAN RESSOURCES DEVELOPMENT CANADA (1997). Literacy skills for the knowledge
society. Further results from the International Adult Literacy Survey. Paris: Organisation for
Economic Cooperation and Development and Human Ressources Development Canada.
ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICO (OCDE) (2002).
Conocimientos y aptitudes para la vida. Primeros resultados del PISA 2000 de la OCDE.
Madrid: Santillana-MEC.
ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICO (OCDE) (2004). Marcos
teóricos de PISA 2003. Conocimientos y destrezas en Matemáticas, Lectura, Ciencias y
Solución de problemas. Madrid: Santillana-MEC.
ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICO (OCDE) (2006). PISA 2006.
Marco de la evaluación. Conocimientos y habilidades en Ciencias, Matemáticas y Lectura.
Madrid: Santillana-MEC.
OÑORBE, A. (2008). Las pruebas de evaluación en Ciencias del proyecto PISA. Alambique, 57, 41-52.
PÉREZ GÓMEZ, Á.I. (2007). La naturaleza de las competencias básicas y sus aplicaciones
pedagógicas. Cuadernos de Educación de Cantabria. Gobierno de Cantabria. Consejería de
Educación.
PÉREZ GÓMEZ, Á.I. (2008). ¿Competencias o pensamiento práctico? La construcción de los
significados de representación y acción. En Gimeno, J. (comp.), Educar por competencias, ¿qué
hay de nuevo? Madrid: Morata.
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
PÉREZ GÓMEZ, Á.I. Y SOTO GÓMEZ, E. (2011). Luces y sombras de PISA. Evaluación de capacidades
de razonamiento sobre problemas cotidianos. Revista Cultura y Educación (en prensa).
RYCHEN, D.S. Y SALGANIK, L.H. (2001). Defining and Selecting Key Competencies. Seattle: Hogrefe
& Huber.
RYCHEN, D.S. Y TIANA, A. (2004). Developing key competencies in education: some lessons from
international experiencie. Paris: Unesco.
SERVÁN NÚÑEZ, M. J. (COORD.) (2011). La evaluación externa de los aprendizajes escolares. Revista
Cultura y Educación (en prensa).
WEINERT, F.E. (2001). Concept of competence: A conceptual definition. En Rychen, D.S.; Salganik,
L.H. (eds.), Defining and Selecting Key Competences. Seattle, WA: Hogrefe & Huber, 46.
Fuentes electrónicas
GALLARDO, M.; FERNÁNDEZ, M.; SEPÚLVEDA, MªP.; SERVÁN, MªJ.; YUS, R.; BARQUÍN, J. (2010).
PISA y la competencia científica. Un análisis de las pruebas de PISA en el área de Ciencias.
RELIEVE: Revista Electrónica de Investigación y Evaluación Educativa, 16 (2):
http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICO (OCDE) (2002). La
definición y selección de competencias clave (DeSeCo). Resumen ejecutivo, de:
http://www.OECD.org/edu/statistics/deseco, http://www.deseco.admin.ch
Dirección de contacto: Manuel Fernández Navas. Universidad de Málaga. Facultad de Ciencias de la
Educación. Departamento de Didáctica y Organización Escolar. Grupo de Investigación HUM-311.
Campus de Teatinos, s/n. 29071 Málaga. Málaga, España. E-mail: mfernandez1@uma.es
... El desarrollo de estas subcompetencias supone el de la competencia científica y tecnológica (ocde, 2017). Esta afirmación, unida al hecho de que otros trabajos ponen de manifiesto su validez en este tipo de estudios (Yus et al., 2013), es lo que permite considerar que son adecuadas para este estudio. ...
... La variable Demanda cognitiva no se ajusta a lo establecido en el mg debido a que presenta en mayor medida las demandas de bajo nivel. Este hecho se viene corroborando en diversas investigaciones y programas de evaluación externa (Gallardo-Gil, Mayorga-Fernández y Sierra-Nieto, 2014;Yus et al., 2013) y pone en duda el valor de este tipo de pruebas para la evaluación de la competencia científicotecnológica. ...
Article
Full-text available
This article presents a documentary analysis focused on the external tests assessing the scientific and technological competence in the sixth year of Primary Education from three different points of view. Firstly, we pay attention to its adjustment and adaptation to the variables of the reference theoretical frameworks; secondly, we characterize the presence of scientific and technological competence in the tests and, thirdly, we determine the relationships between the variables and the evaluated competence. 169 activities have been analyzed through triangulation among experts. The results show that the adjustment to the theoretical framework is weak and that the applied competence requires scarce interpretation of data and research design. Finally, there is a symmetrical and positive relationship between cognitive demands and competence level.
... El término "competencia" es entendido como el reflejo de cambio del actual paradigma educativo en el cual docentes y discentes deben asumir, desde un punto de vista práctico e integral, conocimientos, habilidades, y acciones a lo largo de la vida (Biesta, 2015;Rieckmann, 2016). En consecuencia, múltiples proyectos e investigaciones persiguen conocer cuáles son las principales premisas que podrían favorecer su contribución e implantación en diferentes países, especialmente de Europa (cf., Consejo de la Unión Europea, 2014;Pepper, 2011;Pérez y Soto, 2011;Rosenbluth, Cruzat-Mandich, y Ugarte, 2016;Yus et al., 2013). Uno de los más destacados por su impacto y extensión geográfica es la Red Europea de Políticas para la Implementación de las Competencias Clave o Key Competence Network on School Education (KeyCoNet), financiado por el Programa de Aprendizaje Permanente de la Comisión Europea, con el propósito de identificar y analizar iniciativas que faciliten su contribución en la enseñanza obligatoria (Gordon, Rey, Siewiorek, Vivitsou, y von Reis Saari, 2012). ...
... The term «competence« is understood as a reflection of the change in the current educational paradigm through which, from a practical and comprehensive point of view, teachers and learners must assimilate knowledge, skills, and actions throughout life (Biesta, 2015;Rieckmann, 2016). Consequently, multiple projects and investigations seek to learn the main premises that could favor its contribution and implementation in different countries, especially in Europe (cf., Consejo de la Unión Europea, 2014;Pepper, 2011;Pérez & Soto, 2011;Rosenbluth, Cruzat-Mandich, & Ugarte, 2016;Yus et al., 2013). One of the most prominent projects, due to its impact and geographical extension, is the European Network of Policies for the Implementation of Key Skills or Key Competence Network on School Education (KeyCoNet), funded by the European Commission's Lifelong Learning Program, in order to identify and analyze initiatives that facilitate its contribution to compulsory education (Gordon, Rey, Siewiorek, Vivitsou, & von Reis Saari, 2012). ...
Article
Full-text available
The purpose of this study was to know if there was a relation between the perceived competency-based learning and measured learning in TIMSS 2015, by a sample of Spanish and German students. To determine if there was any significant statistical relationship (positive or negative) between the perceived learning of competencies and the learning measured in TIMSS 2015, binary logistic regression analysis was performed in a comparative way between both countries. Participants were 878 students, 523 from Spain and 355 from Germany, from third to sixth school year of primary school. The results showed a high relation between the perceived competency-based learning and the measured learning in TIMSS Mathematics and Sciences, by students of both nationalities. According to the perceived competency-based learning results, the Spanish students presented higher scores of perception in the social and citizenship competencies and learning to learn competencies than the German students. However, no significant statistical differences were found in measured learning in both countries. These results could affirm that the perceived learning could be understood as an influential (and not unique) factor in the measured learning and, on the contrary, a tendency that could relate the high values of perceived learning, according to these results, and the increase in academic performance reported in the international evaluation reports.
... They aim to determine whether students are able to apply what they have learned in the classroom in different situations, both in their own schools and in real life, which requires reasoning skills instead of well-defined procedures that are only helpful to answer direct questions. [2]. In our context, Spanish students scored below the OECD average in both Mathematics and Science in PISA 2018 [3]. ...
Conference Paper
Full-text available
The Spanish curriculum for School Science establishes some objectives related to the development of various scientific practices: raising problems, formulating hypotheses, constructing models, designing resolution strategies, analysing results, etc. Furthermore, it suggests the convenience of proposing relevant contexts from a personal and global perspective (environment, frontiers of science and technology, health, and disease, etc.), in order to show the impact of these disciplines in social development. In addition, the evaluation criteria of School Mathematics, the main focus of this work, include use of problem-solving strategies and generalisation of mathematical research, application of mathematisation processes in everyday contexts, and assessment of modelling as a tool for problem solving, being aware of its effectiveness and limitations. Nevertheless, and despite this curricular development, Spanish students scored below the OECD average in Mathematics and Science in PISA 2018. In this contribution, we present a descriptive analysis of the obstacles faced by 16–17-year-old students when dealing with a contextualised problem about growth of bacteria and how two drugs can help to partially eliminate them. In addition, we analyse the potential of a teaching and learning strategy based on modelling, mainly mathematical, to integrate knowledge about different disciplines. The problem allowed students to work on a variety of concepts and procedures: bacteria and viruses, infection models, numerical successions, resolution of logarithmic and exponential equations, graphic representation of functions, etc. During the development of the activity, several intermediate questions were posed to facilitate its understanding and interpretation, delimiting and structuring the problem. The use of the GeoGebra software was also considered.
... Esta mejora es también, una demanda social puesta de manifiesto reiteradamente por diversos grupos de expertos, que han estudiado el grave problema de la alarmante pérdida de interés por gran parte del alumnado hacia los estudios científicos y la disminución en el número de estudiantes que los cursan (Matthews, 1988;Fensham, 2004;Solbes, Montserrat y Furió, 2007;Vázquez y Manassero, 2008). Ahora bien, la noción de Competencia Científica (en adelante CC), no es unívoca (Yus, et al, 2013), por lo que, antes de continuar, expondremos brevemente cuál es la interpretación que vamos a utilizar aquí: ...
Preprint
Full-text available
En un modelo de enseñanza como investigación, la Evaluación de la Competencia Científica ha de ser planteada de tal forma que contribuya también al impulso y desarrollo de dicha competencia (con todo lo que ello implica). En este documento se revisa detalladamente una propuesta de evaluación coherente con este objetivo fundamental (evaluación como instrumento de aprendizaje). Los autores somos conscientes de la frustración y rechazo que genera entre el profesorado hablar reiteradamente de “evaluar competencias” solo en términos generales. Por ello, las estrategias de evaluación que aquí se exponen, van acompañadas de toda una serie de actividades evaluadoras sobre distintos contenidos de la materia a enseñar, mediante las cuales es posible desarrollar adecuadamente dichas estrategias, tomando como ejemplo el estudio de los movimientos a nivel de Educación Secundaria.
... Responder a dichos desafíos, a través del aprendizaje o conocimiento tecno-científico (ECHEVERRÍA, 2003) exige un conjunto de competencias de orden superior: del "aprender cómo aprender" (HARGREAVES, 2005). Este, involucra constructos complejos de factores cognitivos y afectivos inherentes, de autorregulación del aprender para comprender en función del proyecto personal, social o profesional (YUS et al., 2013); conllevando a un pragmatismo en la resolución de problemas concretos para una mayor utilidad y pertinencia de los contenidos escolares (VALLADARES, 2013). ...
Article
Full-text available
El abordaje curricular aproxima a una explicación sobre las diferencias de resultados de la competencia científica de Perú y Portugal ante los resultados de PISA 2012. En tal propósito, se siguió un proceso de revisión y análisis del contenido de los componentes de la competencia científica declarada en los diseños curriculares de ambos países. Los resultados evidencian, en el caso de la capacidades, que Portugal prioriza ampliamente a la explicación científica; mientras que Perú a la identificación de las cuestiones científicas. Respecto al conocimiento, Portugal incide en los sistemas físicos y de la tierra y del espacio por sobre el realce de la tecnología en Perú; mientras que en las actitudes, varían ligeramente. Las diferencias de organización curricular, hacen apreciables las disparidades en los tiempos curriculares; dado que Portugal destina mayores periodos que Perú; que explicaría el interés por dicha competencia.
... Esta evaluación mostró que las competencias del alumnado de 15 años en España estaban por debajo de la media de los países de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), situación que no ha cambiado en ninguno de los informes sucesivos (OECD, 2004(OECD, , 2007(OECD, , 2010(OECD, , 2014, salvo en el último (OECD, 2016), en que el alumnado ha experimentado una tendencia ligeramente positiva en matemáticas y en lectura con respecto a sus resultados en los anteriores informes, aunque solo consigue escalar por encima de la media de los países de la OCDE en lectura y no significativamente (MECD, 2016b). De nuevo recordar que, si bien los resultados de estas pruebas aportan información fructífera para la investigación educativa (Gil Pérez y Vilches, 2006), dadas sus limitaciones (Alcaraz Salarirche et al., 2013;Pérez y Soto, 2011;Yus Ramos et al., 2013) se deben interpretar con cautela. ...
Thesis
Full-text available
Resumen: Desde la incorporación de las competencias al currículo, su complejidad teórica ha suscitado ciertos interrogantes. Esta tesis doctoral comienza realizando una revisión sistemática y crítica de la investigación sobre este constructo en la etapa de Educación Primaria. Elucidando su conceptualización y analizando sus implicaciones educativas se revela su carácter pluridimensional y la necesidad de adoptar enfoques metodológicos acordes. La emergente educación STEAM integrada —Science, Technology, Engineering, Arts y Mathematics— aborda, mediante metodologías activas y resolución de problemas, contenidos de las diversas disciplinas, adecuándose a la pluridimensionalidad competencial y a la desafiante realidad científico-tecnológica. Así, se construye un encuadre teórico para este enfoque y se diseña e implementa una unidad didáctica evaluando el desarrollo competencial de 121 estudiantes de sexto curso. Los resultados obtenidos, notablemente más elevados que los derivados de la metodología tradicional, evidencian que este enfoque representa una posible vía de mejora del desarrollo competencial del alumnado de Educación Primaria. —————————————————————————————————————————————————Abstract: Since competencies were brought into the curriculum, their theoretical complexity has raised some questions. This doctoral thesis begins with a systematic and critical review of the research on this construct for Primary Education. After elucidating its conceptualization and analyzing its different educational implications, the review revealed the multidimensional character of competencies and the need to adopt appropriate methodological approaches. The emerging integrated STEAM education —Science, Technology, Engineering, Arts and Mathematics— addresses, through active methodologies and the resolution of problems, the content of the different disciplines, adapting to the competence multidimensionality and the challenging scientific and technological reality. Thus, a theoretical framework is constructed for this approach and a didactical unit is designed and implemented, evaluating the competence development of 121 students in the sixth grade. The results obtained, notably higher than the ones derived from traditional methodologies, show that this approach represents a possible way to improve the competence development of primary education students.
... In the work of Ramos (2013) can be observed analysis of the results in the PISA assessment test for the science area, which is understood as scientific competence; this test is carried out on 15-year-old students, and although the research concludes about the low complexity that the test demands, the results that Mexico has are well below the average with 416 points against 493. ...
Article
Full-text available
In the mexican educational context the first grade of high school level means the ending of basic education, which has as porpuse certain achievements at the end. Today in a society with scientific and technological advances it is necessary that each person is scientifically literate. For this research it has been considered as subjects of study to third grade students and this project would help to characterize the needs around scientific literacy in two different specific environments, also giving an idea about the processes and results of educational actions; with the support of a qualitative evaluation by applying a focus group with science teachers, observations to classes, and revision of the student's notebooks as a methodological strategy to triangulate the information obtained. The objective requires the determination of scientific literacy skills that are being fostered in the students considering integrating the results of the study. It is inferred that these are based on the characterization of the skills related to the achievement of the graduate profile that have been identified and the conclusions of the study are about the role of scientific literacy in the development of motives and interests in students to strengthen the science learning. S cientific literacy, S kills, Public high schools Resumen En el contexto educativo mexicano el nivel secundaria es la culminación de la educación básica, que tiene como propósito ciertos logros al finalizarla, hoy día en una sociedad con avances científicos y tecnológicos es necesario que cada persona sea alfabetizada científicamente. Para esta investigación se ha considerado como sujetos de estudio a los alumnos de tercer grado, este proyecto ayudaría a caracterizar las necesidades en torno a la alfabetización científica en dos entornos diferentes específicos y dando una idea acerca de los procesos y resultados de las acciones educativas; con apoyo de una evaluación cualitativa aplicando un grupo focal con los profesores de ciencias, observaciones a clases, y revisión del cuaderno de notas de estudiantes, como estrategia metodológica para triangular la información obtenida. El objetivo precisa la determinación de habilidades de alfabetización científica que están siendo fomentadas en los alumnos, considerando integrar los resultados del estudio. Se infieren que éstos se sustenten en la caracterización de las habilidades relacionadas con el logro del perfil de egresado que se han identificado, las conclusiones del estudio versan sobre el papel de la alfabetización científica en el desarrollo de motivos e intereses en los estudiantes para fortalecer el aprendizaje de ciencias. Alfabetización científica, Habilidades, S ecundarias pública Citation: RODRIGUEZ-RUIZ, Ana Elena, CACERES-MESA, Maritza Librada, MORENO-TAPIA, Javier and RODRIGUEZ-CASTILLO, Mario Emigdio. Scientific literacy. Inquiry on the skills fostered by public high school students .
... Afrontar tales retos, exige un conjunto de competencias de orden superior: "aprender cómo aprender" (Hargreaves, 2005). Un desafío que conlleva a la autorregulación, a fin de orientar los procesos del proyecto personal, social o profesional (Yus, Fernández, Gallardo, Barquín, Sepúlveda y Serván, 2013) hacia la formación permanente. ...
... DE ENCUENTRO -www.auladeencuentro.safa.edu complejo como una competencia (Gallardo et al., 2010; Alcaraz Salarirche et al., 2013; YusRamos et al., 2013). ...
Article
Full-text available
El presente trabajo es fruto de la elaboración del marco teórico para la tesis doctoral del autor en la Universidad de Málaga y focalizada en la enseñanza virtual. Desde hace unos años hasta la actualidad, es innegable que existe un interés muy alto por las administraciones en fomentar tanto el uso de las TIC como la enseñanza virtual, de manera que la oferta de estos ha experimentado un crecimiento casi geométrico. De hecho, la proliferación de actividades académicas de este tipo, sobre todo en las etapas más altas del sistema educativo y fundamentalmente en titulaciones universitarias y másteres es tal, que se prevé que supere a la formación presencial en pocos años. El objetivo de este trabajo es analizar en profundidad cuáles son los motivos que hay detrás de este interés por sumarse a esta nueva modalidad de enseñanza y cuáles son los criterios principales que rigen el diseño de los mismos.
Conference Paper
Full-text available
RESUMEN: Los bajos resultados alcanzados por Chile en la evaluación de competencias científicas hacen necesario explorar con mayor profundidad de qué manera progresan estan competencias a lo largo de la escolaridad. Con este propósito se construyó, validó y aplicó un instrumento de evaluación diagnóstica a 183 estudiantes chilenos de 8º básico. El análisis y discusión de resultados, que son cohe-rentes con los obtenidos en las evaluaciones externas, nos ha permitido construir mapas de progresión del aprendizaje que muestran el desarrollo de las distintas habilidades propuestas en el curriculum.
Article
Full-text available
We intend to show that the PISA Project is potentially a powerful instrument for improving learning, teaching and curricula that has not been well used up to date in our country, thereby giving rise to serious misinterpretations that harm the extension of a quality education. PISA’s potentialities and coherence with educational research contributions are shown and strategies that enable it to play its part in improving the teaching/learning process are proposed. In particular, the paper indicates the need for teachers in general to overcome their lack of knowledge of PISA’s characteristics, an obstacle that has limited the positive influence PISA might have had. In this sense, we recommend a wide-ranging information campaign, as well as profound changes in how results are presented
Article
Full-text available
Assessment—and its interface with curriculum, teaching and learning—has always been a significant component of classroom practice. Research has indicated that typical teachers spend between one-third and one-half of their class time engaged in one or another type of assessment or learning evaluation activity (Stiggins & Conklin, 1992). However, research has also expressed concern that the knowledge that teachers hold about assessment matters has been limited, with scant attention paid to this area in teacher-preparation programs (Christie et al., 1991; Louden et al., 2005; Matters, 2006). Yes Yes
Article
Full-text available
En: Revista de educación Madrid 2006, número extraordinario ; p. 357-379 Se analizan las consecuencias derivadas de la idea de aprendizaje presente en el Programa para la Evaluación Internacional de Alumnos (PISA) en los centros de educación secundaria. Se destaca la poca atención prestada a la contradicción desvelada por el estudio PISA. Se subraya que en la escuela secundaria se tiende a enseñar para la reproducción mientras que en las pruebas PISA se dirigen a comprobar las capacidades de transferencia de conocimientos a situaciones cotidianas; la posición se vincula a las aportaciones de la perspectiva de la cognición situada sobre el aprendizaje. Por último, se señalan entre otros principios: estimular y mantener a los estudiantes implicados y motivados; empezar con lo que los estudiantes consideran como cierto; y enseñar estrategias que permitan clasificar, organizar e interpretar la información, p. 377-379
Article
Though literacy has been measured throughout Organisation for Economic Co-operation and Development (OECD) countries, and indeed, the world, we are still far from assessing a comprehensive set of competencies, particularly key competencies. The project Definition and Selection of Competencies: Theoretical and Conceptual Foundations (DeSeCo), under the auspices of the OECD, is led by the Swiss Federal Statistical Office in collaboration with the US Department of Education, National Center for Education Statistics. Its goal is to conduct research that will help foster the development of the needed framework for defining and selecting key competencies. The contributions published in this volume represent the result of the scholarly work conducted during the 1st phase of the DeSeCo project. This book sounds out perspectives on competencies from different academic principles, as well as from various areas of policy and practice. (PsycINFO Database Record (c) 2012 APA, all rights reserved)
Article
Although research findings support that the nurse manager has a pivotal role in influencing all aspects of the nursing environment, recruiting talented staff into these nursing leadership positions has become increasingly more difficult. There is a need to better understand the competencies needed by contemporary nurse managers and the challenges in the role. The purpose of this research was to explore the viewpoints of 120 nurse manager study participants on the contemporary nurse manager role and to gain perspective on the critical leadership skills and competencies to build a nursing leadership competency model. A grounded theory methodology was used in this study to capture the perspectives of the nurse managers interviewed about their role. Six competency categories emerged from the research findings to form a nursing leadership competency model. Two major themes identified from the data included the nurse manager role as a career choice and the stressors and challenges in the role. The results of this study led to the design of a nursing leadership competency model and confirmed that there is a need to formally develop and mentor our next generation of nurse leaders.
Luces y sombras de PISA. Evaluación de capacidades de razonamiento sobre problemas cotidianos
  • Á I Pérez Gómez
  • E Soto Gómez
PÉREZ GÓMEZ, Á.I. Y SOTO GÓMEZ, E. (2011). Luces y sombras de PISA. Evaluación de capacidades de razonamiento sobre problemas cotidianos. Revista Cultura y Educación (en prensa).
La evaluación externa de los aprendizajes escolares
  • M J Serván Núñez
SERVÁN NÚÑEZ, M. J. (COORD.) (2011). La evaluación externa de los aprendizajes escolares. Revista Cultura y Educación (en prensa).