Content uploaded by M. Pilar Sepúlveda Ruiz
Author content
All content in this area was uploaded by M. Pilar Sepúlveda Ruiz on Apr 04, 2016
Content may be subject to copyright.
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
La competencia científica y su evaluación.
Análisis de las pruebas estandarizadas de PISA
Scientific competence and its assessment.
Analysis of PISA standardized tests
DOI: 10-4438/1988-592X-RE-2011-360-127
Rafael Yus Ramos
Manuel Fernández Navas
Monsalud Gallardo Gil
Javier Barquín Ruiz
María Pilar Sepúlveda Ruiz
María José Serván Núñez
Universidad de Málaga. Facultad de Ciencias de la Educación. Departamento de Didáctica y Organización
Escolar. Grupo de Investigación HUM-311. Málaga, España.
Resumen
Nos centraremos en la evaluación internacional PISA (Programme for International Student
Assessment) en el área específica de Ciencias, entendida como ‘competencia científica’. El programa PISA,
dirigido por la OCDE (Organización para la Cooperación y Desarrollo Económico), se basa en el análisis del
rendimiento de estudiantes a partir de pruebas estandarizadas que se realizan cada tres años y que tienen como
fin la valoración internacional de las competencias alcanzadas por los alumnos/as de quince años. En un primer
nivel de discusión, hemos realizado un análisis de las pruebas liberadas de PISA para el área de ciencias en los
años 2000 a 2006, tomando como matriz seis capacidades científicas (reproducción, aplicación, reflexión,
transferencia, heurística y argumentación), concluyendo que estas pruebas demandan principalmente
capacidades científicas de baja complejidad (aplicación y reflexión), con escasa presencia de la mera
reproducción en las mismas. En un segundo nivel de discusión, hemos realizado una valoración de la distancia
existente entre el concepto global de competencia propuesto en el informe DeSeCo para la OCDE y lo que
realmente parece evaluar el programa PISA a la luz de los resultados de nuestros análisis. Según nuestra
investigación, PISA parece atomizar la noción de competencia, alejándose con ello de la concepción holística
original, para evaluar únicamente capacidades que, al ser valoradas individualmente, no parecen mostrar
realmente el grado de adquisición de competencias en la escuela por los estudiantes.
Palabras clave: Evaluación; pruebas PISA; competencia científica; competencia; aprender cómo aprender.
Abstract
We will focus on the international evaluation survey PISA (Programme for International Student
Assessment), in the specific area of science, understood as 'scientific literacy’. The PISA programme, led by the
OECD (Organization for Economic Cooperation and Development) analyzes student performance in standardized
tests; they are conducted every three years and are aimed at an international assessment of competencies or
‘literacies’ achieved by fifteen-year-old students all over the world. At a first level of discussion, we conducted an
analysis of the PISA released units in the science domain along the years 2000-2006, on six matrix scientific
capabilities (reproduction, implementation, reflection, transference, heuristics and argumentation); we conclude
that these tests seem to require low level scientific abilities (implementation and reflection), and same way,
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
reproduction capability is not so much requires in the tests. At a second level of discussion, we have tried to assess
the distance between the global concept of competency proposed in the OECD DeSeCo report and what PISA
really seems to assess in the light of the results of our analysis. According to our research, PISA seems to atomize
the notion of competency, thereby moving away from its original holistic approach. When these abilities are
assessed individually they do not actually seem to show the student real performance levels.
Keywords: Assessment; PISA tests; scientific competence; competence; learn how to learn.
Introducción
El presente estudio forma parte de una investigación del Grupo HUM-3111 del Departamento de
Didáctica y Organización Escolar de la Universidad de Málaga, desarrollada en el marco del Proyecto
I+D (ref. SEJ-2007-66967): “La evaluación educativa de los aprendizajes de segundo orden,
aprender cómo aprender, análisis de proyectos internacionales y experimentación de estrategias
alternativas”, financiado por el Ministerio de Ciencia e Innovación (España) y dirigido por D. Ángel
I. Pérez Gómez. En el desarrollo de dicho proyecto se abordó la temática de las competencias básicas
como un mecanismo potencial para el desarrollo de las capacidades útiles para la vida (Pérez Gómez,
Á.I., 2007), específicamente las competencias de orden superior que podrían agruparse bajo el
constructo de “Aprender cómo Aprender” (Hargreaves, 2005). Uno de los propósitos del estudio era
analizar el potencial de las evaluaciones externas y diagnósticas para estimar el grado de adquisición
de estas competencias, recogidas en la nueva reforma educativa española: la Ley Orgánica 2/2006 de
Educación (LOE) (Ministerio de Educación, 2006). Desde este marco, se estableció el objetivo de
estudiar y valorar en qué medida las pruebas del Programa de Evaluación Internacional de Estudiantes
(PISA) miden estas competencias y si de ello se pueden obtener orientaciones para la estrategia de
aprender cómo aprender, en la línea que apuntan algunos autores, como Hernández (2006) y Gil y
Vílchez (2006), quienes encuentran en los informes de PISA una oportunidad estimuladora para
repensar la tarea que se lleva a cabo en los centros, al ponerse en evidencia que la escuela tiende a
enseñar para la reproducción, mientras que las pruebas PISA están dirigidas a la aplicación o
transferencia de conocimientos a situaciones cotidianas. Para este objetivo, dentro del equipo de
investigación se establecieron grupos de trabajo específicos para cada área curricular (como veremos
en el apartado de descripción metodológica), de modo que en este artículo se resumen las principales
conclusiones del área de Ciencias, es decir, la llamada competencia científica, denominada en la LOE
“competencia en el conocimiento y la interacción con el mundo físico”.
Para contextualizar la investigación que desarrollamos en estas páginas, comenzaremos
señalando brevemente el marco general de la investigación, donde incluiremos algunas anotaciones
con respecto a la teoría de los tests, para pasar, seguidamente, a la descripción del proceso
metodológico y el análisis propiamente dicho de las pruebas de PISA en el área de Ciencias.
1 Grupo de Investigación del PAIDI (Plan Andaluz de Investigación, Desarrollo e Innovación): HUM-311, “Innovación e
Investigación educativa en Andalucía”, del Departamento de Didáctica y Organización Escolar de la Universidad de
Málaga, dirigido por Ángel I. Pérez Gómez.
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
Marco general de la investigación
El propósito general del Proyecto I+D2 en el que se inserta nuestra investigación es indagar la
posibilidad de identificar en los estudiantes el grado de adquisición de las competencias de
aprendizaje de segundo orden dentro de los propósitos y principios que orientan toda evaluación
diagnóstica y formativa.
Teniendo en cuenta lo anterior, el grupo de investigación HUM-311, de la mano de su
director, ha tratado de comprender y delimitar la complejidad de competencias y procesos incluidos
en los aprendizajes de segundo orden denominados Aprender cómo Aprender (Hargreaves, 2005),
tratando de establecer un marco operativo que identifique los componentes básicos de esta familia de
competencias de segundo orden en los escenarios escolares.
Los aprendizajes de orden superior o las competencias de Aprender cómo Aprender se
conceptualizan en nuestra investigación como constructos complejos que incluyen inseparables
factores cognitivos y afectivos, que suponen un propósito de autorregulación del proceso de aprender,
una decidida tendencia a comprender los procesos en sus contextos, con el objetivo de facilitar la
actuación competente del sujeto en su entorno, en función del propio proyecto personal, social o
profesional. Por tanto, la evaluación de los aprendizajes de segundo orden, o las competencias de
Aprender cómo Aprender, requiere la atención simultánea tanto a los factores cognitivos de orden
superior como a los factores afectivos o motivacionales que impulsan y estimulan los movimientos de
los aprendices (Pérez Gómez, Á.I., 2007, 2008).
En consonancia con esto, la evaluación externa de los rendimientos educativos, basada en test
estandarizados, de la que PISA forma parte, ha ido evolucionando desde la medición de aspectos
puramente cognitivos a la intención de medir competencias complejas en contextos auténticos. Los
test estandarizados centrados en lo cognitivo, a pesar de estar ligados a poderosos sistemas de
incentivos, se habían mostrado insuficientes para cambiar las prácticas educativas. Como
consecuencia, la evaluación externa ha ido evolucionando intentando proporcionar información más
útil para que los docentes puedan utilizarla a la hora de analizar sus prácticas al mismo tiempo que
cumplen con el propósito de informar a la sociedad y a la administración educativa. Pero esta
evolución es lenta y refleja las contradicciones de intentar medir competencias complejas en
situaciones auténticas con pruebas estandarizadas de lápiz y papel (Cumming y Wyat-Smith, 2009;
Serván, 2011, en prensa).
Con este marco de partida, el grupo de investigación ha analizado los programas más
reconocidos de evaluación diagnóstica de desarrollo de competencias, siendo PISA uno de ellos,
tratando de comprobar su adecuación teórica y práctica a las exigencias delimitadas en el marco
operativo propuesto por el equipo de investigación, como veremos más adelante. Además, en este
análisis, el equipo trata de identificar las fortalezas y debilidades de los programas de evaluación
analizados, tratando de proponer alternativas a través de la experimentación del Portafolios como
estrategia apropiada para la evaluación del desarrollo de la familia de competencias implicadas en los
procesos de Aprender cómo Aprender, a través de la realización de tres estudios de caso.
En el presente artículo, nos centraremos en el análisis desarrollado de las pruebas PISA. Para
comprender el proceso metodológico seguido, debemos indicar previamente que el equipo de
investigación en su conjunto decidió organizarse en torno a tres grupos diferenciados para el análisis
de las pruebas PISA; a cada uno de estos grupos lo denominamos:‘comisiones’. La constitución de
estas comisiones responde a la necesidad de operativizar los análisis en cada una de las áreas de
evaluación abordadas, correspondiendo el artículo que tienen en sus manos al área específica de
Ciencias.
2 SERVÁN NÚÑEZ, M. J. (COORD.) (2011) La evaluación externa de los aprendizajes escolares. Revista Cultura y Educación
(en prensa).
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
Descripción del proceso metodológico de la comisión de Ciencias
La comisión de Ciencias está compuesta por cinco investigadores del grupo HUM-311, del área de
Didáctica y Organización Escolar: cuatro doctores en Ciencias de la Educación y un licenciado en
Pedagogía. Además, cuenta con un investigador doctor experto en Didáctica de las Ciencias, con
amplia trayectoria en este campo, como avalan sus innumerables publicaciones sobre dicha materia.
La investigación de las pruebas de PISA en el área de Ciencias tiene su inicio en el año 2008 a
través de la realización de un estudio preliminar en profundidad de los diferentes marcos teóricos
relacionados tanto con los Informes de PISA como con investigaciones relevantes sobre el ámbito de
las competencias educativas y el constructo de Aprender cómo Aprender en general (Hargreaves,
2005).
Una vez analizados estos marcos teóricos, el grupo de Ciencias decidió pasar al análisis
propiamente dicho de las pruebas de PISA en dicha área. El acceso a todas las pruebas constituyó una
dificultad añadida al proceso metodológico, en tanto que tan sólo pudieron analizarse las pruebas que
ya habían sido liberadas en las publicaciones que se especifican a continuación: Informe Español de
PISA 2006 (4 unidades), marco de la Evaluación de PISA 2006 (16 unidades) y los ítems liberados de
PISA 2000 y 2003 (13 unidades).
Para el análisis de estas pruebas, diseñamos una ficha en formato web, de forma que cada
investigador/a pudiera analizar los ítems de las diferentes pruebas PISA para volcarlos posteriormente
a una base de datos común y analizarlos en SPSS (puede verse, en la figura 1, ficha base de análisis).
Estos análisis ocuparon todo el año 2009, sometiéndose los resultados a continua discusión para llegar
a una triangulación de los mismos en los análisis realizados por cada miembro del grupo. Estos
resultados fueron, además, contrastados con el investigador-experto en Didáctica de las Ciencias, con
objeto de validar los hallazgos, lo que tuvo lugar tanto mediante reuniones presenciales mantenidas
para tal efecto como a través de una Plataforma Virtual, basada en el sistema Moodle. De esta
triangulación, el equipo de investigación en su conjunto, gracias a la guía de su director (el profesor
D. Ángel I. Pérez Gómez), decide emplear en sus análisis una taxonomía de capacidades similar a la
propuesta por Stefan T. Hopmann, Gertrude Brinek y Martin Retzl (2007), como veremos
detenidamente en epígrafe: ‘Análisis de capacidades’.
Analizadas todas las pruebas y extraídos los datos estadísticos, así como las particularidades
que cada investigador/a observa en sus pruebas (lo que llamamos “incidentes críticos”), se vuelve a
someter a análisis las diferentes pruebas, con objeto de redundar y validar los resultados obtenidos.
Cada capacidad establecida a priori se vuelve a valorar en función primero de su presencia en la
prueba y después de su peso en la misma. Así, se establece una gradación de 1 a 3 para indicar qué
capacidad/es aparecen como dominantes y cuáles son más secundarias, tratando de establecer al
mismo tiempo los paralelismos existentes entre éstas y las capacidades definidas por PISA. Como
último paso, todos los frutos de la investigación, conclusiones y resultados, quedan plasmados en un
completo informe sectorial del área de Ciencias.
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
FIGURA I: Ficha base de análisis
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
Sobre la competencia científica
Otro nivel de discusión ha discurrido en torno a la validez de las pruebas de PISA para evaluar
competencias y, en todo caso qué es lo que realmente evalúa.
Para su discusión, debemos comenzar por recordar que la noción de competencia no es
unívoca. Heredada de la formación profesional y las exigencias del mundo empresarial, una persona
es competente para un trabajo determinado cuando tiene capacidad para hacerlo de forma adecuada y
creativa (Cockenill, 1989). En el ámbito de la enseñanza, en el mundo anglosajón este concepto ha
seguido utilizándose desde hace decenios en movimientos de reforma escolar más ajustadas a las
demandas del mercado, siendo los empresarios y empleadores en general los que establecían las
cualidades que perfilan un aprendizaje competente (Mirabile, 1998).
La Organización para la Cooperación y Desarrollo Económico (OCDE) tomó, en los años
1990 esta idea y se propuso impulsar a nivel internacional un cambio de rumbo en los sistemas
educativos de los países miembros, para que enfocaran la enseñanza para lograr aprendizajes más
competentes, con la convicción de que ello redundará en un mayor desarrollo económico en estos
países, en una clara identificación entre aprendizaje competente y aumento de la competitividad
(OECD, 1997). Así lo reflejaba la famosa escalera del conocimiento de North (1998), mediante la que
representaba su idea de que el papel del sistema educativo consiste en enseñar a los estudiantes a
procesar la información para adquirir conocimientos y aprender destrezas. Pero, además, añade el
autor: el conocimiento adoptado debería ponerse en un contexto y aplicarse de modo que se adquieran
competencias personales y en equipo, y con ello se alcance la competitividad.
En pleno debate sobre la noción de competencia en la OCDE, Weinert (2001) ya aportaba una
visión compleja de competencia pues consideraba que esta noción hace referencia a la combinación de
destrezas cognitivas, motivacionales, morales y sociales, potencialmente asimilables por una persona,
que subyacen en el dominio o maestría mediante una comprensión y acciones apropiadas de una serie
de demandas, tareas, problemas y metas.
Tras el largo debate sobre este concepto en el seno de la OCDE (Definition and Selection of
Key Competencies: DeSeCo), Rychen y Salganik (2001), concluyeron que la competencia es una
aproximación funcional frente a demandas y tareas, en las que se requiere no solamente conocimientos
y destrezas sino también estrategias y rutinas necesarias para aplicar este conocimiento y destrezas, así
como emociones y actitudes apropiadas y un manejo efectivo de estos componentes. Algo más
adelante Rychen y Tiana (2004), vuelven a resaltar esta concepción de DeSeCo al definir la
competencia como “un concepto holístico que integra la existencia de demandas externas, los
atributos personales (incluida la ética y los valores) así como el contexto”. Es decir, entendemos que
las competencias son sistemas complejos de pensamiento y actuación, que suponen la combinación de
conocimientos, habilidades, actitudes, valores y emociones (Pérez Gómez, Á.I., 2007, 2008).
De este modo, la noción de competencia conlleva componentes cognitivos pero también
motivacionales, éticos, sociales y conductuales. Combina rasgos estables, resultados de aprendizajes,
sistemas de creencias y valores, y otras características psicológicas. Desde este punto de vista, las
destrezas básicas de lectura, escritura y cálculo son componentes críticos de numerosas competencias.
Mientras que el concepto de competencia se refiere a la habilidad de enfrentarse a demandas de alto
grado de complejidad, e implica sistemas de acción complejos, el término conocimiento se aplica a
hechos o ideas adquiridas mediante estudio, investigación, observación o experiencia, y se refiere a un
cuerpo de información que es comprendido. El término destreza se usa para designar la habilidad de
usar el conocimiento propio en relación con tareas relativamente fáciles de desempeñar. Se reconoce
que la línea entre competencia y destreza es algo borrosa, pero la diferencia conceptual entre estos
términos es real.
Contradictoriamente, cuando se elaboró el programa internacional de evaluación de las
competencias (PISA), se abandonó esta concepción holística y se adoptó un enfoque analítico,
atomizando la competencia en tantas partes como materias académicas de niveles no universitarios,
prestando más atención a una de estas materias en cada trienio, empezando con la competencia lectora
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
(PISA, 2000), seguida de la matemática (PISA, 2003) y finalmente la científica (PISA, 2006). Cada
competencia parcial se definía por un conjunto de capacidades que eran el objeto preciso de
evaluación. Seguramente este enfoque analítico sea más operativo para realizar una tarea tan ardua
como una evaluación internacional, en tanto que da más garantías de implementación y corrección
teóricamente más objetivos, pero decididamente no evalúa la competencia como tal sino meramente
capacidades, como mostramos en la presente investigación (Figura II).
En el caso particular que nos ocupa, la competencia científica fue definida por PISA (2006)
como: La capacidad de emplear el conocimiento científico para identificar problemas, adquirir nuevos
conocimientos, explicar fenómenos científicos y extraer conclusiones basadas en pruebas sobre
cuestiones relacionadas con la ciencia. Además, comporta la comprensión de los rasgos característicos
de la ciencia, entendida como un método del conocimiento y la investigación humanas, la percepción
del modo en que la ciencia y la tecnología conforman nuestro entorno material, intelectual y cultural,
y la disposición a implicarse en asuntos relacionados con la ciencia y con las ideas sobre la ciencia
como un ciudadano reflexivo (OCDE, 2006). Para el programa PISA, la competencia científica
implica tanto la comprensión de conceptos científicos como la capacidad de aplicar una perspectiva
científica y de pensar basándose en pruebas científicas.
Se debe destacar que en el área de Ciencias, PISA muestra una aparente evolución en su
fundamentación teórica desde el año 2000, en la que hablaba de “formación científica”, sin alusión al
concepto de “competencia” (OCDE, 2002). Posteriormente, tras el Informe de DeSeCo (2002), en
PISA de 2003 se empieza a abordar la noción de competencia científica, aunque en los mismos
términos que en año 2000, es decir, como un sumatorio de conocimientos, procesos y situaciones o
contextos (personal, público y global) (OCDE, 2004). Finalmente, en el 2006, año en que se incorpora
la evaluación en el área de Ciencias, se introduce el concepto de competencia científica aplicado a un
individuo concreto, pero manteniendo el objetivo de evaluar ‘conocimiento’ (conceptos) y ‘aplicación
del mismo’ a una situación o contexto (capacidades), añadiendo como única novedad, la ‘disposición’
(actitud) del alumnado hacia las pruebas y el conocimiento científico (OCDE, 2006).
Competencia general
Competencia
lectora
Capa
cidad
1
Capa
cidad
2
Cono
cimie
nto
Competencia
Matemática
Capa
cidad
1
Capa
cidad
2
Cono
cimie
nto
Competencia
científica
Capa
cidad
1
Capa
cidad
2
Cono
cimie
nto
FIGURA II. Proceso de atomización de la competencia en capacidades para su evaluación por PISA
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
Si se acepta la concepción holística de competencia, el dominio de una capacidad sola no hace
competente al aprendiz, sino el dominio de todas, aplicadas de manera global para resolver problemas
de la vida real, máxime cuando algunas de ellas (ej. competencia lectora y competencia matemática)
son claramente transversales. En el caso específico de la competencia científica, es evidente que PISA
evalúa las tres capacidades en que se descompone de forma independiente, no elaborando ninguna
prueba que demande la aplicación combinada o global de las mismas, por lo que ponemos en duda que
esta prueba evalúe realmente la competencia científica. Otro nivel de discusión se plantea en relación
al contexto, ya que la adquisición de una competencia en el contexto académico no asegura que se
domine o aplique en un contexto no académico, en la vida real del aprendiz, que es el contexto en el
que realmente se fraguan las competencias de valor para el mercado de trabajo y la actividad humana
en general.
En suma, para evaluar la competencia sería preciso diseñar pruebas que integraran todas las
competencias específicas de áreas y, dentro de cada área, que integraran todas las capacidades en las
que se basan, sin olvidar el componente actitudinal, normalmente ausente en estas pruebas. PISA ha
optado por un diseño más analítico en su afán de facilitar una mayor fiabilidad estadística en su
corrección. De este modo, no extraña que durante la aplicación de pruebas diseñadas al estilo del
PISA, se advierta que muchas pruebas dirigidas a la evaluación de la competencia científica obtienen
bajos resultados por una baja competencia lectora (ej. no se comprende el enunciado) y/o una baja
competencia matemática (ej. no se sabe interpretar un gráfico), o simplemente porque el aprendiz
muestra actitudes negativas hacia la prueba o su contenido, pero los criterios de corrección no parecen
registrar estas incidencias, perdiéndose la oportunidad de realizar un diagnóstico más global y cercano
a la realidad.
Análisis de capacidades
Debe recordarse aquí que PISA trata de poner de manifiesto las competencias científicas a
través del dominio de los procedimientos científicos que están en la base de las preguntas, la
comprensión de las capacidades que están presentes en su resolución y la valoración de las
actitudes que presenta el alumnado hacia la ciencia actual. Así, PISA evalúa el conocimiento
científico a través de tres dimensiones: a) Los procesos o destrezas científicas; b) Los
conceptos y contenidos científicos; y c) El contexto en que se aplica el conocimiento
científico. Por otra parte, PISA identifica cinco procesos científicos: Reconocer cuestiones
científicamente investigables; identificar las evidencias necesarias en una investigación
científica; extraer o evaluar conclusiones; comunicar conclusiones válidas; demostrar la
comprensión de conceptos científicos en determinadas situaciones. Estos procesos científicos
se organizan en tres grupos de competencias según el tipo de capacidad de pensamiento
predominante que se requiere para resolver las preguntas que se presentan (OCDE, 2006)
(Cuadro I).
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
CUADRO I. Tipos de capacidades en la competencia científica (PISA, 2006)3
Identificar cuestiones
científicas
Reconocer cuestiones susceptibles de ser investigadas científicamente
Identificar términos clave para la búsqueda de información científica
Reconocer los rasgos clave de la investigación científica
Explicar fenómenos
científicos
Aplicar el conocimiento de la ciencia a una situación determinada
Describir o interpretar fenómenos científicamente y predecir cambios
Identificar las descripciones, explicaciones y predicciones apropiadas
Utilizar pruebas
científicas
Interpretar pruebas científicas y elaborar y comunicar conclusiones
Identificar los supuestos, las pruebas y los razonamientos que subyacen a las
conclusiones
Reflexionar sobre las implicaciones sociales de los avances científicos y
tecnológicos
Con independencia de estas tres capacidades que PISA desglosa como partes de lo que
denomina competencia científica, hemos realizado un análisis de las pruebas utilizando una escala de
capacidades científicas basadas en la propuesta de Stefan T. Hopmann, Gertrude Brinek y Martin
Retzl (2007), como ya indicábamos brevemente en el apartado de descripción metodológica (Cuadro
II).
Cuadro II. Capacidades registradas en las pruebas liberadas de PISA (2000-2006)4
Orden Capacidad Significado
1 Reproducción
RP Supone repetir de forma mecánica y memorística los conocimientos
científicos
2 Aplicación
AP Consiste en aplicar los conocimientos científicos aprendidos previamente
a situaciones sencillas y/o conocidas
3 Reflexión
RF Implica la comprensión del fenómeno científico y reflexionar sobre los
conocimientos aprendidos en esta área.
4 Transferencia
TR Supone aplicar el conocimiento aprendido a nuevas situaciones,
conectando ideas, conceptos o hechos científicos.
5 Heurística
HE Requiere el diseño de un plan, o la descripción de los pasos que son
necesarios seguir para llegar a dicha solución.
6 Argumentación
AR Requiere razonar de forma argumentada para explicar el fenómeno
científico que se trate, comunicando la conclusión científica a la que se
llegue a través del lenguaje escrito.
3 Elaboración propia.
4 Elaboración propia.
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
Obsérvese que las tareas que requiere cada tipo de capacidad están ordenadas en un orden
creciente de complejidad. De este modo, el nivel más bajo estaría representado por la mera
reproducción del conocimiento científico, que aunque requiere una capacidad de memorización, no
representa un tipo de aprendizaje que pueda considerarse de orden superior, ya que repetir un
conocimiento declarativo no implica necesariamente su comprensión, y menos aún su utilización para
resolver problemas, sean académicos o de la vida cotidiana. En el nivel más alto se situaría una
heurística, en la que el aprendiz muestra habilidad para planificar creativamente un procedimiento
para averiguar o solucionar un problema, sea académico o de la vida cotidiana. Esta escala de
capacidades según su complejidad también representa una escala de apertura intelectual, divergencia y
creatividad, pues se pasa de planteamientos cerrados a planteamientos totalmente abiertos (Figura III).
Estas seis capacidades científicas grosso modo guardan cierta correspondencia con las tres
capacidades definidas y evaluadas por PISA para el área de Ciencias (Cuadro III). Excluimos aquí las
actitudes por no ser un parámetro de capacidad en sentido estricto, aunque bien evaluado podría
aportar bastante luz sobre los resultados en las capacidades, dada la estrecha relación entre lo
cognitivo y lo afectivo.
CUADRO III. Equivalencia de capacidades PISA-HUM311
Capacidades de PISA Capacidades HUM-311(Stefan T. Hopmann,
Gertrude Brinek, Martin Retzl, 2007)
1. Identificación de cuestiones científicas 1.-Comprensión/Reflexión
2. Explicación científica de fenómenos 2.-Comunicación Argumentación1
3.Utilización de pruebas científicas 3.-Aplicación/Transferencia
4. Actitudes hacia la Ciencia (–)
(-) 5.-Heurística/Creación
(-) 6.-Reproducción
(1) Este apartado incluye la interpretación de gráficos y tablas.
Resultados y discusión. Capacidades que demanda PISA
A partir del análisis realizado sobre las capacidades que deducimos trata de evaluar las preguntas
liberadas de PISA (2000-2006), obtuvimos los siguientes resultados para cada una de las seis
capacidades definidas y en una gradación de puntuaciones desde el 0 (ausencia) al 3 (Tabla I):
FIGURA III. Jerarquía de capacidades analizadas en pruebas PISA
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
TABLA I. Resultados del análisis de pruebas PISA (% Puntuación máxima)
RP AP RF TR HE AR
No presente 67,73 34,31 1,96 49,02 72,55 54,90
1 12,75 28,31 12,75 12,75 1,96 4,90
2 3,92 12,75 26,47 17,65 2,94 9,80
3 0,00 17,65 56,86 1,96 7,84 17,65
NR 19,61 6,86 1,96 18,63 14,71 12,75
Presente 16,67 58,5 96,08 32,36 12,78 32,35
Tomando como referencia la puntuación máxima, los resultados que tomamos como elemento
de análisis se refieren a la diferencia entre el total de puntuaciones no presentes y el resto, lo que nos
ofrece el porcentaje de presencia de cada capacidad en las pruebas analizadas.
A partir del análisis de las pruebas realizado por el grupo de investigación (Gallardo, M.;
Fernádez, M.; Sepúlveda, MªP.; et al.; 2010), encontramos que la capacidad que se requiere en más
ocasiones es la que hemos definido como ‘reflexión o comprensión’ (un 96,08% del total de ítems),
que conlleva el entendimiento del fenómeno científico en cuestión y la reflexión sobre los
conocimientos científicos implicados. En este sentido, encontramos que, en la mayoría de los ítems, la
capacidad de comprensión/reflexión no va más allá de la mera recuperación de información que
aparece en el texto que se presenta al inicio del ítem a modo de estímulo, sin necesidad siquiera de que
el estudiante ponga en relación la información del texto con lo que ya sabe. Muy pocas, no obstante,
reclaman una ‘reproducción’ de conocimientos científicos tal y como hemos definido esta capacidad,
relacionada con la ‘memorización mecánica’. Concretamente, aparece tan sólo en un 16,67% de los
casos, lo que podría relacionarse con la definición de ‘competencia’ que se defiende desde el propio
programa PISA, donde la reproducción queda claramente descartada en la valoración de las
competencias. Por otra parte, también encontramos que son frecuentes las preguntas de ‘aplicación’
(58,5% de los ítems analizados), estando esta aplicación generalmente asociada a los contenidos que
aparecen en la propia prueba. En este sentido, cabe afirmarse que las pruebas que hemos analizado,
salvo en pocas ocasiones, se pueden responder de forma efectiva comprendiendo la información que
se aporta en la misma actividad y aplicando los conocimientos que se suelen presentar en el propio
ítem. En otras ocasiones, hay que aplicar esta comprensión en una situación nueva, es decir, se
requiere ‘transferencia’ del conocimiento, pero ésta aparece tan sólo en un 32,36% de los ítems
analizados. Del mismo modo, encontramos que otra de las capacidades superiores definidas por el
grupo de investigación como la capacidad de diseñar estrategias para resolver la situación planteada,
es decir, la ‘heurística’, aparece en un porcentaje muy bajo en las pruebas analizadas (12,78%).
Por otra parte, en las pruebas examinadas, no siempre se estimula la argumentación, pareciendo que lo
único que interesa es la respuesta ‘aplicada’ por parte del estudiante, el resultado final, y no tanto el
proceso que lleva al alumno/a a dar una u otra respuesta. De hecho, aún considerándose la
argumentación como una de las capacidades más interesantes para la evaluación de competencias en
sentido complejo, tan sólo está presente en un 32,35% de ítems analizados. Nuestro estudio evidencia
que la argumentación es una de las capacidades centrales en la evaluación de la competencia
científica, en tanto que es la capacidad que pone de relieve el pensamiento complejo del estudiante. En
las pruebas analizadas, cuando la ‘argumentación’ está presente, suele implicar un nivel elevado de
dificultad, pero sólo se suele dar como válida una sola respuesta, que es la que obtiene mayor
puntuación, desconsiderándose las relaciones que ha podido establecer el estudiante o las reflexiones
que haya podido realizar. Las preguntas abiertas, donde está presente la capacidad de argumentación,
exigen que el estudiante esté habituado a razonar y a comunicar sus planteamientos, alejándose, por
tanto, del mero ‘reconocimiento’; además, implica que el estudiante sepa leer comprensivamente y
expresarse correctamente por escrito; todo ello de suma relevancia para una auténtica evaluación de
competencias.
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
El Gráfico I nos muestra los resultados obtenidos de nuestro análisis de capacidades de las
pruebas liberadas de PISA (2000-2006).
GRÁFICO I: Modelo obtenido del análisis de capacidades
Este gráfico se obtiene llevando los datos de la tabla anterior (Tabla I) a un sistema de
coordenadas en el que, en abscisas, se sitúan las capacidades examinadas en las pruebas
PISA, ordenadas por orden creciente de complejidad. Con objeto de interpretar este gráfico,
en los Gráficos II y III se muestra una representación ideal del gráfico que se obtendría con
unas pruebas centradas en la evaluación del aprendizaje competencial (Gráfico III) y el que se
obtendría con unas pruebas centradas en la evaluación del aprendizaje culturalista (Gráfico
II). Estos gráficos representan los resultados esperables en sistemas de evaluación
adaptados a dos modelos pedagógicos extremos en función de las capacidades evaluadas: el
modelo culturalista, más centrado en la reproducción del conocimiento científico, y por tanto
más acorde con la escuela tradicional basada en aprendizajes académicos (Gráfico II) y el
modelo competencial, más centrado en la funcionalidad del aprendizaje científico, y por tanto
más acorde con una escuela más moderna, basada en aprendizajes competenciales (Gráfico
III).
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
GRÁFICO II: Modelo de aprendizaje culturalista
GRÁFICO III: Modelo de aprendizaje competencial
El modelo que se obtiene del análisis de las preguntas de PISA (Gráfico I) nos muestra un
modelo intermedio entre los dos extremos señalados, con un claro sesgo hacia las capacidades menos
complejas, pues las tres primeras reúnen el 68,8% de las preguntas, frente al 31,2% de las tres últimas,
consideradas más complejas. Lo relevante de este análisis es que, a nuestro juicio, el marco teórico de
PISA muestra su objetivo de evaluar una enseñanza que corresponde más con el modelo representado
en el Gráfico III, por lo que mostramos nuestras dudas de que, al menos las pruebas liberadas, evalúen
de acuerdo con los objetivos y el modelo de competencia científica que maneja PISA.
Conclusiones
PISA pretende establecer un marco común, internacional, de evaluación del rendimiento de los
estudiantes de quince años, entendido éste como nivel de competencia. Partiendo de esta premisa
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
PISA diseña unas pruebas con el objeto de conocer las capacidades de los estudiantes para analizar y
resolver situaciones determinadas. Es decir, el enfoque de evaluación gira en torno a la valoración de
los conocimientos, capacidades y actitudes que activa un estudiante para dar respuesta a un problema.
Responder a esta demanda requiere la “aplicación” del conocimiento a contextos diversos y que estos
posibiliten la resolución, la comunicación y la adecuada expresión de la respuesta, esto es, que sean
“útiles”. Con lo cual, solventar las situaciones cotidianas supera la mera memorización de conceptos y
reproducción de los mismos y, por el contrario, que el alumnado haya adquirido un aprendizaje
relevante.
Sin embargo, en nuestro análisis, encontramos ciertas limitaciones de cara a la evaluación de la
competencia científica en los términos que define el propio programa PISA –como un ‘saber hacer
complejo’–. En este sentido, consideramos que se debería potenciar una aproximación más holística e
interdisciplinar a las competencias, en tanto que encontramos una falta de correspondencia entre el
concepto de competencia que plantea DeSeCo (2002) y el que plantea PISA (2006), que tiende a
atomizarla adoptando un enfoque analítico, a fragmentarla en disciplinas, capacidades, habilidades y
destrezas según hemos analizado, alejándose con ello de la concepción holística original, obviándose
los componentes motivacionales, sociales y éticos, para evaluar únicamente capacidades que, al ser
valoradas individualmente, parecen no mostrar realmente el grado de adquisición de competencias en
la escuela. La competencia científica es evaluada por PISA a partir de las tres capacidades en que se
descompone de forma independiente, pareciendo prestar escasa atención a la aplicación combinada o
global de las mismas, lo que nos hace dudar de la viabilidad de la prueba para evaluar la competencia
científica.
De esta forma, valoramos que PISA parece alejarse de las capacidades de orden superior, como
son la transferencia, la heurística y la argumentación, demandando con mayor frecuencia capacidades
científicas de baja complejidad (aplicación, reflexión), aunque con escasa presencia de la mera
reproducción (Stefan T. Hopmann, Gertrude Brinek, Martin Retzl, 2007).
Por otra parte, consideramos que se debería aprovechar todo el potencial crítico de las
preguntas, en tanto que un artificio llamativo de las pruebas de PISA parece ser la restricción de los
problemas a contextos puramente académicos, con escasa o nula conexión con los temas transversales
y de la ‘vida real’. Entendemos que la adquisición de una competencia en el contexto académico no
asegura que se domine o aplique en un contexto de la vida real del aprendiz. Es cierto que algunas
actividades plantean cuestiones de salud y medio ambiente, pero no parecen profundizar en ellas, no
plantean preguntas que revelen en profundidad la actitud del alumno/a, ni plantean reflexiones o
dilemas éticos ligados a la actividad científica.
El hecho de que las pruebas deban ser sometidas al análisis estadístico, así como su formato de
‘papel y lápiz’, quizás puede estar en la base de esta desconexión (Pérez Gómez, Á.I. y Soto Gómez,
E.; 2011, en prensa). Entendemos que para realizar un evaluación internacional esta opción puede
facilitar la ardua tarea de implementación y corrección, no obstante, consideramos que no posibilita
evaluar la competencia en los términos anteriormente señalados. Tal como hemos indicado en el
apartado de ‘marco general de la investigación’, creemos que la utilización del portafolios puede ser
un interesante instrumento de evaluación de aprendizajes relevantes, es decir, de los conocimientos,
las habilidades, las actitudes y los valores que un individuo requiere para solventar una situación
concreta, tomando conciencia de forma activa y reflexiva del problema presentado y adoptando
estrategias de forma consciente en su resolución (Pérez Gómez, Á.I., 2007). Esta herramienta permite
adentrarnos en las interpretaciones que realizan los estudiantes de los contextos problemas, del
cuestionamiento al que se someten para responder de forma ajustada y de los argumentos utilizados
para plantear una solución. Somos conscientes de que este tipo de evaluación requiere una inversión
de tiempo mayor, es más costosa desde el punto de vista económico, pero proporciona una mayor
información sobre las competencias adquiridas por el alumnado.
A modo de conclusión final, cabría plantearse para futuras investigaciones si este modelo de
evaluación de competencias que plantea PISA (mediante pruebas estandarizadas) es o debe ser el más
adecuado para las finalidades que se proponen desde el propio Programa de evaluación.
Consideramos, a la luz de nuestra investigación, que se precisan otros modelos más acordes para la
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
evaluación de competencias educativas en sentido holístico. En este sentido, ponemos en duda si la
solución de la evaluación de competencias está en el perfeccionamiento de la prueba PISA o en el
modelo elegido para la evaluación de las mismas.
Referencias bibliográficas
COCKENILL, T. (1989). The kind of competence for rapid change. Personnel Management, September:
52-56.
CUMMING, J. J. Y WYATT-SMITH, C, M. (2009) Framing assessment today for the future : Issues and
challenges. En Cumning, J. J. y Wyat-Smith, C. M. (eds.) Educational assessment in the 21st
century. Springer : Nueva York.
GIL PEREZ, D. Y VILCHEZ, A. (2006). ¿Cómo puede contribuir el proyecto PISA a la mejora de la
enseñanza de las Ciencias (y de otras áreas de conocimiento)?, Revista de Educación. Nº
Extraordinario, 1, 295-331.
HARGREAVES, D.H. (2005). Personalising learning 3: learning to learn & the new technologies.
London: Specialist Schools Trust.
HERNÁNDEZ, F. (2006). El informe PISA: una oportunidad para replantear el sentido del aprender en
la escuela secundaria. Revista de Educación, extraordinario PISA, 357-379.
HOPMANN, S.T.; BRINEK, G.; RETZL, M. (Eds.) (2007). PISA zufolge PISA - PISA According to PISA.
Hält PISA, was es verspricht? Does PISA Keep What It Promises? Reihe Schulpädagogik und
Pädagogische Psychologie, Bd.6. Germany: Wien Lit-Verlag.
LEVY, F. Y MURNANE, R.J. (1999). Are There Key Competencies Critical to Economic Success? An
Economics Perspective, DeSeCo Expert Report. Neuchâtel: Swiss Federal Statistical Office.
MINISTERIO DE EDUCACIÓN (2006). Ley Orgánica 2/2006, de 3 de mayo, de Educación. Boletín
Oficial del Estado, nº196 (4 de mayo), 17158-17207.
MIRABILE, R.J. (1998). Leadership Competency Development. Management Development
Forum, 1 (2).
NORTH, K. (1998). Wissenorientierte Unternehmensführung. Wiesbaden, Gabler: Westschöpfung
durch Wissen.
OECD Y HUMAN RESSOURCES DEVELOPMENT CANADA (1997). Literacy skills for the knowledge
society. Further results from the International Adult Literacy Survey. Paris: Organisation for
Economic Cooperation and Development and Human Ressources Development Canada.
ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICO (OCDE) (2002).
Conocimientos y aptitudes para la vida. Primeros resultados del PISA 2000 de la OCDE.
Madrid: Santillana-MEC.
ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICO (OCDE) (2004). Marcos
teóricos de PISA 2003. Conocimientos y destrezas en Matemáticas, Lectura, Ciencias y
Solución de problemas. Madrid: Santillana-MEC.
ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICO (OCDE) (2006). PISA 2006.
Marco de la evaluación. Conocimientos y habilidades en Ciencias, Matemáticas y Lectura.
Madrid: Santillana-MEC.
OÑORBE, A. (2008). Las pruebas de evaluación en Ciencias del proyecto PISA. Alambique, 57, 41-52.
PÉREZ GÓMEZ, Á.I. (2007). La naturaleza de las competencias básicas y sus aplicaciones
pedagógicas. Cuadernos de Educación de Cantabria. Gobierno de Cantabria. Consejería de
Educación.
PÉREZ GÓMEZ, Á.I. (2008). ¿Competencias o pensamiento práctico? La construcción de los
significados de representación y acción. En Gimeno, J. (comp.), Educar por competencias, ¿qué
hay de nuevo? Madrid: Morata.
Revista de Educación, 360. Enero-abril 2013
Fecha de entrada: 02-06-2010. Fecha de aceptación: 27-04-2011
PÉREZ GÓMEZ, Á.I. Y SOTO GÓMEZ, E. (2011). Luces y sombras de PISA. Evaluación de capacidades
de razonamiento sobre problemas cotidianos. Revista Cultura y Educación (en prensa).
RYCHEN, D.S. Y SALGANIK, L.H. (2001). Defining and Selecting Key Competencies. Seattle: Hogrefe
& Huber.
RYCHEN, D.S. Y TIANA, A. (2004). Developing key competencies in education: some lessons from
international experiencie. Paris: Unesco.
SERVÁN NÚÑEZ, M. J. (COORD.) (2011). La evaluación externa de los aprendizajes escolares. Revista
Cultura y Educación (en prensa).
WEINERT, F.E. (2001). Concept of competence: A conceptual definition. En Rychen, D.S.; Salganik,
L.H. (eds.), Defining and Selecting Key Competences. Seattle, WA: Hogrefe & Huber, 46.
Fuentes electrónicas
GALLARDO, M.; FERNÁNDEZ, M.; SEPÚLVEDA, MªP.; SERVÁN, MªJ.; YUS, R.; BARQUÍN, J. (2010).
PISA y la competencia científica. Un análisis de las pruebas de PISA en el área de Ciencias.
RELIEVE: Revista Electrónica de Investigación y Evaluación Educativa, 16 (2):
http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
ORGANIZACIÓN PARA LA COOPERACIÓN Y EL DESARROLLO ECONÓMICO (OCDE) (2002). La
definición y selección de competencias clave (DeSeCo). Resumen ejecutivo, de:
http://www.OECD.org/edu/statistics/deseco, http://www.deseco.admin.ch
Dirección de contacto: Manuel Fernández Navas. Universidad de Málaga. Facultad de Ciencias de la
Educación. Departamento de Didáctica y Organización Escolar. Grupo de Investigación HUM-311.
Campus de Teatinos, s/n. 29071 Málaga. Málaga, España. E-mail: mfernandez1@uma.es
