Content uploaded by Rafael Yus
Author content
All content in this area was uploaded by Rafael Yus on Mar 20, 2017
Content may be subject to copyright.
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 1
e-Journal of Educational
Research, Assessment and
Evaluation
Revista ELectrónica de
Investigación y EValuación
Educativa
PISA Y LA COMPETENCIA CIENTÍFICA: UN ANÁLISIS
DE LAS PRUEBAS DE PISA EN EL ÁREA DE CIENCIAS
[PISA and scientific competence: an analysis of the PISA tests in the
Area of Science]
by / por
Article record
About authors
HTML format
Gallardo-Gil, Monsalud (monsalud@uma.es)
Fernández-Navas, Manuel (mfernandez1@uma.es)
Sepúlveda-Ruiz, María-Pilar (mdsepulveda@uma.es)
Serván, María-José (servan@uma.es)
Yus, Rafael (rafayus@telefonica.net)
Barquín, Javier (barquin@uma.es)
Ficha del artículo
Sobre los autores
Formato HTML
Abstract
This work is part of an investigation focusing on the edu-
cational evaluation of the skill of Learning how to Learn,
which addresses the issue of basic skills that students
needs to develop to function throughout life in the con-
temporary social context. One purpose of the study is to
analyze the potential of external and diagnostics evalua-
tions to estimate the level of acquisition of these skills.
Focusing on a methodology of qualitative and quantitative
analysis of the PISA tests released in the specific area of
Science (2000-2006), we conclude that these tests require
scientific skills of low complexity, with marked presence
of mere reproduction. In addition, we appreciate the gap
between the concept of competence proposed DeSeCo and
what PISA really evaluates according to the results ob-
tained in the area of Science.
Resumen
El presente trabajo forma parte de una investigación cen-
trada en la evaluación educativa de la competencia de
Aprender cómo Aprender, en la que se aborda la temática
de las competencias básicas que los estudiantes necesitan
desarrollar para desenvolverse durante toda la vida en el
contexto social contemporáneo. Uno de los propósitos del
estudio es analizar el potencial de las evaluaciones exter-
nas y diagnósticas para estimar el grado de adquisición de
estas competencias. Centrándonos en una metodología de
análisis cualitativo y cuantitativo de las pruebas liberadas
de PISA en el área específica de Ciencias (2000-2006),
concluimos que estas pruebas demandan capacidades
científicas de baja complejidad, con acentuada presencia
de la mera reproducción. Además, valoramos la distancia
existente entre el concepto de competencia propuesto en
DeSeCo y lo que realmente parece evaluar PISA a la luz
de los resultados obtenidos en el área de Ciencias.
Keywords
Assessment; Evaluation; Education; Skills; Competence;
PISA; Sciences.
Descriptores
Evaluación; Educación; Competencias; PISA; Ciencias..
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 2
Introducción
El presente trabajo forma parte de una in-
vestigación del grupo HUM-311 del Depar-
tamento de Didáctica y Organización Escolar
de la Universidad de Málaga sobre la evalua-
ción educativa de la competencia de Apren-
der cómo Aprender [1]. En el desarrollo de
dicho proyecto, se aborda la temática de las
competencias básicas como un mecanismo
potencial para el desarrollo de las capacida-
des útiles para la vida, específicamente las
competencias de orden superior que podrían
agruparse bajo el constructo de “aprender
cómo aprender” (Hargreaves, 2005). Uno de
los propósitos del estudio es analizar el po-
tencial de las evaluaciones externas y dia-
gnósticas para estimar el grado de adquisi-
ción de estas competencias. Entre estas eva-
luaciones destaca el Programa Internacional
para la Evaluación de Estudiantes (PISA),
que basa su fundamentación en el concepto
holístico de competencia básica establecido
en el Informe DeSeCo para la OCDE (2002),
que también sirvió para el establecimiento de
la Recomendación del Parlamento Europeo y
del Consejo de 18 de diciembre de 2006 so-
bre las competencias clave para el aprendiza-
je permanente, que, a su vez, fue recogida en
la nueva reforma educativa española: la Ley
Orgánica 2/2006 de Educación –LOE– (Mi-
nisterio de Educación, 2006). Desde este
marco, nos proponemos el objetivo de estu-
diar y valorar las pruebas del Proyecto PISA
de evaluación de las competencias básicas.
Para este objetivo, dentro del equipo de in-
vestigación, se establecen grupos de trabajo
específicos para cada área curricular, de mo-
do que, en este artículo, se resumen las prin-
cipales conclusiones del área de Ciencias, es
decir, la llamada competencia científica, de-
nominada en la LOE: “Competencia en el
conocimiento y la interacción con el mundo
físico”.
Aunque el proyecto de evaluación PISA
está removiendo los asientos de nuestro sis-
tema educativo desde su primer informe en
el año 2000, fue especialmente en el año
2006 (OCDE, 2006), dedicado a la evalua-
ción de las Ciencias, cuando empieza a tener
una repercusión destacable en este área cu-
rricular, si bien, hasta hoy, parece que ha
habido más preocupación por explicar la
naturaleza y fundamento de las pruebas (ej.
Harlen, 2002; Oñorbe, 2008) y la lectura de
los resultados y sus implicaciones (Camaño,
2007; Puente Azcutia, 2008). Las principales
líneas de investigación se han suscitado no
sólo a partir de los resultados obtenidos, sino
también sobre la propia técnica evaluativa
seguida. Así, por ejemplo, un aspecto crítico
de esto último estriba en la dificultad de eva-
luar el conocimiento científico mediante
pruebas de lápiz y papel (Psalidas et al.,
2008). Otros estudios se centraron en anali-
zar los materiales curriculares, como Hatzi-
nikita et al. (2008), que encontraron que hab-
ía una fuerte disparidad entre el tipo de ta-
reas que plantea PISA y los libros de textos
usados en los centros educativos, lo que en
parte explicaría los bajos rendimientos obte-
nidos en las pruebas. En una línea diame-
tralmente opuesta, destaca una larga lista de
investigadores que encuentran en las pruebas
de PISA una oportunidad para la mejora de
las prácticas actuales de enseñanza. Así, por
ejemplo, Hernández (2001) encuentra en los
informes de PISA una oportunidad estimula-
dora para repensar la tarea que se lleva a
cabo en los centros, al ponerse en evidencia
que la escuela tiende a enseñar para la repro-
ducción, mientras que las pruebas PISA es-
tán dirigidas a la aplicación o transferencia
de conocimientos a situaciones cotidianas.
En una línea similar, pero específicamente
para el área de Ciencias, Gil y Vílchez
(2001) han venido planteando en distintos
foros que los Informes PISA constituyen en
conjunto un instrumento potencialmente va-
lioso para la mejora del aprendizaje, la ense-
ñanza y los currículos. Otras investigaciones
han abordado la problemática del ajuste cu-
rricular existente entre nuestro sistema edu-
cativo y el planteamiento de competencias
que pretende evaluar PISA, concluyéndose
que el currículum de la LOE no se ha elabo-
rado para abordar una enseñanza del tipo que
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 3
subyace en las competencias que evalúa PI-
SA, existiendo áreas de la educación científi-
ca, principalmente de tipo procedimental,
que no se han contemplado en la Ley.
A partir de este panorama, resulta evidente
que apenas hay investigaciones que hayan
abordado analíticamente el contenido de las
pruebas de PISA, tratando de analizar en
profundidad si realmente evalúan las compe-
tencias científicas en el sentido holístico
propuesto por el informe DeSeCo de la OC-
DE. Éste ha sido precisamente el objetivo del
trabajo que exponemos en el presente artícu-
lo, valorar si las pruebas PISA pueden ser
consideradas unas herramientas útiles para
evaluar competencias dentro de las estrate-
gias generales del constructo de “aprender
cómo aprender”.
PISA en el área de Ciencias
Como es conocido, el modelo de evalua-
ción comparativa de PISA se caracteriza por
ser muestral (estudiantes de 15 años) y cícli-
co (trienal), a través de tres áreas principales
de evaluación: Lectura (2000), Matemáticas
(2003) y Ciencias (2006). Bajo este modelo,
la prueba está diseñada para conocer las
habilidades de los estudiantes para analizar y
resolver problemas, tratando de ofrecer un
perfil de las capacidades de los estudiantes
de quince años de todos los países donde se
aplica. Por otra parte, aunque PISA reconoce
en sus fundamentos su pretensión de incidir
en las políticas educativas, no debemos olvi-
dar que también reconoce no estar ligado al
currículum ni a planes de estudios específi-
cos. Lo que pretende PISA, en definitiva, es
evaluar ‘competencias’, cuya aproximación
empírica en el área de Ciencias se realiza
interrogando a los estudiantes sobre su capa-
cidad para identificar cuestiones científicas,
explicar fenómenos científicamente y utilizar
las pruebas científicas. En este sentido, desde
los fundamentos teóricos de PISA en el área
de Ciencias, destaca el enfoque de evalua-
ción en torno a la ‘aplicación’ del conoci-
miento versus a la ‘memorización de concep-
tos’ (OCDE, 2006).
Cabe destacarse que, en el área de Cien-
cias, PISA muestra una aparente evolución
en su fundamentación teórica desde el año
2000, en la que se hablaba de “formación
científica” sin alusión al concepto de “com-
petencia” (OCDE, 2002). Posteriormente,
tras el Informe de DeSeCo (2002), en PISA-
2003, se empieza a abordar la noción de
“competencia científica”, aunque en los
mismos términos que en el año 2000, es de-
cir, como un sumatorio de conocimientos,
procesos y situaciones o contextos (personal,
público y global) (OCDE, 2004). Finalmen-
te, en el 2006, año específico de evaluación
en el área de Ciencias, se introduce el con-
cepto de “competencia científica” aplicado a
un individuo concreto, manteniendo el obje-
tivo de evaluar ‘conocimiento’ (conceptos) y
‘aplicación del mismo’ a una situación o
contexto (capacidades) y añadiendo, como
única novedad, la ‘disposición’ (actitud) del
alumnado hacia las pruebas y el conocimien-
to científico (OCDE, 2006).
De este modo, PISA-2006 trata de poner de
manifiesto las competencias científicas a
través del dominio de los procedimientos
científicos que están en la base de las pre-
guntas, la comprensión de las capacidades
que están presentes en su resolución y la va-
loración de las actitudes que presenta el
alumnado hacia la ciencia actual. Así, PISA
evalúa el conocimiento científico a través de
tres dimensiones: a) Los procesos o destrezas
científicas; b) Los conceptos y contenidos
científicos; y c) El contexto en que se aplica
el conocimiento científico. Por otra parte,
PISA identifica cinco procesos científicos:
Reconocer cuestiones científicamente inves-
tigables; identificar las evidencias necesarias
en una investigación científica; extraer o
evaluar conclusiones; comunicar conclusio-
nes válidas; demostrar la comprensión de
conceptos científicos en determinadas situa-
ciones. Estos procesos científicos se organi-
zan en tres grupos de competencias según el
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 4
tipo de capacidad de pensamiento predomi-
nante que se requiere para resolver las pre-
guntas que se presentan: a) Descripción, ex-
plicación y predicción de fenómenos cientí-
ficos; b) Comprensión de la investigación
científica; y c) Interpretación de evidencias y
conclusiones científicas. Esta compartimen-
tación de la competencia en áreas y capaci-
dades, que finalmente son las que pretende
evaluar PISA, supone, a nuestro juicio, un
distanciamiento de la concepción holística
del concepto de competencia definido por
DeSeCo, siendo difícil entender que este
sistema analítico evalúe la competencia cien-
tífica como la define PISA: “La capacidad
de emplear el conocimiento científico para
identificar preguntas y extraer conclusiones
basadas en hechos, con el fin de comprender
y poder tomar decisiones sobre el mundo
natural y sobre los cambios que ha produci-
do en él la actividad humana” (OCDE,
2006).
Descripción del proceso metodológico
Como ya hemos comentado anteriormente,
este artículo nace a raíz de una investigación
desarrollada por el Grupo de Investigación
HUM-311 de la Universidad de Málaga, el
cual se ha organizado en torno a tres sub-
grupos de análisis según el área evaluada:
Lengua, Matemáticas y Ciencias. El sub-
grupo encargado del análisis del área de
Ciencias, que nos ocupa en este artículo, está
compuesto por cinco investigadores del área
de Didáctica General (cuatro doctores y un
licenciado en Pedagogía) más un investiga-
dor doctor experto en la Didáctica de las
Ciencias.
La investigación de las pruebas de PISA en
el área de Ciencias tiene su inicio en el año
2008 a través de la realización de un estudio
preliminar en profundidad de los diferentes
marcos teóricos relacionados tanto con los
Informes de PISA como con investigaciones
relevantes sobre el ámbito de las competen-
cias educativas y el constructo de Aprender
cómo Aprender en general. Una vez analiza-
dos estos marcos teóricos, el grupo de Cien-
cias decidió pasar al análisis propiamente
dicho de las pruebas liberadas de PISA en
dicha área, siguiendo las que aparecían en las
publicaciones que se especifican a continua-
ción: Informe Español de PISA 2006 (4 uni-
dades), marco de la Evaluación de PISA
2006 (16 unidades) y los ítems liberados de
PISA 2000 y 2003 (13 unidades).
Para el análisis de las diferentes pruebas, se
utilizó una ficha en formato web, de forma
que cada investigador analizaba los ítems de
las pruebas PISA y éstos eran volcados a una
base de datos común para su posterior análi-
sis en SPSS (puede verse, en la figura 1, la
ficha común; en la 2, el formato de data-
ción). Estos análisis ocuparon todo el año
2009, sometiéndose continuamente a discu-
sión para llegar a una triangulación de los
resultados obtenidos en los análisis realiza-
dos por cada miembro del grupo, contrastán-
dose además con el investigador-experto con
objeto de validar los hallazgos, lo que tuvo
lugar tanto mediante reuniones presenciales
mantenidas para tal efecto (con una periodi-
cidad de un mes) como a través de una Plata-
forma Virtual, basada en el sistema Moodle,
que ha favorecido el contacto inmediato y
permanente entre los seis investigadores par-
ticipantes (gracias a los foros y el intercam-
bio de información en formato electrónico
fundamentalmente).
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 5
Figura 1: Ficha base de análisis
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael & Barquín, Javier (2010). PISA y la competencia
científica: Un análisis de las pruebas de PISA en el Área de Ciencias. RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 6
Figura 2: Formato de datación
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 7
Tras triangular los resultados, el análisis de
las pruebas se tradujo en una organización
que contemplaba tanto la discusión abierta
en el grupo de trabajo sobre cada prueba en
particular como la “reducción” de algunas
características a gradaciones numéricas. De
ahí que, por un lado, se elaborara una ficha
con distintos campos y, por otro, se seleccio-
naran una serie de capacidades que conside-
ramos debían contemplar las pruebas a la luz
de investigaciones recientes (Monereo y Po-
zo, 2007), identificando las siguientes capa-
cidades en nuestros análisis:
• Reproducción: supone repetir de forma
mecánica y memorística los conocimien-
tos científicos.
• Aplicación: consiste en aplicar los co-
nocimientos científicos aprendidos pre-
viamente a situaciones sencillas y/o cono-
cidas.
• Comprensión/Reflexión: implica la
comprensión del fenómeno científico y re-
flexionar sobre los conocimientos apren-
didos en esta área.
• Transferencia/Conexión: supone aplicar
el conocimiento aprendido a nuevas situa-
ciones, ‘conexionando’ ideas, conceptos o
hechos científicos.
• Heurística: la solución de la situación
científica requiere el diseño de un ‘plan’, o
la descripción de los pasos que son nece-
sarios seguir para llegar a dicha solución.
• Comunicación/Argumentación: la prue-
ba requiere razonar de forma argumentada
para explicar el fenómeno científico que
se trate, comunicando la conclusión cientí-
fica a la que se llegue a través del lenguaje
escrito.
Estas capacidades son demandadas por PI-
SA en las tareas de cada ejercicio, de modo
que, como cada ejercicio tiene varias pregun-
tas o ítems que, con frecuencia, demandan
más de una capacidad, es lógico que el nú-
mero de capacidades detectadas sea superior
al número de preguntas o ítems. Cada capa-
cidad establecida a priori se valoraba en fun-
ción primero de su presencia en la prueba y
después de su peso en la misma. Así, se esta-
bleció una gradación de 1 a 3 para indicar
qué capacidad/es aparecían como dominan-
tes y cuáles eran más secundarias. Después
de definir claramente estas capacidades, con
objeto de comprender y analizar pormenori-
zadamente las pruebas, el siguiente paso fue
tratar de establecer los paralelismos existen-
tes entre éstas y las capacidades definidas
por PISA. A partir de aquí, se vuelve a reto-
mar las pruebas para profundizar en las ca-
pacidades evaluadas por PISA y su relación
con las contempladas por el grupo de inves-
tigación. Bajo estas consideraciones, el gru-
po de trabajo volvió a someter a análisis las
diferentes pruebas, con objeto de identificar
claramente las capacidades definidas ante-
riormente, redundando así los análisis reali-
zados y los hallazgos obtenidos, que ofrece-
mos de forma resumida en el siguiente epí-
grafe.
En síntesis, podemos decir que el proceso
metodológico de nuestro estudio se ha des-
arrollado en las siguientes fases:
- Estudio de los diferentes marcos teóricos
sobre PISA.
- Elaboración de una ficha de análisis
(mostrada más arriba) en la que cada in-
vestigador introducía los análisis sobre las
pruebas que le correspondía analizar: Tipo
de pregunta, capacidades que demanda la
prueba, grado en el que la demanda, etc.
- Una vez analizadas todas las pruebas y
extraídos los datos estadísticos, así como
las particularidades que cada investigador
había observado en sus pruebas (lo que
llamamos “incidentes críticos”), se vuelve
a someter a análisis las diferentes pruebas,
con objeto de redundar y validar los resul-
tados obtenidos. Durante todo el proceso,
se mantienen frecuentes reuniones presen-
ciales y, especialmente, virtuales (a través
de una Plataforma Virtual) con la finalidad
de discutir los hallazgos obtenidos.
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 8
- Como último paso, todos los frutos de la
investigación, conclusiones y resultados,
quedan plasmados en un completo infor-
me sectorial del área de Ciencias, del cual
es síntesis este artículo.
Resultados de la investigación
Capacidades presentes en las pruebas
A partir del análisis de las pruebas realiza-
do por el grupo de investigación (tabla 1),
encontramos que la capacidad que se requie-
re en más ocasiones es la que hemos definido
como ‘reflexión o comprensión’ (un 96,08%
del total de ítems), que conlleva el entendi-
miento del fenómeno científico en cuestión y
la reflexión sobre los conocimientos científi-
cos implicados. En nuestro análisis, hemos
detectado que esta capacidad se suele em-
plear sobre los datos que se presentan en el
propio ítem junto con lo que el estudiante ya
conoce del fenómeno o proceso científico en
cuestión, no requiriéndose, en la mayoría de
las pruebas, un esfuerzo importante por parte
del estudiante para llegar a su resolución.
En este sentido encontramos que, en la
mayoría de los ítems, la capacidad de com-
prensión/reflexión no va más allá de la mera
recuperación de información que aparece en
el texto que se presenta al inicio del ítem a
modo de estímulo, sin necesidad siquiera de
que el estudiante ponga en relación la infor-
mación del texto con lo que ya sabe, llegan-
do incluso, en algunos a casos, a presentarse
la información subrayada, como es el caso de
la prueba que presentamos a continuación a
modo de ejemplo:
Figura 3: El tránsito de Venus. Ítem 12.3, del Marco teórico de 2006
Por tanto, podemos concluir que, aunque
todas las pruebas implican comprensión, no
todas requieren una reflexión profunda por
parte del estudiante para llegar a su resolu-
ción.
Por otra parte, también encontramos que
son frecuentes las preguntas de ‘aplicación’
(58,5% de los ítems analizados), estando esta
aplicación generalmente asociada a los con-
tenidos que aparecen en la propia prueba. En
este sentido, cabe afirmarse que las pruebas
que hemos analizado, salvo en pocas ocasio-
nes, se pueden responder de forma efectiva
comprendiendo la información que se aporta
en la misma actividad y aplicando los cono-
cimientos que se suelen presentar en el pro-
pio ítem.
En otras ocasiones, hay que aplicar esta
comprensión en una situación nueva, es de-
cir, se requiere ‘transferencia’ del conoci-
miento, pero ésta aparece tan sólo en un
32,36% de los ítems analizados. Del mismo
modo, encontramos que otra de las capacida-
des superiores definidas por el grupo de in-
vestigación como la capacidad de diseñar
estrategias para resolver la situación plantea-
da, es decir, la ‘heurística’, aparece en un
porcentaje muy bajo en las pruebas analiza-
das (12,78%).
En este sentido, aunque las capacidades de
transferencia y de heurística/creación apare-
cen con baja frecuencia en las pruebas anali-
zadas, decidimos contemplarlas en los análi-
sis en tanto que podemos ofrecer algún
ejemplo donde están presentes, como es el
caso de la prueba “Plantas de energía eólica”
(Marco de la Evaluación, 16.2, 2006, p. 183).
En ella, se proporcionan al estudiante una
serie de condiciones que debe cumplir la
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 9
velocidad del viento para que los aerogene-
radores generen energía y se le pide que eli-
ja, de entre cuatro gráficos, cuál representa
mejor las condiciones descritas. Considera-
mos que esta pregunta implica transferencia
de conocimientos a la situación planteada,
así como el diseño de un plan para elaborar
la respuesta (heurística). Cuando nos enfren-
tamos a la pregunta, podemos decidir que
primero vamos a hacer una lista de todas las
variables que entran en las condiciones (V1,
V2, V3, W), luego vamos a intentar dibujar
la gráfica y luego vamos a comparar nuestra
gráfica con las respuestas proporcionadas. La
pregunta, en definitiva, no se puede contestar
directamente, sino que requiere pararse a
pensar cómo contestarla, qué pasos dar para
encontrar la respuesta, cómo ordenar e inter-
pretar los datos proporcionados, etc.
Figura 4: “Plantas de energía eólica”, del Marco de la Evaluación, 16.2, 2006, p.183
Por otra parte, aunque, como hemos indi-
cado, no son nada despreciables la cantidad
de preguntas que se pueden responder apli-
cando sin mayor dificultad una información
ya conocida por parte del estudiante, muy
pocas, sin embargo, reclaman una ‘reproduc-
ción’ de conocimientos científicos tal y co-
mo hemos definido esta capacidad, relacio-
nada con la ‘memorización mecánica’. Con-
cretamente, aparece tan sólo en un 16,67%
de los casos, lo que podría relacionarse con
la definición de ‘competencia’ que se de-
fiende desde el propio programa PISA, don-
de la reproducción queda claramente descar-
tada en la valoración de las competencias.
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 10
Tabla 1. Resultados del análisis de pruebas PISA (% Puntuación máxima)
RP AP RF TR HE AR
No presente 67,73 34,31 1,96 49,02 72,55 54,90
1 12,75 28,31 12,75 12,75 1,96 4,90
2 3,92 12,75 26,47 17,65 2,94 9,80
3 0,00 17,65 56,86 1,96 7,84 17,65
NR 19,61 6,86 1,96 18,63 14,71 12,75
Presente 16,67 58,5 96,08 32,36 12,78 32,35
Todo parece indicar, pues, que las pruebas
pretenden medir el grado de adquisición de
determinadas habilidades relacionadas con la
ciencia, aunque no necesariamente con ella,
sino más bien con lo que podríamos llamar
“pensamiento lógico”, que también está pre-
sente en las Ciencias Sociales y, por supues-
to, en las Matemáticas, aplicado en este caso
a problemas biológicos o geológicos.
Sin embargo, en las pruebas examinadas,
no siempre se estimula la argumentación,
pareciendo que lo único que interesa es la
respuesta ‘aplicada’ por parte del estudiante,
el resultado final, y no tanto el proceso que
lleva al alumno/a a dar una u otra respuesta.
De hecho, aún considerándose la argumenta-
ción como una de las capacidades más inte-
resantes para la evaluación de competencias
en sentido complejo, tan sólo está presente
en un 32,35% de ítems analizados.
Nuestro estudio evidencia que la argumen-
tación es una de las capacidades centrales en
la evaluación de la competencia científica, en
tanto que es la capacidad que pone de relieve
el pensamiento complejo del estudiante. En
las pruebas analizadas, cuando la ‘argumen-
tación’ está presente, suele implicar un nivel
elevado de dificultad, pero sólo se suele dar
como válida una sola respuesta, que es la que
obtiene mayor puntuación, desconsiderándo-
se las relaciones que ha podido establecer el
estudiante o las reflexiones que haya podido
realizar.
Las preguntas abiertas, donde está presente
la capacidad de argumentación, exigen que el
estudiante esté habituado a razonar y a co-
municar sus planteamientos, alejándose, por
tanto, del mero ‘reconocimiento’; además,
implica que el estudiante sepa leer compren-
sivamente y expresarse correctamente por
escrito; todo ello de suma relevancia para
una auténtica evaluación de competencias.
¿Qué es lo que PISA intenta valorar re-
almente en las pruebas?
Aunque PISA se propone la medición de
los tres tipos de capacidades relacionadas
con lo que la OCDE define como “compe-
tencia científica” (identificación de cuestio-
nes científicas, explicación científica de fe-
nómenos y utilización de pruebas científi-
cas), no parece prestar especial atención a los
grupos de capacidades superiores o de se-
gundo orden (‘transferencia’, ‘heurística’ y
‘argumentación’), quedándose en un concep-
to de competencia apegado casi de forma
exclusiva al ‘saber’ como conocimiento y
descuidando las áreas del ‘saber hacer’ y
‘saber decir’ (DeSeCo) en la evaluación de la
competencia científica. Así pues, aunque en
general PISA se desinteresa por el conoci-
miento científico entendido como mera re-
producción de información de forma mecá-
nica o memorística (lo que el grupo llama
“reproducción”), encontramos que se deberí-
an potenciar más las capacidades de segundo
orden indicadas, tal y como establece el pro-
pio programa PISA en sus fundamentos teó-
ricos.
En este sentido, cabe indicarse que PISA
parece decantarse por las pruebas de elección
múltiple que no admiten argumentación, una
capacidad esencial, a nuestro juicio, en la
competencia científica. Sólo en algunas acti-
vidades se incluye alguna pregunta abierta
que requiere argumentación, pero el resto del
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 11
problema sólo requiere elección entre res-
puestas múltiples. Además, cuando se utili-
zan preguntas abiertas, los criterios de co-
rrección de las mismas son cerrados, valo-
rando sólo como correctas un conjunto limi-
tado de respuestas posibles, cuya valoración
debería centrarse más en su adecuada justifi-
cación científica, capacidad mucho más rele-
vante para la evaluación de un aprendizaje
competente. Asimismo, consideramos que se
debería favorecer más la creatividad del es-
tudiante y la transferencia del conocimiento.
Como hemos visto, en muy pocas ocasiones,
se plantean problemas abiertos que den rien-
da suelta a la transferencia y mucho menos a
la heurística.
Por último, se echa en falta actividades que
evalúen la destreza de lectura/interpretación
de imágenes gráficas (ej. esquemas, dibujos
y diagramas de biología, geología, etc.), así
como un mayor uso de la comunicación es-
crita (ej. redactar un informe, una valoración,
etc.), habilidades científicas tradicionalmente
consideradas importantes en la enseñanza de
las ciencias y ahora en el desarrollo de la
competencia científica.
Relevancia del contenido de las pruebas
Respecto a la relevancia, recordemos que
hace referencia al concepto de aprendizaje
situado, que se considera más idóneo para
potenciar el aprendizaje. Esto significa que
las actividades deben conectar con los inter-
eses o inquietudes del alumnado para permi-
tir que se desarrolle dicho aprendizaje. Un
aprendizaje competente es aquél que el
alumno/a utiliza para interpretar y actuar
sobre su entorno inmediato. Por lo tanto, se
plantea una importante dificultad de PISA
respecto a la relevancia del contenido: ¿Có-
mo lograr conectar con los intereses e inquie-
tudes del alumnado mediante una prueba
estandarizada que se pasa a una gran canti-
dad de sujetos? La única manera que existe
de que el contenido sea relevante para el
alumnado pasa por el conocimiento de las
inquietudes e intereses del mismo, cosa im-
posible de tener en cuenta en una prueba de
las características de PISA, en la que la pro-
pia condición de estandarización internacio-
nal hace difícil crear contextos relevantes
para realidades socio-culturales a veces muy
distintas. Con ello no queremos indicar que
sea imposible en todos los casos, pues, por
ejemplo, la utilización de pruebas basadas en
sucesos o eventos de repercusión mundial, o
de fuerte repercusión mediática, ofrece mar-
cos significativos o relevantes para todos los
estudiantes, dada la globalización informati-
va.
Así pues, aunque el contenido de los ítems
es, sin duda, actualizado y sobre temas vi-
gentes y en discusión, PISA tiende a plan-
tearlos de una forma academicista, desperdi-
ciando oportunidades para plantear dilemas
éticos o conflictos de actualidad en el ámbito
científico para centrarse en el contenido aca-
démico de los ítems (véase “Clonación”,
PISA 2000-03).
Esto puede verse también en la tipología de
respuestas que PISA contempla en sus cues-
tiones. De todos los ítems analizados, sólo un
37% permiten la posibilidad de respuestas
abiertas mientras que a las respuestas cerra-
das y múltiples les corresponde un 63%
(siendo más predominantes, en un 41%, las
respuestas múltiples). De igual modo ocurre
con las pautas de corrección: mientras que
para el 81% de las preguntas sólo puede ob-
tenerse el total de la puntuación asignada o
cero puntos, el 19% pueden puntuar de una
manera parcial. Está claro que PISA no con-
templa la variedad de perspectivas y el con-
flicto que representa la competencia en cien-
cias y presta más atención a la “comprobabi-
lidad” del conocimiento académico.
PISA parte de la base de que, si el alum-
no/a conoce el tema en su entorno más in-
mediato, automáticamente pasa a ser un tema
relevante para él/ella, lo cual resulta difícil
de sostener, ya que todo nuestro entorno está
rodeado de diferentes temáticas cercanas a
nosotros y no por ello todas nos resultan
igualmente relevantes o interesantes. De esta
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 12
manera, preguntas como: “El ejercicio físi-
co”, “El efecto invernadero”, “Fumar taba-
co”, “Clonación”, “El cambio climático” y
“Ozono”, podrían tener cierta relevancia por
la preponderancia del tema en los medios de
comunicación. Otras les pueden parecer inte-
resantes por su temática cotidiana: “Apta
para beber”, “Caries dental”, “La luz de las
estrellas”, “Brillo de labios”, “La masa del
pan”, “Luz del día” o “El chocolate”. El re-
sto de las preguntas, tales como “Lluvia áci-
da”, “Ultrasonido”, “El catalizador”, “La
biodiversidad”, “La conducta del espinoso”
y, específicamente, la referida a “El Gran
Cañón” (de El Colorado, que nos queda un
poco lejos), creemos que es más difícil que
resulten relevantes para niños y niñas de
quince años en general, aunque algunos y
algunas de ellos y ellas pudieran tener una
afición especial por la ciencia o la naturaleza
que hiciese que encontrasen la pregunta rele-
vante. Lo que está claro es que esto no pue-
den ser más que apreciaciones sin ningún
argumento sobre una “supuesta” relevancia,
ya que es imposible determinar el grado de
relevancia del contenido de las pruebas.
En síntesis, encontramos que es difícil
plantear preguntas relevantes para el alum-
nado mediante una prueba estandarizada para
un abanico tan variado de realidades socio-
culturales debido al desconocimiento o im-
posibilidad de conectar con las inquietudes e
intereses de tan diversa población muestrea-
da y, por tanto, con el conocimiento necesa-
rio para desarrollar una aprendizaje situado,
significativo, relevante y/o competente.
Por otro lado, cabe destacarse que el es-
fuerzo por parte de PISA para presentar te-
mas actuales y con repercusión mediática en
sus ítems no parece ser más que una actuali-
zación del contenido y no una nueva manera
de tratarlo, lo que termina por caer, en mu-
chas ocasiones, en la búsqueda de un grado
de conocimiento, en lugar de la competencia
en un ámbito, tal y como se hace tradicio-
nalmente en nuestras escuelas.
¿A qué no presta atención PISA?
Si bien no parece, por las evidencias en-
contradas en la investigación, que PISA esté
valorando ‘competencias’ tal y como se
plantean en DeSeCo (una cuestión importan-
te a pensar puede ser si esto puede hacerse
mediante pruebas estandarizadas), sí pode-
mos esbozar, tras el análisis de las pruebas,
un panorama general de aspectos a los que el
Programa parece prestar menor atención.
Parece evidente, viendo los porcentajes an-
teriores de respuestas cerradas y abiertas
presentados más arriba, que la argumenta-
ción y la comunicación no son capacidades
que PISA intente valorar con interés en sus
pruebas (esta capacidad no aparece en el
67.65% de los ítems analizados). Esto se
debe quizás a la dificultad que plantearía de
cara a la corrección de las pruebas, ligado a
una preocupación por la búsqueda de la obje-
tividad en la corrección, imposible de garan-
tizar si la argumentación y la comunicación
son muy predominantes.
Asimismo, como hemos visto, en muy po-
cas ocasiones, plantea problemas abiertos
que den rienda suelta a la capacidad de crear
o a la heurística (esta capacidad no aparece
en el 87.22% de los ítems analizados). Al
parecer, a PISA le interesa más el seguimien-
to de las leyes y teorías científicas (mediante
preguntas cerradas) que el pensamiento di-
vergente implícito en el espíritu creativo,
fundamental en el avance de la ciencia.
Por otra parte, una de las capacidades que
reclama PISA es la de ‘búsqueda de infor-
mación científica y su selección’. Es una
lástima que esta búsqueda se restrinja úni-
camente a la información que se proporciona
en el enunciado. Para que el alumnado pueda
desplegar al máximo su competencia (recor-
demos que no tiene que ver con el contenido)
en cualquier aspecto, es imprescindible que
tenga a su alcance todo tipo de información,
incluido un portátil conectado a la red (como
parece haberse propuesto en PISA 2009, con
una aplicación ‘cerrada’).
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 13
Otro aspecto llamativo de las pruebas de
PISA es la restricción de los problemas a
temas puramente académicos, con escasa o
nula conexión con temas transversales. Así,
aunque algunas actividades plantean cuestio-
nes de salud y medio ambiente (nunca sobre
otros derechos humanos), no aparecen pre-
guntas en las que aflore en profundidad la
actitud del alumno/a; asimismo, tampoco
reclaman reflexiones o dilemas éticos por
parte del estudiante, cuestiones éstas que se
supone están indefectiblemente ligadas a la
actividad científica.
Relacionado con esto, llama también la
atención la presencia de algunos ítems que se
plantean únicamente para intentar valorar la
actitud del alumno/a frente a las ciencias,
aunque de un modo superficial. Curiosamen-
te, no aparecen liberadas las pautas de co-
rrección para dichos ítems, con lo cual en-
tendemos que no cuentan para la puntuación
de la prueba (véase pregunta 1.6 de “Apta
para beber” del Marco de 2006).
Por otra parte, en relación con el conteni-
do, podría plantearse quizás un posible sesgo
cultural en la elección de los temas propues-
tos, propios de una clase social determinada,
alejados de culturas locales y minoritarias
(véase “Cirugía con anestesia general” del
Marco de 2006, “El cambio climático” de
PISA 2000-03 o “El catalizador” del Marco
de 2006).
La preocupación de los diseñadores de las
pruebas por conseguir evitar cualquier sesgo
tanto en el contenido de la pregunta como en
la exactitud de las respuestas provoca que se
eviten en las pruebas contenidos o temas
problemáticos, huyendo de la “contamina-
ción” de las opiniones. La ciencia, en la
orientación más positivista, ha de respetar
determinados procesos y los hallazgos obte-
nidos no admiten respuestas equívocas. Ese
conocimiento exacto y asimilación de sus
métodos puede generar un racionalismo exa-
cerbado y una actitud/creencia hacia el cono-
cimiento científico como un saber acrítico y
falto de referentes históricos, sociales, etc.,
que expliquen los porqués de la deriva de la
ciencia hacia focos de investigación determi-
nados.
No se han observado en las pruebas temas
de conocimiento sujetos al debate, que pu-
dieran sembrar la duda en los estudiantes por
las opciones a elegir o las respuestas requeri-
das. Ahora bien, ese alejamiento de temas
‘problemáticos’ presenta a la ciencia y al
conocimiento científico como una metáfora
de la verdad suprema que, para algunos, es la
nueva religión. De ahí que, en la tipología de
las pruebas, parece existir la estrategia de los
evaluadores de eliminar el “ruido de fondo”
en la medición, es decir, eliminar cualquier
cosa que no sea un procedimiento científico
estricto. Esto es coherente con la forma en
que se compartimenta el conocimiento en
todos los currículos educativos de la OCDE.
La inclusión de la dimensión “actitudes” en
2006 indica un avance en ámbitos como la
salud y el medio ambiente, pero nada apare-
ce relacionado con el juicio moral sobre la
actividad científica.
En las pruebas analizadas, pues, parece
haber una falta total de atención a las impli-
caciones sociales y/o morales de las cuestio-
nes tratadas, por ejemplo, en aspectos rela-
cionados con la salud, el medio ambiente o la
investigación científica. En general, estas
ausencias podemos encontrarlas en pruebas
como: “El Gran Cañón”, “Fumar Tabaco”,
“El ejercicio físico”, “Ozono”, “El cambio
climático”, “El efecto invernadero”, “Clona-
ción”. En las citadas pruebas, no se hace alu-
sión a los impactos del turismo en el medio
ambiente, los intereses de las multinaciona-
les sobre determinadas enfermedades, la éti-
ca sobre la reproducción, etc., soslayando,
como decimos, aquellos apartados que son
causa de debates morales, políticos, ecológi-
cos, etc.
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 14
Conclusiones
Como hemos analizado, PISA pretende es-
tablecer un marco común, internacional, de
evaluación del rendimiento de los estudiantes
de quince años, entendido como nivel de
competencia. Bajo el concepto de ‘compe-
tencia’, PISA ha tratado de promover la va-
loración de la ‘utilidad’ y ‘aplicación’ del
conocimiento sobre la reproducción en la
formación de la competencia, analizando y
especificando los conocimientos, capacida-
des y actitudes que intervienen en la forma-
ción de la competencia científica. Sin em-
bargo, en nuestro análisis, encontramos bas-
tantes limitaciones de cara la evaluación de
la competencia científica en los términos que
define el propio programa PISA –como un
‘saber hacer complejo’–. En este sentido,
consideramos que se debería potenciar una
aproximación más holística e interdisciplinar
a las competencias, en tanto que encontra-
mos una falta de correspondencia entre el
concepto de competencia que plantea DeS-
eCo y la forma en que PISA las evalúa fi-
nalmente, fragmentándolas en disciplinas,
capacidades, habilidades y destrezas; aleján-
dose de las capacidades de orden superior
como son la transferencia, la heurística y la
argumentación; haciendo, en definitiva, que
la competencia pierda su sentido. Es posible
que la pretensión de someter a estas pruebas
a un análisis estadístico convencional obli-
gue a los diseñadores a demandar ejercicios
de respuestas cerradas para facilitar la co-
rrección de los mismos y evitar el compo-
nente de subjetividad que conlleva una valo-
ración.
Por otra parte, consideramos que se debería
aprovechar todo el potencial crítico de las
preguntas, en tanto que un artificio llamativo
de las pruebas de PISA parece ser la restric-
ción de los problemas a temas puramente
académicos, con escasa o nula conexión con
los temas transversales y de la ‘vida real’. Es
cierto que algunas actividades plantean cues-
tiones de salud y medio ambiente, pero no
profundizan en ellas, no plantean preguntas
que revelen en profundidad la actitud del
alumno/a, ni plantean reflexiones o dilemas
éticos ligados a la actividad científica.
En otro orden de cosas, consideramos que
permitir el acceso a material de consulta para
responder las preguntas debe ser un recurso
imprescindible para la evaluación de compe-
tencias; el alumnado, desde este punto de
vista, debería tener a su alcance todo tipo de
información.
A modo de conclusión final, cabría pregun-
tarse para futuras investigaciones si este mo-
delo de evaluación de competencias que
plantea PISA (mediante pruebas estandariza-
das) es o debe ser el más adecuado para las
finalidades que se proponen desde el propio
Programa de evaluación. Algunas de las difi-
cultades que hemos visto a lo largo de todo
el artículo, podrían resultar insalvables para
una prueba de estas características: la rele-
vancia del contenido de las pruebas, la co-
rrección objetiva de preguntas que pudieran
plantear argumentación y/o heurística, etc.
Por lo tanto, estamos en condiciones de es-
grimir la necesidad de otros modelos más
acordes para la evaluación de competencias
educativas en sentido holístico, poniendo en
duda, por tanto, si la solución a la evaluación
de competencias está en el perfeccionamien-
to de la prueba PISA o en el modelo elegido
para la evaluación de las mismas. Tal vez los
países implicados debieran acudir a enfoques
cualitativos que permitieran la observación
del comportamiento de los adolescentes en
situaciones naturales para matizar los resul-
tados estadísticos globales, puesto que en el
horizonte no se atisba una desaparición de
estos análisis mundiales.
Bibliografía
Camaño, A. (2007). La evaluación PISA en
Ciencias en 2006 en España e Iberoamérica.
Alambique. Did. Cien. Exper. 47, 5-11.
Gil Pérez, D. y Vilches, A. (2006). ¿Cómo
puede contribuir el proyecto PISA a la me-
jora de la enseñanza de las Ciencias (y de
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 15
otras áreas de conocimiento)?. Revista de
Educación, Nº Extra. 295-331.
Hargreaves, D.H. (2005). Personalising
learning 3: learning to learn & the new
technologies. London: Specialist Schools
Trust.
Harlen, W. (2002). Evaluar la alfabetización
científica En el programa de la OCDE para
la evaluación internacional de estudiantes
(PISA). Enseñanza de las Ciencias, 20 (2),
209-216.
Hatzinikita, V.; Dimopoulos, K. & Christi-
dou, K. (2008). PISA test items and school
textbooks related to science: A textual com-
parison. Science Education, 92 (4), 664 –
687.
Hernández, F. (2006). El informe PISA: una
oportunidad para replantear el sentido del
aprender en la escuela secundaria. Revista
de Educación, extraordinario PISA, 357-
379.
Ministerio de Educación (2006). Ley Orgá-
nica 2/2006, de 3 de mayo, de Educación.
Boletín Oficial del Estado nº 196 (4 de ma-
yo), 17158-17207.
Monereo, C. y Pozo, J.I. (2007). Competen-
cias para (con) vivir con el siglo XXI. Cua-
dernos de Pedagogía, 370, 12-18.
Organización para la Cooperación y el Desa-
rrollo Económico (OCDE). (2002). Cono-
cimientos y aptitudes para la vida. Primeros
resultados del PISA 2000 de la OCDE. Ma-
drid: Santillana-MEC.
Organización para la Cooperación y el Desa-
rrollo Económico (OCDE). (2002). La defi-
nición y selección de competencias clave
(DeSeCo). Resumen ejecutivo.
www.OECD.org/edu/statistics/deseco
(www.deseco.admin.ch) (consultado el 10
diciembre 2009).
Organización para la Cooperación y el Desa-
rrollo Económico (OCDE). (2004). Marcos
teóricos de PISA 2003. Conocimientos y
destrezas en Matemáticas, Lectura, Cien-
cias y Solución de problemas, Madrid: San-
tillana-MEC.
Organización para la Cooperación y el Desa-
rrollo Económico (OCDE). (2006). PISA
2006. Marco de la evaluación. Conocimien-
tos y habilidades en Ciencias, Matemáticas
y Lectura. Madrid: Santillana-MEC.
Oñorbe, A. (2008). Las pruebas de evalua-
ción en Ciencias del proyecto PISA. Alam-
bique. Did. Cien. Exper. 57, 41-52.
Psalidas, A., Apostolopoulos, C. & Hatzini-
kita, V. (2008). Investigating factors affect-
ing students’ performance to PISA Science
items. Journal of Engineering Science and
Technology Review 1, 90-97.
Puente Azcutia, J. (2008). PISA 2006: resul-
tados españoles en Ciencias. Alambique.
Did. Cien. Exper. 57, 12-22.
Notas
[1] Proyecto I+D (ref. SEJ-2007-66967), financiado por el Ministerio de Educación y dirigido por
el profesor D. Ángel I. Pérez Gómez (Universidad de Málaga).
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 16
ABOUT THE AUTHORS / SOBRE LOS AUTORES
Gallardo-Gil, Monsalud (monsalud@uma.es). Doctora en Ciencias de la Educación por la Universi-
dad de Málaga. Es la autora de contacto para este artículo. Pertenece al grupo de investigación “Inno-
vación y Evaluación Educativa en Andalucía” (HUM-0311). Sus líneas principales de investigación
son: formación del profesorado, TIC, evaluación educativa y procesos de enseñanza-aprendizaje en el
contexto rural. Buscar otros artículos de esta autora en Google Académico /Find other articles by this
author in Scholar Google
Fernández-Navas, Manuel (mfernandez1@uma.es). Investigador de la Universidad de Málaga. Es
Maestro de Audición y Lenguaje y Licenciado en Psicopedagogía. Pertenece al grupo de investigación
“Innovación y Evaluación Educativa en Andalucía” (HUM-0311). Sus líneas de investigación son en-
señanza virtual, investigación-acción, nuevas tecnologías en educación y evaluación educativa. Ac-
tualmente está trabajando en su tesis sobre enseñanza virtual en el ámbito universitario. Buscar otros
artículos de este autor en Google Académico / Find other articles by this author in Scholar Goo-
gle
Sepúlveda-Ruiz, María-Pilar (mdsepulveda@uma.es). Licenciada en Pedagogía y Doctora por la
Universidad de Málaga, es Profesora titular del Dpto. de Didáctica y Organización Escolar de dicha
Universidad. Pertenece al grupo de investigación “Innovación y Evaluación Educativa en Andalucía”
(HUM-0311). Sus publicaciones se han centrado en la formación inicial del profesorado, principal
preocupación en su trayectoria. Buscar otros artículos de esta autora en Google Académico / Find ot-
her articles by this author in Scholar Google
Serván, María-José (servan@uma.es). Doctora en Ciencias de la Educación, es Profesora Ayudante
del Departamento de Didáctica y Organización Escolar de la Universidad de Málaga. Pertenece al gru-
po de investigación “Innovación y Evaluación Educativa en Andalucía” (HUM-0311). Destacan sus
publicaciones en torno a formación del profesorado y evaluación educativa. Buscar otros artículos de
esta autora en Google Académico / Find other articles by this author in Scholar Google
Yus, Rafael (rafayus@telefonica.net). Doctor en Ciencias, es Catedrático de Ciencias Naturales y autor
de varias decenas de libros y centenares de artículos de ciencia y pedagogía. Pertenece al grupo de in-
vestigación “Innovación y Evaluación Educativa en Andalucía” (HUM-0311). Ha venido centrando su
labor en didáctica de las ciencias, temas transversales, educación en valores y currículum integrado.
Buscar otros artículos de este autor en Google Académico / Find other articles by this author in Scho-
lar Google
Barquín, Javier (barquin@uma.es). Doctor en Ciencias de la Educación y profesor Titular de Dpto.
de Didáctica y Organización Escolar de la Universidad de Málaga. Pertenece al grupo de investigación
“Innovación y Evaluación Educativa en Andalucía” (HUM-0311). Trabaja en el ámbito universitario
desde 1984, tratando temas de profesorado y uso de las TIC. Buscar otros artículos de este autor en
Google Académico / Find other articles by this author in Scholar Google
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael &
Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias.
RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm
Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 17
ARTICLE RECORD / FICHA DEL ARTÍCULO
Reference /
Referencia
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José;
Yus, Rafael & Barquín, Javier (2010). PISA y la competencia científica: Un análisis de las pruebas de PI-
SA en el Área de Ciencias. RELIEVE, v. 16, n. 2.
ttp://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm.
Title / Título PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias. [PISA and
scientific competence: An analysis of the PISA tests in the Area of Science].
Authors /
Autores Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus,
Rafael & Barquín, Javier
Review /
Revista RELIEVE (Revista ELectrónica de Investigación y EValuación Educativa / E-Journal of Educational Re-
search, Assessment and Evaluation), v. 16, n. 2.
ISSN 1134-4032
Publication
date /
Fecha de
publicación
2010 (Reception Date: 2010 June 14; Approval Date: 2010 December 26; Publication Date: 2010 De-
cember 26).
Abstract /
Resumen
This work is part of an investigation focusing on the educational evaluation of the skill of Learning how to
Learn, which addresses the issue of basic skills that students needs to develop to function throughout life in
the contemporary social context. One purpose of the study is to analyze the potential of external and diag-
nostics evaluations to estimate the level of acquisition of these skills. Focusing on a methodology of quali-
tative and quantitative analysis of the PISA tests released in the specific area of Science (2000-2006), we
conclude that these tests require scientific skills of low complexity, with marked presence of mere repro-
duction. In addition, we appreciate the gap between the concept of competence proposed DeSeCo and what
PISA really evaluates according to the results obtained in the area of Science.
El presente trabajo forma parte de una investigación centrada en la evaluación educativa de la competencia
de Aprender cómo Aprender, en la que se aborda la temática de las competencias básicas que los estudian-
tes necesitan desarrollar para desenvolverse durante toda la vida en el contexto social contemporáneo. Uno
de los propósitos del estudio es analizar el potencial de las evaluaciones externas y diagnósticas para esti-
mar el grado de adquisición de estas competencias. Centrándonos en una metodología de análisis cualitati-
vo y cuantitativo de las pruebas liberadas de PISA en el área específica de Ciencias (2000-2006), conclui-
mos que estas pruebas demandan capacidades científicas de baja complejidad, con acentuada presencia de
la mera reproducción. Además, valoramos la distancia existente entre el concepto de competencia propues-
to en DeSeCo y lo que realmente parece evaluar PISA a la luz de los resultados obtenidos en el área de
Ciencias.
Keywords /
Descriptores Assessment; Evaluation; Education; Skills; Competence; PISA; Sciences.
Evaluación; Educación; Competencias; PISA; Ciencias.
Institution /
Institución Departamento de Didáctica y Organización Escolar. Universidad de Málaga. (España).
Publication site
/ Dirección http://www.uv.es/RELIEVE
Language /
Idioma Español (Title, abstract and keywords in English)
RELIEVE
Revista ELectrónica de Investigación y EValuación Educativa
E-Journal of Educational Research, Assessment and Evaluation
[ISSN: 1134-4032]
© Copyright, RELIEVE. Reproduction and distribution of this articles it is authorized if the content is no modified
and their origin is indicated (RELIEVE Journal, volume, number and electronic address of the document).
© Copyright, RELIEVE. Se autoriza la reproducción y distribución de este artículo siempre que no se modifique el
contenido y se indique su origen (RELIEVE, volumen, número y dirección electrónica del documento).
