BookPDF Available

Pisa como excusa. Repensar la evaluación para cambiar la enseñanza.

Authors:
  • Autonomous University of Barcelona. SINTE team Research

Abstract and Figures

En esta obra el proyecto PISA es una excusa para favorecer cambios positivos en las prácticas educativas que habitualmente realizan los docentes en enseñanzas medias. Se trata de una buena excusa, porque las pruebas incluidas en PISA, más allá de su uso político y mediático, se basan en principios psicoeducativos rigurosos y potentes, capaces de transformar la evaluación y la enseñanza. ¿Cómo utilizar esos principios para producir esa transformación? Este libro trata de responder a esta cuestión mostrando, en primer lugar, que la evaluación tiene efectos decisivos sobre el aprendizaje de los alumnos y la enseñanza de los profesores y que, por lo tanto, las competencias del evaluador son esenciales para una valoración apropiada de las competencias de los alumnos. En segundo lugar, se presenta una guía inspirada en los principios de PISA para analizar y modificar actividades de evaluación y enseñanza. Finalmente se ofrecen ejemplos reales de cómo llevar a cabo ese análisis, y los cambios correspondientes, en actividades de evaluación y/o enseñanza que pueden servirnos a todos, pero que se han concretado en las áreas de lengua, matemáticas, ciencias naturales y ciencias sociales
Content may be subject to copyright.
Las bases psicoeducativas del proyecto PISA
como guía para el cambio en las
concepciones y prácticas del profesorado de
secundaria
CARLES MONEREO1, MONTSERRAT CASTELLÓ2, DAVID DURAN1
EISABEL GÓMEZ1
1Universidad Autónoma de Barcelona; 2Universidad Ramon Llull
Resumen
El presente estudio plantea la posibilidad de emplear los principios psicoeducativos que subyacen en la elaboración de
los ítems del proyecto PISA para suscitar cambios en las concepciones y prácticas educativas del profesorado de secundaria,
hacia una mayor autenticidad y complejidad cognitiva de las actividades, y una mayor promoción de la autonomía de
aprendizaje de los alumnos. Para lograr estos cambios se involucró a una muestra de profesores del área de lengua en un
proceso de investigación-formación en el que éstos actuaban como partners, elaborando conjuntamente con los investigadores
los instrumentos que debían guiar esos cambios. Los resultados muestran una progresión positiva hacia las dimensiones de
cambio señaladas
Palabras clave: Autenticidad, concepciones, complejidad cognitiva, autonomía de aprendizaje.
The psychoeducational principles of the PISA
project as a guide for changing secondary
school teachers’ conceptions and educational
practices
Abstract
The present study considers the possibility of applying psychoeducational principles underlying the elaboration of the
PISA project in order to change secondary school teachers’ conceptions and educational practices, leading to more authentic
and complex cognition in activities, and to greater promotion of students’ learning autonomy. To achieve these changes, a
sample of language teachers participated as partners in the process of research-training, elaborating with the research
team the instruments that should guide these changes. The findings revealed positive progress towards the identified
dimension of change.
Keywords: Authenticity, conceptions, cognitive complexity, learning autonomy.
Agradecimientos: Queremos agradecer a los equipos directivos y profesores de los Institutos de enseñanza secundaria
Manuel de Cabanyes (Vilanova i la Geltrú) y Can Puig (Sant Pere de Ribes) su excelente disposición para colaborar en la
presente investigación.
Investigación financiada por la Dirección General de Investigación del Ministerio de Educación (Ref. SEJ2004-
02458/EDUC)
Correspondencia con los autores: Carles Monereo. Dep. Psicología Básica, Evolutiva y de la Educación. Facultad de Ciencias
de la Educación. Universidad Autónoma de Barcelona. Campus de Bellaterra. 08193 Barcelona. Tel.: +34 935812103.
E-mail: carles.monereo@uab.cat
© 2009 Fundación Infancia y Aprendizaje, ISSN: 0210-3702 Infancia y Aprendizaje, 2009, 32 (3), 421-447
12. MONEREO 17/7/09 10:21 Página 421
Introducción
El proyecto PISA (Programme for Indicators of Student Achievement) ha tenido una
importante repercusión en todos los países europeos en los que se ha venido aplicando
desde 1997, y especialmente en aquellos en los que las puntuaciones promedio han esta-
do por debajo de la media, como es el caso de España. Desafortunadamente, al menos en
nuestro país, esta repercusión apenas ha sobrepasado los límites del ataque político y del
debate público en los medios de comunicación, sin que haya servido para promover
cambios reales en las prácticas educativas que pudiesen favorecer la obtención de mejo-
res resultados en la siguiente evaluación (Gil y Vilches, 2006). En realidad es bastante
lógico prever que si no se disponen medidas para que la calidad de la enseñanza mejore,
volverán a repetirse las diferencias entre países con una buena y mala educación, según
los estándares de PISA, y eso puede llegar a generar una suerte de “desesperanza apren-
dida” según la cual se trata de un problema endógeno ante el que solo cabe la resigna-
ción, el desánimo y la pasividad.
Sin embargo, el proyecto PISA puede ser útil, no solo para evaluar la progresión de
los distintos sistemas de educación nacionales, sino que sus sólidos fundamentos episte-
mológicos y psicoeducativos pueden resultar de un enorme interés para propiciar cam-
bios en las prácticas cotidianas de los profesores y profesoras. Concretamente, el análisis
de los ítems que se proponen en las distintas áreas que evalúa el proyecto –lectura,
matemáticas y ciencias–, pone de manifiesto el esfuerzo realizado por dotarles de auten-
ticidad, por graduar su complejidad cognitiva y por promover formas de aprendizaje
más autónomas (Ince, 2007; OCDE, 2006). Revisemos brevemente estas nociones fun-
damentales, que están en la base de la investigación que presentaremos más adelante:
a) Autenticidad. Básandonos en la literatura sobre el tema (Barnett y Ceci, 2002;
Gulikers, Bastiaens y Kirschner, 2004; Hung y Der-Thanq, 2007; Monereo, en prensa),
una actividad de evaluación será más auténtica:
a.1) Si plantea condiciones y criterios realistas, es decir fieles a las condiciones y crite-
rios que el alumno habrá de afrontar en contextos extra-académicos en calidad de ciuda-
dano (en nuestro caso, dado que nos centramos en estudiantes de ESO –Enseñanza
Secundaria Obligatoria–). Esas condiciones pueden concernir a aspectos del entorno
físico en el que se realizará la actividad de evaluación (condiciones relativas al lugar,
tiempo o recursos con los que se cuenta en contextos extra-académicos para resolver pro-
blemas similares), del entorno social (acceso a los recursos sociales habituales en la situa-
ción de referencia: interacción con otros y posibilidad de pedir ayuda cuando se necesite)
o en relación a los resultados esperables (si la calidad del producto que se obtenga se
podrá medir con los mismos parámetros con los que se miden esos mismos productos en
situaciones extra-académicas).
a.2) Si es relevante para los alumnos, es decir si se evalúan competencias funcionales
para su uso eficaz en los contextos de desarrollo que les son propios. Una práctica de eva-
luación puede ser relevante para el estudiante por distintas razones: porque resulta pro-
pedéutica para preparar aprendizajes posteriores, porque respeta sus intereses y motiva-
ciones, porque plantea una situación verosímil, es decir que podría ocurrirle realmente,
o porque constituye una muestra legítima de las prácticas de la comunidad socio-cultu-
ral a la que pertenece.
a.3) Si está dentro de la zona de desarrollo de las competencias del profesor, es decir
si, aún cuando supongan una innovación, ésta es asumible en el seno de las prácticas
habituales del docente y de la etapa y departamento al que pertenece. En nuestro estu-
dio, hemos denominado a esta dimensión “proximidad ecológica” por cuanto se refiere a
si esa nueva práctica evaluativa es sostenible por el profesor, habida cuenta de sus recur-
sos y de la cultura institucional a la que pertenece.
b) Si contempla diferentes niveles de complejidad cognitiva (Colomina, Onru-
bia y Naranjo, 2000; Curren, 2004). Una prueba de evaluación debe contemplar
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
422
12. MONEREO 17/7/09 10:21 Página 422
distintos niveles de exigencia cognitiva y, especialmente, aquellos que una tarea
extra-académica de características similares demandaría. Tradicionalmente las
pruebas de evaluación que se utilizan en la ESO atienden a conocimientos y habili-
dades de bajo nivel cognitivo (adoptando la taxonomía clásica de Bloom, no suelen
superar el nivel de aplicación), olvidando aproximaciones más reflexivas de natura-
leza, por ejemplo, metacognitiva. Por otra parte, suelen tener una alta concentra-
ción de contenido conceptual, obviando o marginando contenidos de naturaleza
procedimental o actitudinal. Es preciso garantizar la presencia de cuestiones orien-
tadas a los distintos tipos de contenidos y a los diferentes grados de exigencia cog-
nitiva imprescindibles para afrontar problemas similares a los que el estudiante se
enfrentará como ciudadano, fuera del centro educativo.
c) Si promueve la autonomía (Baumert, Fend, O’Neil y Peschar, 1998). Un último
aspecto que contemplan las pruebas de evaluación de PISA es la promoción de las habi-
lidades de planificación, auto-regulación y auto-evaluación. Un ciudadano del siglo
XXI debería adquirir estrategias de aprendizaje que le permitiesen planear y preparar
anticipadamente sus acciones, tomar decisiones conscientes y ajustadas a las condiciones
de la tarea, supervisar el curso de la resolución y corregirlo cuando sea necesario, respon-
der adecuadamente a situaciones inesperadas o inciertas, y ser capaz de identificar y ana-
lizar conscientemente los errores cometidos y reconocer las respuestas más apropiadas
para poder aplicarlas en un futuro.
Propiciando un cambio en las prácticas de evaluación de un profesor, en el sentido de
las tres dimensiones apuntadas, ¿lograríamos que se produjesen cambios evidentes en
sus concepciones y en su quehacer como docente? Éste es el propósito central de este tra-
bajo, indagar si bajo determinadas condiciones estos cambios se producen.
En la historia reciente ha habido intentos consistentes y reiterados de transformar el
enfoque y sistema de evaluación de los aprendizajes como medio de incidir en cambios
sustantivos en la práctica global de la enseñanza. La explicitación de la idea de que las
prácticas de evaluación son inseparables de las prácticas de enseñanza y de que en conse-
cuencia, para transformar las prácticas de enseñanza, hay que transformar las prácticas
evaluadoras está presente en el panorama psicoeducativo desde hace tiempo (p.e: Coll y
Martín, 1996; Nunziati, 1990; Sanmartí, 2007). Desde los años 80, el enfoque que J.
Cardinet (1991) denominó comunicativo, basado en la autorregulación de los aprendi-
zajes y en la interacción social en el aula, se ha ido abriendo paso entre los expertos en
didáctica. Autores francófonos y próximos a nosotros –L. Allal, G. Nunziati, P. Perre-
noud, J. Jorba, N. Sanmartí, E. Casellas, etcétera– han desarrollado numerosas propues-
tas en el contexto de la enseñanza obligatoria tomando como referente la autorregula-
ción de los aprendizajes, la evaluación formativa y formadora y los contratos didácticos,
así como instrumentos concretos para la autorregulación como las bases de orientación y
las cartas de estudio. Se trata de propuestas que incluyen instrumentos funcionales y que
confieren a las prácticas evaluadoras un papel primordial e incluso un rol de motor del
cambio.
En nuestro proyecto, y persiguiendo la autonomía e implicación del profesorado
como condición esencial para el cambio, se decidió no proponer –ni mucho menos
imponer– formas concretas de evaluación. Debían ser los propios profesores los que, a
través de un proceso de reflexión sobre la propia práctica y de una contrastación inicial
con los principios y las formas de evaluación de las pruebas PISA, decidieran y concreta-
ran los cambios a introducir, siempre en función de sus objetivos educativos y didácti-
cos. Se trataba de promover la autorreflexión sobre los propios procesos de cambio. Solo
así podíamos aspirar a la continuidad y sostenibilidad del proceso de innovación.
En todo caso, para promover cambios reales en las prácticas del profesorado no
basta con introducir nuevos recursos, materiales o técnicas. Un cambio significati-
vo en las formas de actuación –lo que se hace y aplica– requiere un cambio sustan-
cial en las concepciones –lo que se piensa, se representa y se dice–. La investigación
423
Las bases de PISA como guía para el cambio / C. Monereo et al.
12. MONEREO 17/7/09 10:21 Página 423
(p.e. Coll, Rochera, Mayordomo y Naranjo, 2007; Mauri y Gómez, 1999; McDo-
nald, 2006; Torrance y Pryor, 1998; 2001) ha mostrado que la evaluación puede
tener efectos retroactivos en el modo en que los estudiantes aprenden, e incluso en
el modo en que los profesores enseñan; sin embargo para que, en efecto, un cambio
en la evaluación se traduzca en un cambio en la enseñanza es preciso que ese cambio
no sea superficial. En este sentido la investigación llevada a cabo por Torrance y
Pryor (2001) subrayó que unicamente a través de una clarificación exhaustiva de los
objetivos y criterios de la evaluación, y de la relación de ésta con las actividades rea-
lizadas en el aula, se lograba un cambio en las prácticas instructivas y un efecto
positivo sobre el aprendizaje y los procesos de autorregulación de los alumnos.
Nosotros mismos, en un trabajo previo (Castelló y Monereo, 2005), comprobamos
que la inserción de cambios inducidos externamente en las formas de evaluar de los
profesores, no mejoraba substancialmente ni las prácticas de aula ni las concepcio-
nes de profesores y alumnos. Los docentes perciben este tipo de intervenciones
como algo ajeno a su práctica y a su realidad, como un “experimento” impulsado y
llevado a cabo por la universidad que no puede conectar con sus preocupaciones,
intereses y desafíos cotidianos. La posibilidad de implicar a los docentes como part-
ners de la investigación, es decir como participantes activos en el diseño y desarrollo
de parte de los dispositivos que se utilizan para recopilar y analizar los datos, se ha
demostrado como una vía fructífera para que los cambios sean más significativos,
profundos y permanentes (p.e. Boekaerts y Corno, 2005; Perry, Phillips y Dowler,
2004).
Por otra parte el proyecto PISA y su eco mediático pueden ser una excelente razón
para que los profesores se involucren de manera activa en un proyecto de innovación,
como apuntan acertadamente Sanmartí y Sardà (2007; p. 61):
El argumento de autoridad que conlleva el diseño del programa de evaluación PISA puede llegar a ser
más convincente que muchos otros proclamados desde hace años por distintas instituciones y estimular
cambios significativos en los currículos reales (aunque es una hipótesis que habrá que comprobar en los
próximos años).
Por desgracia, más allá de algunas reflexiones lúcidas sobre la cuestión (Gil y Vilches,
2006; Sánchez y García-Rodicio, 2006), no conocemos investigaciones que centren su
interés en comprobar cómo un sistema de evaluación como PISA puede utilizarse para
promover cambios en las pruebas de evaluación que, de manera habitual, emplean los
docentes, y cúal es su impacto sobre las prácticas de enseñanza. Esta investigación, como
ya avanzamos, pretende ser una contribución en este sentido, para lo cual creamos un
sistema de asesoramiento colaborativo que implicaba a algunos profesores de enseñanza
secundaria en nuestra propia investigación, generando instrumentos de análisis y mejo-
ra de la práctica instructiva (Duran y Monereo, 2008), tomando como referencia las
pruebas del proyecto PISA.
Objetivo de la investigación
La investigación que presentamos pretende comprobar si un sistema de asesora-
miento colaborativo, fundamentado en los principios psicoeducativos subyacentes a
las pruebas del proyecto PISA, puede modificar, además de las prácticas de evalua-
ción sobre las que el asesoramiento incidirá directamente, las concepciones y las
prácticas instruccionales de los profesores participantes en calidad de partners.
Nuestro supuesto de partida es que el análisis y reflexión sobre las posibilidades y
formatos de evaluación y sobre los cambios en las prácticas evaluativas, tendrán
efectos manifiestos sobre el modo en que los profesores conceptualizan la evalua-
ción y también, de manera retroactiva, sobre la manera en que desarrollan sus cla-
ses.
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
424
12. MONEREO 17/7/09 10:21 Página 424
Método
Participantes
La muestra inicial estaba formada por ocho profesores de secundaria que formaban
parte de un grupo de innovación de un instituto público de secundaria, de una sola
línea, situado en la comarca del Garraf (provincia de Barcelona) en una población coste-
ra de unos 60.000 habitantes y considerado como el centro de más solera de la localidad.
El centro atiende a estudiantes con un nivel socioeconómico medio y medio bajo y res-
ponde a las características, tanto arquitectónicas como de composición de profesorado,
de los antiguos centros de Bachillerato que fueron transformados en IES en el marco de
la LOGSE.
A efectos de este artículo, los datos se refieren a tres de estos profesores que, de hecho,
fueron los que participaron en todas las fases de la investigación a lo largo de dos años y
los que además pertenecían a una misma área de conocimiento, el área de lenguaje. En
cuanto al resto de profesores, tres no pudieron completar los requisitos que requería la
investigación por distintas causas (enfermedad, cambio de centro o de nivel educativo),
y los otros dos casos fueron desestimados porque pertenecían a áreas de conocimiento
dispares (Tecnología e Historia), lo que dificultaba el análisis comparativo de sus prácti-
cas de enseñanza y evaluación. Se trata pues de una muestra intencional de profesores
que aceptaron participar en la investigación y, a su vez, se comprometieron a involucrar-
se en un seminario de formación a lo largo de dos cursos académicos (sin que ello com-
portara necesariamente, como se verá, una predisposición al cambio). Cabe destacar que
ninguno de estos profesores había participado en experiencias previas de formación en
evaluación o en enseñanza por competencias. Estos profesores impartían clase a un total
de 63 alumnos de cuarto curso de educación secundaria que también formó parte de la
muestra.
Diseño y procedimiento
Se plantea un estudio de casos comparativo de tres profesores pertenecientes a cuarto
curso de ESO del área de lingüística. Los contenidos objeto de evaluación y enseñanza
fueron los siguientes (se repitieron en ambos cursos):
– Profesor A (Lengua y Literatura): “Introducción a la Sociolingüística”. Se tratan
aspectos relativos a los distintos usos sociales del lenguaje y su impacto en relación al
fenómeno de la emigración.
– Profesor B (Lengua extranjera): “Risk or just adventure?” El objetivo es que los
alumnos entiendan y usen (de forma hablada y escrita) estructuras lingüísticas en inglés
a partir de textos y vocabulario referido a los deportes de aventura.
– Profesor C (Cultura Clásica): “La Vida en Esparta”. Se revisa el concepto de demo-
cracia en la antigüedad y algunas estructuras gramaticales como el aoristo sigmático y
temático.
El procedimiento seguido –que presenta de forma esquemática la Figura 1– se
extiende a lo largo de dos cursos académicos y se detalla a continuación.
Primer año (curso 2005-06): a través de la inspección de zona, supimos del interés
del centro en revisar sus propuestas de evaluación y contactamos con el equipo directi-
vo, ofreciéndoles colaborar en la revisión de sus prácticas de evaluación a la luz de los
resultados de las pruebas PISA, que acababan de publicarse. Conjuntamente con los
profesores se decidió constituir un seminario de formación permanente, bajo la financia-
ción del ICE de la Universidad de Barcelona1, con el compromiso de mantener esta acti-
vidad por lo menos durante dos cursos académicos. El papel del asesor se limitó a apor-
tar información respecto a los fundamentos y dimensiones de las pruebas PISA y a
acompañar la reflexión iniciada por los profesores respecto, de manera exclusiva, a sus
procesos de evaluación. Más concretamente, a lo largo del primer trimestre del curso, se
425
Las bases de PISA como guía para el cambio / C. Monereo et al.
12. MONEREO 17/7/09 10:21 Página 425
analizaron los principios psicoeducativos subyacentes de las pruebas PISA, se estudiaron
las dimensiones consideradas para la elaboración de sus ítems y se procedió al análisis y
la valoración de algunas de las pruebas liberadas de PISA, correspondientes al año 2003
(Ince, 2007).
En el segundo trimestre de este primer año, se consensuó con los profesores una herra-
mienta denominada “Guía para el análisis de pruebas de evaluación desde la perspectiva
PISA” (GAPPISA) con el objetivo de que fuese aplicada a sus pruebas de evaluación. Cada
profesor, con la ayuda de la guía, escogió una de sus pruebas de evaluación habituales, vin-
culada a una determinada unidad didáctica, y la analizó (en el anexo 5 puede consultarse
una de esas guías). Después de discutir con el asesor-investigador los resultados que arroja-
ba su análisis, cada docente decidía cuáles eran los cambios que quería introducir en su
forma de evaluar los contenidos de la unidad didáctica a desarrollar durante el próximo tri-
mestre. A esta prueba, modificada en función de los criterios de GAPPISA, la llamamos
PISA-B (para distinguirla de la prueba inicial que utilizaban los docentes).
En el tercer trimestre se aplicó la Unidad Didáctica (UD-B) correspondiente a la
prueba diseñada (PISA-B). Las sesiones de dicha unidad didáctica contaron con la pre-
sencia de un investigador en calidad de observador no-participante y fueron grabadas en
vídeo para su posterior análisis. Pretendíamos conocer si los aspectos introducidos en la
prueba modificada (PISA-B) estaban también presentes en la actividad de enseñanza-
aprendizaje. Al final del curso escolar evaluamos, mediante un cuestionario de pregun-
tas abiertas, las impresiones de los estudiantes respecto a los cambios introducidos en la
prueba de evaluación y su percepción en relación a los cambios que habían percibido en
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
426
FIGURA 1
Procedimiento seguido
12. MONEREO 17/7/09 10:21 Página 426
las sesiones de clase. Queríamos recoger la “mirada” de los alumnos para contrastar y, en
su caso, corroborar los posibles cambios acaecidos.
La segunda fase de la investigación se desarrolló a lo largo del segundo año
(curso 2006-07) y consistió en la repetición del proceso del primer año. En esta oca-
sión denominamos PISA-C a la nueva prueba modificada y UD-C a la unidad
didáctica sobre la que se aplicaría la misma. Con el fin de recoger los cambios que
se pudieran producir en las distintas versiones de la prueba inicial (PISA-B y PISA-
C) y verificar su incidencia en las sucesivas clases o unidades didácticas, siempre
sobre la misma temática (UD-B y UD-C), diseñamos una pauta de evaluación, que
contemplaba las dimensiones y criterios de GAPPISA, pero en forma de escalas de
valoración; la llamamos “Pauta para el Análisis de situaciones de enseñanza y eva-
luación Auténticas y Estratégicas”, abreviadamente P-AUTES. En el siguiente
apartado se describe la composición de este instrumento.
Dimensiones de análisis e instrumentos
Como ya avanzamos, las dimensiones de análisis utilizadas se refirieron a las prácticas
de evaluación; las concepciones de los profesores sobre la evaluación, la enseñanza y el
aprendizaje; y las unidades didácticas que acompañan a dichas pruebas o tareas de eva-
luación.
Los datos fueron recogidos mediante los instrumentos que se indican en la tabla I y
que se detallan a continuación.
TABLA I
Resumen de dimensiones, instrumentos y datos
Dimensión de análisis Instrumento Datos
Concepciones de –Entrevistas pre y post Categorías emergentes
los profesores
–Focus group (3 sesiones)
–Cuestionarios (5 momentos)
Prácticas de evaluación –Análisis GAPISSA para prueba Autenticidad (0-27)
inicial (PISA-A), prueba Complejidad (0-27)
modificada (PISA-B) y segunda Autonomía (0-30)
modificación (PISA-C).
–Cuestionarios estudiantes Likert y categorías emergentes
Prácticas de enseñanza –Análisis P-AUTES de la unidad Autenticidad (0-27)
modificada (UD B) y de la segunda Complejidad (0-27)
modificación (UD C). Autonomía (0-30)
–Cuestionarios estudiantes Likert y categorías emergentes
–Entrevistas y focus group con los profesores. Se realizaron dos entrevistas en profundi-
dad (al inicio y final del asesoramiento) de, aproximadamente, una hora de duración, y
tres sesiones de focus group, en el marco del seminario de formación. Las preguntas se
referían a cómo entendían la evaluación los profesores, qué era lo más importante para
ellos a la hora de evaluar, los instrumentos que utilizaban, los criterios de evaluación y
los motivos que justificaban sus decisiones (ver Apéndice A). El discurso fue íntegra-
mente transcrito y analizado por cuatro investigadores del equipo que no habían parti-
cipado en el asesoramiento. En primer lugar, se localizaron las secuencias en las que los
profesores se referían a alguna de las cuestiones preguntadas. A continuación se identifi-
427
Las bases de PISA como guía para el cambio / C. Monereo et al.
12. MONEREO 17/7/09 10:21 Página 427
caron unidades temáticas en el seno de cada una de esas secuencias según estuviesen
referidas a alguna de las dimensiones de nuestro estudio: autenticidad, complejidad y
promoción de autonomía. Aquellos comentarios que no se referían a las categorías men-
cionadas se asignaron a dos nuevas categorías denominadas “aspectos problemáticos de
la evaluación” y “finalidad de la evaluación”. Posteriormente otros cuatro investigado-
res, de forma independiente, adscribieron las unidades identificadas a las categorías
establecidas. El grado de fiabilidad de este análisis, según el índice de concordancia de
Kappa, fue de 0.78.
–Cuestionario a los profesores. Los profesores contestaron un cuestionario con pregun-
tas abiertas, a modo de autoinforme, en el que describían el proceso de reflexión que esta-
ban siguiendo y justificaban las decisiones relativas a los cambios introducidos en sus
pruebas de evaluación y en las sesiones de clase, así como los motivos que les llevaban a
decidir cuáles eran los aspectos que no debían modificar (las preguntas de este autoinforme
pueden consultarse en el Apéndice B). Este cuestionario se utilizó como herramienta de
seguimiento de las concepciones de los profesores a lo largo del proceso y por ello se aplicó
en cinco ocasiones (ver su distribución temporal en la Figura 1). Las respuestas escritas fue-
ron categorizadas siguiendo el mismo procedimiento que en el caso anterior, identifican-
do, en este caso, lo cambios en las respuestas para cada categoría en cada nuevo autoinfor-
me. El grado de fiabilidad, según el índice de Kappa, fue de 0.72.
–Cuestionario a los alumnos. Con una finalidad meramente ilustrativa, se reco-
gieron las percepciones de los estudiantes a través de un cuestionario con dos partes
diferenciadas. La primera era una escala likert con cinco ítems referidos al grado de
autenticidad, complejidad y proximidad ecológica, tanto de las pruebas como de
las actividades de enseñanza-aprendizaje (ítems 1, 3 y 5) y a la coherencia percibida
por los estudiantes entre estas pruebas y las actividades desarrolladas en clase (ítem
2). Se añadió también una pregunta relativa al nivel de satisfacción y acuerdo de los
estudiantes con dichos cambios (ítem 4). La segunda parte del cuestionario consta-
ba de 2 preguntas abiertas en las que se pedía a los alumnos su opinión global sobre
la prueba de evaluación, relacionada con su percepción de aprendizaje. Las respues-
tas a estas dos preguntas se categorizaron siguiendo el procedimiento ya descrito
para las entrevistas y los cuestionarios de los profesores (el cuestionario puede con-
sultarse en el Apéndice C). A las categorías de autenticidad, complejidad y autono-
mía, se añadió en este caso una categoría relativa al índice de satisfacción percibida
y percepción de aprendizaje. El grado de fiabilidad en este caso fue de 0.89.
–Pauta para el análisis de las sesiones de clase y de las pruebas de evaluación (P-
AUTES). Con la finalidad de obtener datos comparables, creamos un instrumento de
observación y valoración que atendiese a las dimensiones contempladas en el diseño de
las pruebas PISA, descritas en la introducción de este artículo. Cada uno de los ítems se
puntuó de 0 a 3 puntos según su grado de cercanía o lejanía con el criterio de evaluación
establecido La distribución de los ítems y sus criterios de evaluación fue la siguiente:
a) grado de autenticidad de las tareas de evaluación y de las tareas de clase. Esta
dimensión constaba de 9 ítems referidos al grado de realismo, relevancia y proximidad
ecológica de dichas tareas (puntuación total: 27). Incluimos un ejemplo de cada subdi-
mensión:
A) REALISMO Criterios
A.1. ¿Las tareas o actividades que se (0) No lo son. Se trata de tareas puramente académicas.
plantean, son representativas de los (1) Son tareas académicas pero que a veces parten de situaciones
problemas que se producen en extraescolares.
situaciones de la vida extraescolar? (2) Se combinan tareas típicamente académicas con otras extraescolares.
(3) Son mayoritariamente representativas de situaciones extraescolares.
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
428
12. MONEREO 17/7/09 10:21 Página 428
B) RELEVANCIA Criterios
B.1. ¿Las tareas o actividades que se (0) No resultan de interés para los alumnos.
plantean, están próximas a los intereses (1) Interés basado en la consecución de un premio (p.e. nota) o evitación
y motivaciones de los estudiantes? de un castigo (p.e. repetir actividad o hacer deberes en casa).
(2) Tarea inspirada en algún tema de actualidad que los alumnos conocen.
(3) Tareas relativas a temas próximos a la “cultura” o a la situación particular
de los alumnos.
C) PROXIMIDAD ECOLÓGICA Criterios
C.3. ¿Las tareas o actividades que se (0) Las tareas suponen una práctica repetida y no hay cambios remarcables.
plantean, implican un progreso o (1) Las tares contienen muy pocos elementos que resultan diferentes a las
mejora adecuada teniendo en cuenta el habituales.
estilo habitual de trabajo del docente? (2) Las tares contienen bastantes elementos innovadores y, sin embargo,
próximos a la metodología de este docente.
(3) Las tareas resultan muy innovadoras para este docente, pero no
representan ninguna ruptura con los modos de actuar del profesor.
b) grado de complejidad y profundidad de los contenidos incluidos en la tarea de
evaluación y de los contenidos desarrollados en las sesiones de clase. En este caso, contá-
bamos con 10 ítems referidos a la tipología de contenidos, su orientación epistemológi-
ca y el grado de coherencia entre las sesiones de clase y la prueba de evaluación (puntua-
ción total: 30). He aquí un ejemplo de cada subdimensión:
A) TIPOLOGÍA DE LOS
CONTENIDOS Criterios
A.2. ¿Las tareas o actividades que se (0) Solo requieren niveles bajos de complejidad (reproducir).
plantean, requieren para su resolución (1) Requieren niveles bajos aunque en algún momento demandan
y/o aprendizaje niveles elevados de comprensión (p.e. explicar, comparar, diferenciar…)
complejidad cognitiva? (2) Requieren una combinación de niveles bajos, medios (p.e. analizar o
sintetizar) y, en algún caso, altos (p.e. resolución y reflexión).
(3) Requieren fundamentalmente niveles medios y altos (p.e. resolución y
reflexión).
B) ORIENTACIÓN
EPISTEMOLÓGICA Criterios
B.2. ¿Las tareas o actividades que se (0) La materia se explica de manera altamente formalizada.
plantean ponen de manifiesto la (1) Se combina la formalización teórica con algunos ejemplos aplicados.
relevancia social o aplicada de la (2) Se combinan, a partes iguales, los aspectos de relevancia social y los
disciplina? teóricos.
intenta (3) La materia se orienta a su aplicación en prácticas sociales y después se
formaliza.
C) COHERENCIA Criterios
C.3. ¿Las tareas o actividades que se (0) Se trata de distintas competencias.
plantean, potencian competencias que (1) Únicamente coincide alguna competencia.
son coherentes con las que se van a (2) Son en buena medida las mismas competencias.
evaluar o con las que se enseñaron? (3) Se trata de las mismas competencias.
c) grado de promoción de la autonomía en el aprendizaje tanto en las pruebas de eva-
luación como en las sesiones de clase. Formada por 10 ítems referidos a la promoción de
la planificación, auto-regulación y auto-evaluación de los alumnos (puntuación total,
30). Seguidamente se expone un ejemplo para cada subdimensión:
429
Las bases de PISA como guía para el cambio / C. Monereo et al.
12. MONEREO 17/7/09 10:21 Página 429
A) POTENCIACIÓN DE LA
PLANIFICACIÓN Criterios
A.2. Ante las tareas o actividades que se (0) No se potencia.
plantean, ¿se favorece la anticipación de las (1) En alguna ocasión lo hace el profesor (modelado).
decisiones que deberán tomarse y de las (2) En algunas ocasiones se estimula a que lo hagan los alumnos.
operaciones que habrán de ejecutarse? (3) Se potencia la anticipación de los alumnos, por uno ú otro medio,
prácticamente en todas las ocasiones.
B) POTENCIACIÓN DE LA
REGULACIÓN Criterios
B.3. Ante las tareas o actividades que se (0) No proporciona ayudas pertinentes.
plantean, ¿se proporcionan ayudas para que (1) Instrucción directa: indica paso a paso las decisiones que deben
el alumno aprenda a auto-interrogarse? tomarse.
(2) Ofrecimiento de recursos: señala donde puede encontrarse
información relevante.
(3) Auto-interrogación: Indica los puntos críticos del proceso de
decisión, sin dar las respuestas.
C) POTENCIACIÓN DE LA
EVALUACIÓN Criterios
C.3. Mediante las tareas o actividades que se (0) No existe una evaluación clara.
plantean, ¿se evalúa el grado de conciencia (1) Se evalúa la conciencia del proceso seguido.
del alumno sobre el proceso de decisión
(2) Se evalúa la conciencia del proceso seguido, así como la conciencia de
seguido? las posibles alternativas existentes, que finalmente no se tomaron.
(3) Se evalúa la conciencia del proceso seguido, de las posibles
alternativas existentes, y de la correcta justificación de lo que se hizo
y no se hizo
Todas las pruebas de evaluación (inicial, antes de las modificaciones; PISA-B y PISA-
C) y las sesiones de clase (correspondientes a dos Unidades Didácticas, UD-B y UD-C)
fueron analizadas de manera independiente por cuatro investigadores que no habían
participado en el asesoramiento (en el Apéndice D puede consultarse un ejemplo de este
análisis para la dimensión de autenticidad). En aquellos casos en los que inicialmente no
se consiguió el acuerdo, se examinaron y discutieron las discrepancias hasta lograr un
consenso pleno.
Resultados
Seguidamente expondremos los resultados hallados siguiendo el orden en que se
desarrolló el proceso de asesoramiento: cambios en las prácticas de evaluación, cambios
en las prácticas de enseñanza y cambios en las concepciones de los profesores.
Cambios en las prácticas de evaluación
Respecto a los cambios en la prueba de evaluación, los resultados obtenidos en el aná-
lisis de las tres pruebas de los tres profesores, tomados en su conjunto, muestran un
aumento de las tres dimensiones consideradas: autenticidad, complejidad y autonomía.
Es en relación a la autenticidad, donde las puntuaciones de los tres profesores (Inicial:
51; PISA-B: 58; PISA-C: 70) muestran un mayor aumento (19 puntos). El aumento en
la autonomía (Inicial: 30; PISA-B: 43; PISA-C: 47) es también notable (17 puntos). Sin
embargo, en la dimensión de complejidad (Inicial: 54; PISA-B: 62; PISA-C:65), el
incremento es algo menor (11 puntos).
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
430
12. MONEREO 17/7/09 10:21 Página 430
Un análisis más detallado para cada profesor ofrece, sin embargo, datos ricos por su
variedad. Para el profesor A (Lengua y Literatura), que parte de una prueba inicial bien
situada en las tres dimensiones (ver Figura 2), se observa una tendencia muy ligera a la
mejora (de 4 puntos, en la dimensión más acusada). Este profesor partía de una prueba
que ya reunía muchas de las características que se iban buscando. Se trataba de un pro-
blema abierto, a partir de una situación plausible (además actual y conflictiva): la llega-
da de unos alumnos extranjeros y la decisión del instituto (justificada en términos lega-
les, sociolingüísticos y morales) sobre qué idioma de comunicación elegir para favorecer
el intercambio y el aprendizaje. En las siguientes dos reformulaciones de la prueba, el
profesor la mejoró desde el punto de vista de la autenticidad (al acercar el problema a los
intereses del alumnado) y mantuvo un nivel alto de complejidad. No obstante, no se
observan mejoras sustanciales en la autonomía, ofreciendo a los alumnos escasas oportu-
nidades de planificación, regulación y autoevaluación de sus procesos de de aprendizaje
y resolución.
La opinión de los alumnos sobre las pruebas, obtenida a partir del cuestionario ante-
riormente citado, es consistente con estos resultados. Así, un 63% de la muestra subra-
yan la autenticidad (“hemos aprendido cosas para la vida cotidiana”) y un 37% se refieren a
la complejidad (“era de reflexionar”, “es un tipo de prueba complicada de hacer” o “necesitabas
haber hecho los trabajos de clase”), pero, como era de esperar, los alumnos no destacan ele-
mentos referentes a la autonomía.
El profesor B (Inglés) presenta unos resultados muy diferentes. Si bien ya partía de
un nivel elevado en las dimensiones de autenticidad y complejidad, aún las mejora con
4 y 7 puntos respectivamente. Pero donde el incremento resulta sustancial es en la
dimensión de autonomía, con un aumento de 10 puntos.
En la prueba inicial se planteaban respuestas únicas para casi todas las preguntas con
un formato muy limitado: completar espacios en blanco o elegir una opción correcta,
con pocas posibilidades de construir respuestas. Así mismo, se potenciaba poco la auto-
regulación, ofreciendo procedimientos muy pautados y con pocas oportunidades para la
autoevaluación. Sin embargo en las siguientes pruebas, y especialmente en la última
(PISA-C), se produce una mejora muy sustancial en la dimensión de autonomía. Las
demandas que se plantean a los alumnos recurren a procedimientos utilizados habitual-
mente en el aula (por ejemplo escribir un mensaje electrónico o buscar información en
internet) y que exigen un comportamiento estratégico, en el que el alumno debe plani-
431
Las bases de PISA como guía para el cambio / C. Monereo et al.
FIGURA 2
Cambios en cada profesor en las tres dimensiones de cada prueba de evaluación (expresados en porcentajes)
12. MONEREO 17/7/09 10:21 Página 431
ficar su tarea y tomar decisiones sobre la mejor manera de responder. No se exige explí-
citamente la auto-interrogación, pero se espera que el alumno la emplee para alcanzar
una respuesta satisfactoria. Por otra parte se incluye un apartado de reflexión metalin-
guística sobre el proceso seguido en la escritura de un texto que favorece la toma de con-
ciencia sobre los aciertos y errores cometidos por el alumno.
Las opiniones aportadas por los alumnos (53%) subrayan esa potenciación de la auto-
nomía: “Lo que más me ha gustado del examen es que en el Reading, en lugar de elegir una opción,
se trataba de responder preguntas que te hacían decidir”; o “En general me ha gustado, te hacía
pensar”.
En el anexo 6 hemos incluido la prueba inicial y modificada (PISA-C) elaboradas por
este profesor (hemos eliminado la prueba de listening para acortar su extensión).
Respecto al profesor C (Cultura Clásica), su prueba inicial partía de unas puntuacio-
nes modestas en las tres dimensiones. Se trataba de una prueba que presentaba, funda-
mentalmente, ejercicios de traducción, fonética y preguntas cerradas o de elección múl-
tiple sobre las familias lingüísticas. Si bien la puntuación de complejidad (que partía de
la puntuación más alta) experimenta una mejora ligera (de 3 puntos), los cambios intro-
ducidos aportan avances sustanciales, tanto en autonomía (5 puntos, algo más del doble)
como en autenticidad (11 puntos). En autonomía, a pesar de que no se proporcionan
ayudas pertinentes para potenciar deliberadamente la auto-regulación, sí que se nego-
cian las preguntas y los criterios de corrección y se consigue compartir con la mayoría de
los alumnos el significado y el sentido de las tareas.
En el ámbito de la autenticidad, el profesor C intenta, en las pruebas modificadas
(PISA-B y PISA-C), destacar los vínculos del griego con experiencias de los alumnos:
descubrir el origen etimológico de vocablos comúnmente utilizados por ellos o compa-
rar aspectos de la vida de la antigua Grecia con la de la sociedad actual. Todo ello facilita
que los alumnos tomen conciencia de la perspectiva histórica del contexto cultural que
les ayudará a interpretar la actualidad y a tener una actitud crítica ante los hechos socia-
les y políticos.
Los alumnos parecen avalar la mayor funcionalidad de la prueba cuando, por ejem-
plo, apuntan: “te das cuenta de que las civilizaciones antiguas han influido bastante en la forma
en que vivimos” y sobre todo destacan su mayor responsabilidad en los resultados: “no pue-
des engañarte, eres tu el responsable de aprender y al final eres tu quien te evalúas”.
Cambios en las prácticas de enseñanza
Respecto a los cambios en las prácticas instructivas de los profesores, tras analizar las
interacciones en el aula a través de las sesiones grabadas en video, podemos constatar
una notable mejora en la dimensión de autenticidad, pasando de 19 a 59 puntos. Una
mejora en la complejidad, de 30 a 56 puntos, y un ligero cambio en la autonomía, de 24
a 31 puntos. Podemos pues admitir que los cambios en las pruebas de evaluación
(PISA-B y PISA-C) han influido positivamente en las prácticas habituales de estos pro-
fesores.
El análisis de los tres casos nos permite también observar distintos itinerarios en sus
procesos de mejora. Así, para el profesor A, los incrementos, tal como pueden verse en la
figura 3, son muy ligeros. Las puntuaciones de las que parte este profesor, ya son en sí
elevadas y los cambios no son muy sustanciales. Respecto a la autenticidad de las activi-
dades de clase (de 13 a 17 puntos), si bien la tarea central que se plantea recoge un pro-
blema con el que los alumnos pueden tener que enfrentarse en su vida cotidiana (la
toma de decisiones sobre comportamiento lingüístico), las condiciones consideradas en
esas actividades no son, sin embargo, demasiado parecidas a las extra-escolares: los
supuestos prácticos se plantean de forma verbal, sin apoyos que añadan realismo, y
resultan poco contextualizados. A pesar de ello, las actividades muestran un grado
importante de relevancia y proximidad ecológica.
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
432
12. MONEREO 17/7/09 10:21 Página 432
Algo parecido sucede en la dimensión de complejidad, de 18 a 19 puntos. La profun-
didad en el tratamiento del tema es elevado porque el profesor plantea tareas bastante
abiertas que requieren reflexión por parte de los alumnos y promueve en sus exposicio-
nes diálogos, a través de la formulación de preguntas que integran, además, los diferen-
tes tipos de contenidos. Las actividades muestran un alto nivel de coherencia respecto a
la etapa, los objetivos de la unidad didáctica y la evaluación. Sin embargo, a pesar del
caso real que se plantea, las clases se articulan en torno a ejes excesivamente académicos
que ofrecen poco margen de variabilidad en las formas de resolución de la problemática.
Pero es sin duda en la dimensión de la autonomía donde se han observado menos
mejoras, incluso un leve retroceso (de 15 a 12 puntos). Sin perder de vista que la pun-
tuación de este profesor es mejor que la del resto de casos, merece la pena detenerse en
su análisis porque nos ofrecerá pistas sobre las dificultades de operar cambios en esta
dimensión. Las prácticas del aula parecen promover poco la planificación del alumnado.
Una posible hipótesis, siempre dentro de los limitados márgenes explicativos que per-
miten las observaciones efectuadas, es que la insistencia del profesor en volver una y otra
vez sobre los objetivos hace que los alumnos, en lugar de implicarse, se desentiendan,
esperando que más adelante vuelva a repetirlo. Parece que se dejan “conducir” por el
profesor, quien les irá diciendo en todo momento lo que “toca”. El docente trata de anti-
cipar las decisiones y acciones que deberán realizar los alumnos para resolver la tarea,
pero tomando él siempre la iniciativa y eligiendo los materiales y recursos a poner en
juego.
Así mismo, siguiendo en la dimensión de la autonomía, si bien se produce una guía
continuada de las actividades, tanto expositivas (lectura y subrayado de power point y de
documentación), como relativas a las tareas (cuadros con instrucciones, seguimiento oral
continuado), se tiende a ofrecer respuestas acabadas, favoreciendo poco la auto-interro-
gación. La auto-regulación de los alumnos se potencia poco porque ni se ofrecen de
forma sistemática modelos distintos de pensamiento sobre las tareas y actividades, ni se
transfiere el control de la actividad a los alumnos. El papel del profesor consiste en estar
pendiente y resolver las dudas al momento, ofreciendo respuestas directas. De modo
consecuente con esta actuación, el profesor no evalúa la autonomía de los alumnos, limi-
tándose a comunicar los criterios de evaluación, sin compartirlos ni negociarlos.
433
Las bases de PISA como guía para el cambio / C. Monereo et al.
FIGURA 3
Cambios en cada profesor en las tres dimensiones de las sesiones de clase (expresados en porcentajes)
12. MONEREO 17/7/09 10:21 Página 433
El profesor B presenta una mejora muy sustancial en la dimensión de autenticidad
(de 6 a 22 puntos). En la secuencia didáctica mejorada, se plantea el desarrollo de las
habilidades lingüísticas básicas del inglés a partir de la temática de los deportes de ries-
go, un tema sin duda de interés y relevancia para los alumnos que se presenta a través de
fotografías, artículos de revistas, páginas web, xats o vídeos seleccionados en el “youtube”,
a partir de los cuales los alumnos leen, hablan, escuchan y escriben sobre la temática.
La complejidad y profundidad con que el profesor B trata los contenidos conlleva
también una mejora muy notoria en este capítulo (de 9 a 25 puntos). En la secuencia
mejorada, las tareas propuestas (como por ejemplo, describir con precisión una situación
presentada y argumentar sobre el nivel de riesgo que comporta o la realización de un
anuncio televisivo) son problemas que requieren una aproximación reflexiva, con nota-
bles niveles de complejidad cognitiva e integrando contenidos de distinta naturaleza. A
la vez, aspectos como hacer emerger vocabulario y estructuras morfosintácticas, a partir
de las propias actividades de los alumnos, muestran una orientación de la materia apli-
cada y contextualizada. Todo ello junto a niveles elevados de coherencia, respecto a las
competencias de la etapa, los objetivos de la unidad didáctica y lo que se pretende eva-
luar.
Nuevamente, el profesor B muestra poco incremento en la promoción de autonomía
de los estudiantes (de 8 a 10 puntos). A pesar de que explica las actividades para com-
partir el significado y sentido, promueve poco la planificación por parte de los alumnos.
En la misma línea, aunque el profesor intenta estimular distintos procedimientos para
resolver las tareas, se proporcionan pocos modelos de pensamiento y pocas ayudas para
la auto-regulación. En consecuencia, el profesor tampoco evalúa la autonomía del alum-
nado.
Los resultados del análisis de las sesiones del profesor C muestran mejoras moderadas
en las dimensiones de complejidad (de 3 a 12 puntos) y de autonomía (de 1 a 9 puntos).
En ambos casos la mejora es sustancial si se toma como referencia el nivel del cual se
partía, pero desde luego no alcanza niveles satisfactorios si lo comparamos con sus com-
pañeros. En cambio, en la dimensión de autenticidad, aún partiendo de una puntuación
extremadamente baja, se produce una progresión muy interesante (de 0 a 20 puntos). El
profesor hace un esfuerzo importante para conectar el objeto de estudio –la antigua Gre-
cia– con los conocimientos y experiencias del alumnado. Por ejemplo, se plantean tareas
en las que se incorpora información que los alumnos pueden aportar a partir de películas
que han visto (en esa época, superproducciones como “Troya” o “300”); se buscan seme-
janzas entre manifestaciones culturales próximas a las vidas de los alumnos; o bien se
investiga el origen griego de algunas palabras y expresiones de uso común.
Conviene señalar que en todos los casos, comparamos la actuación de los tres profeso-
res en momentos distintos de la intervención, dado que evidentmente, la denominada
unidad didáctica-B, que es la que inicialmente se graba en vídeo, se llevó a cabo bajo la
influencia de las modificaciones realizadas en la prueba inicial PISA-B. Sin embargo, a
partir de los comentarios en las entrevistas acerca del tipo de clases que se impartían y
de los cambios positivos que, como hemos visto, se produjeron en la unidad didáctica-
C, resulta plausible suponer que los cambios entre las clases de la unidad didáctica-A
(no analizada) y la unidad didáctica-C serían aún mayores que los observados entre las
unidades analizadas.
Cambios en las concepciones sobre la evaluación
Los resultados del análisis de las entrevistas y de los autoinformes no se presentan
cuantificados sino en forma narrativa para comprender mejor la naturaleza del cambio
en cada caso y la evolución del discurso de los profesores en cada una de las categorías
consideradas. Las representaciones que inicialmente exhibieron los profesores de la
muestra sobre las finalidades de la evaluación, se corresponderían con las que mayorita-
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
434
12. MONEREO 17/7/09 10:21 Página 434
riamente se encuentran entre el profesorado de secundaria, es decir si el alumno ha
alcanzado los conocimientos suficientes para pasar al siguiente nivel (González, Carmo-
na, Buendía y López, 1999). Así, el profesor A consideraba, en un primer momento,
que la finalidad de la evaluación era “Identificar las dificultades del alumno”, mientras que
el profesor B manifestaba que era “evaluar los contenidos mientras que el cómo evaluar no es lo
más importante”. El profesor C, por su parte, perseguía básicamente “conocer el nivel de los
alumnos, deducir si vas demasiado rápido o demasiado lento; fijarse en el resultado de los suspensos
y si hay muchos, entonces es que alguna cosa no funciona o tu eres el responsable”.
Tras los primeros encuentros donde se definieron los objetivos del trabajo y se pre-
sentó el sistema de evaluación PISA, y tras la elaboración de una nueva prueba (PISA-
B), las consideraciones que realizan tienen otro sentido (2do cuestionario): “Ahora pienso
que empezar elaborando la prueba puede ayudarme a evitar las pedagogías invisibles y a mejorar el
proceso de enseñanza” (A); “he realizado una auto-evaluación importante; ahora entiendo la eva-
luación en un sentido más amplio: no solo sirve para evaluar contenidos sino para ver qué proceso
sigue un alumno para solucionar un problema de competencia lingüística” (B). El profesor C
manifiesta que no se había parado a pensar en estos temas anteriormente y que “no pue-
den pedirse cosas a los alumnos pensando que las saben cuando en realidad no es así”.
Así pues, si en un primer momento los profesores estaban sencillamente interesados
en conocer el nivel, la respuesta, las dificultades de sus alumnos, a partir de las primeras
reflexiones en equipo sus comentarios reflejan una preocupación e intención por ponerse
en el lugar de sus alumnos y conocer e interpretar sus procesos.
Posteriormente, a partir del 3er cuestionario se observa un deseo de coherencia y de
rigurosidad mayor. El profesor A reconoce que “ha intensificado la perspectiva científica de
la evaluación”, que le auxilia en el momento de secuenciar los procesos y ayuda a los
alumnos a comprender mejor aquello que deben realizar; también admite que “ha siste-
matizado aspectos que permiten indagar en las dificultades de ciertos aprendizajes y estudiar alter-
nativas”; por otra parte afirma que “la prueba es menos intuitiva; permite identificar los aspec-
tos más logrados y los que continúan pendientes”. El profesor B empieza a explicitar la necesi-
dad de una evaluación más autentica cuando asevera que: “debería empezar a acostumbrar a
los alumnos a encontrarse con pruebas más reales, como las que se pueden encontrar en cualquier
momento de su vida”. Tras la aplicación de la prueba modificada, se observa un cambio en
la finalidad de la evaluación que incluye otros aspectos diferentes del resultado; así, atri-
buye la mejora en los resultados obtenidos por aquellos alumnos cercanos al aprobado:
al factor motivación respecto al tema y también a la novedad a la hora de evaluar; les he hecho
prestar más atención y utilizar mejor sus estrategias de aprendizaje”.
El profesor C, inicialmente reticente al cambio, manifiesta en un primer momento
que “ha mejorado en marketing”, es decir en la manera de presentar las preguntas y en la
diversidad de ítems empleados. Después de la aplicación de PISA-B opina que no ha
conseguido mejorar las notas de los alumnos, sin embargo admite que los alumnos “han
encontrado la tarea mucho más dinámica”.
Un curso después, los profesores diseñan de nuevo la prueba (PISA-C), realizando
nuevas modificaciones a partir de la guía GAPPISA. En el 4to cuestionario se les pre-
gunta sobre las mejoras que creen haber introducido y el profesor A señala “el aumento de
los recursos puede incidir en una mejor aproximación al área (mejora de la autenticidad y rele-
vancia) en algunos casos. Sobretodo la toma de conciencia de las estrategias a utilizar”. El profe-
sor B destaca la “mejora en el sistema de evaluación que el alumno hace de su propio proceso y de la
estrategia seguida para contestar los ejercicios”. Como vemos, en los discursos empieza a des-
tacar un cambio en la finalidad de las pruebas que se cifra en su impacto metacognitivo
sobre los alumnos, es decir, en la posibilidad de adquirir una mayor consciencia de
recursos y carencias en el propio aprendizaje.
Una vez aplicada la nueva prueba, a través del 5to cuestionario, los profesores vuel-
ven a valorar su funcionamiento. El profesor A dice haberse situado en la actividad del
alumnado: “ha implicado una mejor identificación del proceso que seguirá el alumnado y, por
435
Las bases de PISA como guía para el cambio / C. Monereo et al.
12. MONEREO 17/7/09 10:21 Página 435
tanto, más pistas para mejorar la secuencia didáctica y el trabajo de las sesiones”. El profesor B
escribe que “los alumnos trabajaban en un contexto en el que se sentían más identificados. El
tema les era más cercano. Considero que les han podido ayudar las preguntas de reflexión. En gene-
ral, creo que los resultados han sido muy positivos para la mayoría”. Por su parte el profesor C
comenta: “me he esforzado para que la prueba parezca más real haciendo guiños a la historia con-
temporánea y a temas que estudia el alumnado en otras asignaturas”.
Como puede apreciarse en estas valoraciones los profesores han integrado en sus dis-
cursos las dimensiones de autenticidad –objeto de reflexión durante el asesoramiento–,
especialmente por lo que a realismo y relevancia se refiere.
Sin embargo no todo es positivo. Los profesores mencionan varios aspectos proble-
máticos de la evaluación y, cuando introducen cambios en sus pruebas, no se sienten
seguros acerca de la reacción de sus alumnos (4to y 5to cuestionarios). Piensan que la
prueba puede provocar rechazo por ser demasiado larga y por su novedad, haciendo que
se sientan inseguros puesto que “no están suficientemente entrenados como para resolver la parte
de autoevalaución. Se tendrían que crear unos hábitos de reflexión a lo largo del curso” (B). Ade-
más “es difícil diversificar las estrategias para poder anticipar repuestas en función de los grupos de
alumnos” (A). Finalmente, el profesor C no acaba de estar convencido de que no se esté
dando “excesiva importancia a aspectos laterales y colaterales en lugar de aquello que es realmente
importante”. Una preocupación coincidente en los tres profesores la expresa B cuado
comenta: “son los alumnos con mejores notas, los más reticentes a este tipo de evaluación”. Segui-
damente, a modo de conclusión, trataremos de sintetizar y discutir los resultados
expuestos.
Discusión y conclusiones
Los procesos de reflexión sobre la evaluación parecen ejercer efectos retroactivos sobre
las prácticas, evaluativas e instruccionales, y sobre las concepciones de los docentes, sin
embargo su incidencia no es ni directa ni simple. Nuestra hipótesis es que para que ese
impacto llegue a producirse y tenga efectos significativos sobre las prácticas educativas
es preciso ir más allá de las tareas de evaluación, propiamente dichas, e incidir en las
razones que guían la confección de esas pruebas, en los criterios de corrección que se eli-
gen, en la forma en que se comparten esos criterios con los alumnos y en el modo en que
se corrigen y devuelven los resultados a los alumnos. En definitiva pensamos que es
necesario pasar de una “cultura de test”, en la que la evaluación está aislada de lo que
ocurre en las clases y se centra principalmente en la acreditación del nivel de rendimien-
to académico, sobre todo de base conceptual, alcanzado por los alumnos, a una “cultura
de la evaluación formativa” donde se parte de problemas auténticos, en los que lo proce-
dimental y actitudinal tienen un peso específico, la evaluación forma parte integrante
del proceso de enseñanza y su principal finalidad consiste en que los alumnos autorregu-
len sus procesos de aprendizaje y los profesores sus procesos de enseñanza y evaluación
(Alonso-Tapia, Abad y Sánchez, 2008; Birembaum et al., 2006; Solé, Miras y Castells,
2003).
Se trata sin embargo de un tránsito difícil pues, como señala Moreno (2002), esas
concepciones son muy estables y resistentes al cambio:
Cambiar las concepciones y prácticas de evaluación del profesorado requiere, entonces, cambiar la cultu-
ra profesional, promoviendo la emergencia de nuevos roles y patrones de relaciones entre los profesores,
rediseñando los entornos laborales, las estructuras organizativas y los modos de pensar y hacer la ense-
ñanza (p. 35).
Eso es lo que se refleja claramente también en nuestro análisis cuando comprobamos
la dificultad para introducir la dimensión de autonomia en el propio aprendizaje.
¿Hasta qué punto es posible conseguir autonomia, elecciones reflexivas y estratégicas en
los alumnos con “pastillas” horarias de menos de una hora por clase? ¿Hasta qué punto
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
436
12. MONEREO 17/7/09 10:21 Página 436
es posible cambiar los roles de profesores y alumnos en ese contexto rígidamente estruc-
turado?
En la investigación presentada hemos tratado de impulsar esa transición entre ambas
culturas evaluativas mediante la plena implicación de los profesores, haciéndolos co-
partícipes de la investigación, compartiendo con ellos el análisis de los ítems del proyec-
to PISA y negociando con ellos una guía (GAPPISA) para reformular sus propias prue-
bas de evaluación y transformarlas en pruebas más auténticas, complejas, desde el punto
de vista cognitivo, y promotoras de autonomía.
El cambio en estas tres dimensiones analizadas ha sido notable y hemos observado
una clara correspondencia entre el incremento de esas dimensiones en las pruebas de
evaluación y en las prácticas instruccionales en las aulas. Así la dimensión autenticidad
presenta un cambio global de 19 puntos en la evaluación y de 40 puntos en la instruc-
ción; la dimensión complejidad, 11 puntos en la evaluación y de 26 puntos en la ins-
trucción, y la dimensión autonomía 17 puntos en la evaluación y 7 puntos en la instruc-
ción.
Desde luego nuestro estudio no permite establecer una relación causal entre los cam-
bios que se han operado en uno y otro contexto, el evaluativo y el instruccional; sin
embargo, sí pensamos que favorece una explicación preliminar de la influencia mútua o
recíproca que tiene lugar entre concepciones y prácticas educativas. En este sentido
hemos podido apreciar, a partir de los cuestionarios de seguimiento, las entrevistas en
profundidad y los focus group, una clara transición hacia concepciones próximas a una
“cultura de la evaluación”, coherentes con los cambios experimentados en las dimensio-
nes estudiadas. Sintéticamente esos cambios se han referido a:
a) la importancia de la evaluación como elemento integrador de los procesos de ense-
ñanza y aprendizaje y la estrecha relación existente entre lo que se evalúa, lo que se ense-
ña y el modo y profundidad en que aprenden los alumnos. Resulta muy ilustrativa la
cuestión que nos planteaba el profesor C hacia el final de la investigación, y su propia
respuesta: “entonces, ¿qué diferencia hay entre enseñar y evaluar? (…) En realidad parece que
la única diferencia es la intencionalidad con la que propones una actividad”.
b) la consideración de la evaluación como un instrumento de autoregulación que
ofrece indicadores a los alumnos para mejorar la gestión de sus aprendizajes, y a los pro-
fesores para optimizar sus prácticas docentes. Muchos fueron los comentarios al respecto
pero quizás sea representativa esta afirmación del profesor A durante la entrevista final:
ahora veo que la evaluación es un espejo de doble cara en el que alumnos y profesores coincidimos en
ver al otro y a nosotros mismos”.
En términos generales, los cambios en las dimensiones analizadas han sido ostensi-
bles. Tanto en la dimensión de autenticidad como en la de complejidad los cambios en
la evaluación han desencadenado cambios aun mayores en las prácticas instructivas. No
ha sido así en la dimensión de autonomía. Pensamos que ello puede deberse a que nues-
tra formación incidió exclusivamente en la modificación de las pruebas que empleaban
los profesores (exámenes de corte tradicional) y los cambios que los profesores propicia-
ron en sus clases partieron de su propia iniciativa y de sus conocimientos y recursos. Es
probable que una ayuda centrada en metodologías didácticas vinculadas a la enseñanza
estratégica (modelado, auto-interrogación, casos de pensamiento, etcétera), y a procesos
de enseñanza-aprendizaje más abiertos (metodología de investigación, de proyectos,
etcétera), en el seno de un sistema instruccional de cesión del control de las decisones
(Monereo, 2001), hubiese resultado muy beneficiosa.
Finalmente los alumnos, a pesar de que sus percepciones y expectativas suelen tam-
bién aproximarse a la “cultura de test” (Navarro y Corujo, 2006; Porto, 2002), valora-
ron muy positivamente el realismo y el mayor interés de los problemas planteados en
clase y en la evaluación, y el hecho de que les obligasen a pensar y aprender. Los pocos
alumnos que mostraron reticencias a este tipo de actividades fueron algunos estudiantes
“conservadores” que obtenían buenas calificaciones en las pruebas tradicionales y que
437
Las bases de PISA como guía para el cambio / C. Monereo et al.
12. MONEREO 17/7/09 10:21 Página 437
pensaban que éstas podrían peligrar, y/o que deberían modificar su forma habitual de
estudiar. Sin entrar en especular sobre cuan fundados o no pueden ser esos temores, pen-
samos que, también en este caso, la clave es compartir con los alumnos, desde el princi-
pio, las razones que llevan al profesor a proponer una evaluación y una enseñanza más
auténticas que exigen de los alumnos un aprendizaje de las materias más estratégico,
funcional y significativo, tal como han mostrado trabajos como los de Torrance y Pryor
(1998; 2001). Bajo estas circunstancias los alumnos pueden convertirse en los mejores
aliados de la innovación que se propone. En todo caso sería necesario confirmar esta
hipótesis con estudios que planteasen un control sistemático de esta variable.
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
438
Notas
1Seminario incluido en el plan de formación permanente del Departament d’Educació de la Generalitat de Catalunya.
Referencias
ALONSO-TAPIA, J., ABAD, L. & SÁNCHEZ, S. (2008). Estrategias para la evaluación de la comprensión del mundo social en el
marco de la enseñanza de la geografía humana durante la enseñanza secundaria. Infancia y Aprendizaje, 31 (1), 25-43.
BARNETT, S. M. & CECI, S. J. (2002). When and where do we apply what we learn? A Taxonomy for a transfer. Psychological
Bulletin, 128 (4), 612-637.
BAUMERT, J., FEND, H., O’NEIL, H. & PESCHAR, J. L. (1998). Prepared for Life Long Learning. Frame of Reference for the Measure-
ment of Self-Regulated learning as a Cross-Curricular Competence (CCC) in the PISA Project. París: Organisation for Economic
Cooperation and Development OECD.
BIREMBAUM, M., BREUER, K., CASCALLAR, E., DOCHY, F., RIDGWAY, J., WIESEMES, R. & WEST, A. (2006). A Learning Inte-
grated assessment system. Educational Research Review, 1(1), 61-67.
BOEKAERTS, M. & CORNO, L. (2005). Self-regulation in the classroom: A perspective on assessment and intervention. Applied
Psychology: An International Review, 54 (2), 199-231.
CARDINET, J. (1991). L’evaluation scolaire practique. Bruselas: De Boeck Université.
CASTELLÓ, M. & MONEREO, C. (2005). The assessment of Strategic Knowledge by means of authenticated school tasks. Ponencia presen-
tada en la 11 Biennial Conference de la European Association for Research on Learning and Instruction (EARLI). Nicosia
(Chipre), 23-27 de agosto de 2005.
COLOMINA, R., ONRUBIA, J. & NARANJO, M. (2000). Las pruebas escritas y la evaluación del aprendizaje matemático en la
educación obligatoria, Revista Electrónica Interuniversitaria de Formación del Profesorado 3 (2). Disponible en:
http://www.aufop.org/publica/reifp/00v3n2.asp
COLL, C. & MARTÍN, E. (1996). La evaluación de los aprendizajes: una perspectiva de conjunto. Signos, teoría y práctica de la edu-
cación, 18, 42-54. Disponible en: http://www.quadernsdigitals.net.
COLL, C., ROCHERA, M. J., MAYORDOMO, R. M. & NARANJO, M. (2007). Evaluación continua y apoyo al aprendizaje. Análisis
de una experiencia de innovación en educación superior. Revista electrónica de investigación psicoeducativa, 13, 5(3), 783-804.
Disponible en: http://www.investigacion-psicopedagogica.org/revista/articulos/13/espannol/Art_13_205.pdf
CURREN, R. R. (2004). Educational measurement and knowledge of other minds. Theory and Research in Education, 2(3), 235-
253.
DURAN, D. & MONEREO, C. (2008). Una guia per a l’anàlisi de proves d’avaluació des de la perspectiva PISA, Articles de
Didàctica de la Llengua i la Literatura, 44, 101-116.
GIL, D. & VILCHES, A. (2006). ¿Cómo puede contribuir el proyecto PISA a la mejora de la enseñanza de las ciencias (y de otras
áreas del conocimiento)? Revista de educación, 1(número extraordinario); 295-311. Disponible en: http://www.revistaedu-
cacion.mec.es/re2006_16.htm
GONZÁLEZ, D., CARMONA, M., BUENDÍA, L. & LÓPEZ, R. (1999). Concepciones de los profesores de educación secundaria
sobre evaluación. Educación XXI (2), 125-154. Disponible en: http://www.uned.es/educacionXX1/pdfs/02-05.pdf
GULIKERS, J., BASTIAENS, T. & KIRSCHNER, P. (2004). A five-dimensional framework for Authentic Assessment. Educational
Technology Research and Development, 52 (3), 67-86.
HUNG, D. & DER-THANQ, V. (2007). Context-process authenticity in learning: implications for identity enculturation and
boundary crossing. Educational Technology Research and Development, 55, 147-167.
INCE (2007). Ítems liberados. Disponible en: www.ince.mec.es/pub/pisa2003liberados.pdf.
MAURI, T. & GÓMEZ, I. (1999). La práctica de la evaluación y el uso de materiales curriculares en la interacción profesor-
alumno. En J. Cerdán & M. Grañeras (Eds.), La investigación sobre el profesorado (pp. 305-339). Madrid: MEC.
MCDONALD, R. (2006). The use of evaluation to improve practice in learning and teaching. Innovations in Education and Tea-
ching International, 43 (1), 3-13.
MONEREO, C. (Ed.) (2001). Ser estratégico y autónomo aprendiendo. Unidades de enseñanza estratégica para la ESO. Barcelona: Graó.
MONEREO, C. (en prensa). La autenticidad de la evaluación. En M. Castelló (Ed.), La evaluación auténtica en enseñanza secundaria
y universitaria: investigación e innovación. Barcelona: Edebé.
MORENO, T. (2002). Cultura profesional del docente y evaluación del alumnado. Perfiles educativos, XXIV (95), 23-36.
NAVARRO, R. & CORUJO, M. C. (2006). Opiniones de los alumnos sobre la evaluación en la E.S.O. En R. Navarro (Ed.) La
Implantación de la L.O.G.S.E. en los Centros de Educación Secundaria de Sevilla (pp. 107-138). Sevilla: Secretariado de Publica-
ciones de la Universidad de Sevilla.
NUNZIATI, G. (1990). Pour construire un dispositif d’évaluation formatrice. Cahiers Pédagogiques, 280, 47-64.
OCDE (2006). PISA 2006. Marco de la evaluación. Conocimientos y habilidades en Ciencias, Matemáticas y Lectura. Disponible en:
http://www.oecd.org/dataoecd/59/2/39732471.pdf
12. MONEREO 17/7/09 10:21 Página 438
PERRY, N., PHILLIPS, L., & DOWLER, J. (2004). Examining features of tasks and their potential to promote self-regulated lear-
ning. Teachers College Record, 106, 1854-1878.
PORTO, M. (2002). Aproximación a la percepción de los alumnos sobre la evaluación de sus aprendizajes: un estudio compar-
tido. Cuadernos de la Facultad de Humanidades y CCCEE, 15, 63-75. Consultado en:
http://redalyc.uaemex.mx/redalyc/pdf/185/18501507.pdf
SANMARTÍ, N. (2007). 10 ideas clave. Evaluar para aprender. Barcelona: Graó
SANMARTÍ, N. & SARDÀ, A. (2007). Luces y sombras en la evaluación de competencias. El caso PISA. Cuadernos de Pedagogía,
370, 60-63.
TORRANCE, H. & PRYOR, J. (1998). Investigating Formative Assessment: teaching, learning and assessment in the classroom. Filadelfia:
PA Open University Press.
TORRANCE, H. & PRYOR, J. (2001). Developing Formative Assessment in the Classroom: using action research to explore and
modify theory. British Educational Research Journal, 27 (5), 615-631.
SÁNCHEZ, E. & GARCÍA-RODICIO, H. (2006). Re-lectura del estudio PISA. Qué y cómo se evalúa e interpreta el rendimiento
de los alumnos en la lectura. Revista de educación, 1(número extraordinario); 195-226. Disponible en: http://www.revistae-
ducacion.mec.es/re2006/re2006_12.pdf
SOLÉ, I., MIRAS, M. & CASTELLS, N. (2003) ¿Dónde se encuentra la innovación en las prácticas de evaluación innovadoras?
Infancia y Aprendizaje, 26 (2), 217-233.
Apéndice A
Entrevista inicial profesores
1. ¿Qué es lo que siempre has considerado clave (lo más importante) a la hora de evaluar a tus alum-
nos? ¿Por qué?
2. ¿Qué instrumentos te parecen adecuados para evaluar lo que han aprendido tus alumnos en tu
materia? ¿Por qué?
3. ¿Qué destacarías como positivo y qué crees que resulta mejorable de tu sistema de evaluación?
4. ¿Consideras tu forma de evaluar cercana a la de las pruebas PISA? ¿En qué aspectos te sitúas más
cerca y en cuáles más lejos? ¿Por qué?
Entrevista final profesores
1. ¿Has introducido cambios en tu forma de evaluar? ¿Cuáles?
2. (En caso de respuesta positiva) ¿Cuáles crees que son las ventajas de los cambios introducidos?
3. ¿Qué aspectos han resultado problemáticos?
4. ¿Has introducido cambios en las sesiones de clase (metodología, actividades, etc.)? ¿Cuáles?
5. (En caso de respuesta positiva) ¿Cuáles crees que son las ventajas de los cambios introducidos?
6. ¿Qué aspectos han resultado problemáticos?
7. ¿Crees que tus ideas acerca de cómo evaluar y enseñar tu materia han variado a lo largo de estos dos
años? ¿En qué sentido?
Apéndice B
Cuestionario profesores (autoinforme)
a) Describe los cambios que has introducido en tu prueba de evaluación
b) Valora los cambios introducidos
439
Las bases de PISA como guía para el cambio / C. Monereo et al.
¿Cuáles crees que son las principales ventajas de los cambios introducidos?
12. MONEREO 17/7/09 10:21 Página 439
c) ¿Respecto a las sesiones de clase, has modificado o piensas modificar algún aspecto de tu forma de
enseñar (en caso afirmativo, explica brevemente de qué aspecto/s se trata)?
Apéndice C
CUESTIONARIO ALUMNOS
Primera parte No Algo Bastante Mucho
1. ¿Crees que las clases de esta asignatura
han sido diferentes a las del resto?
2. ¿Hay diferencias entre las actividades que
habéis estado haciendo en clase y las de la
prueba de evaluación?
3. ¿En relación a las actividades de clase,
las de evaluación són más fáciles?
4. ¿Te ha gustado la prueba de evaluación?
5. ¿Ves alguna relación entre las actividades
que realizáis en clase en esta asignatura y tu
vida fuera de la escuela?
Segunda parte
1. ¿Qué es lo que crees que has aprendido en este tema? Opina libremente sobre la prueba de evalua-
ción. ¿Qué te ha parecido? ¿Por qué?
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
440
¿Cuáles consideras que son los inconvenientes?
¿Por qué?
12. MONEREO 17/7/09 10:21 Página 440
Apéndice D
Ejemplo de aplicación del instrumento P-AUTES a una prueba de evaluación. Dimensión
autenticidad
PRUEBA PISA-C
Descripción de la prueba.
La prueba plantea un problema abierto consistente en una situación plausible: la llegada de 5
alumnos extranjeros a un centro de Catalunya, concretamente a una clase de 3ro de ESO; dichos
alumnos dominan distintos idiomas. Los alumnos deberán decidir cual sería la mejor alternativa para
comunicarse con esos supuestos alumnos y justificar su decisión.
Para realizar la prueba se ofrece a los alumnos:
– 8 posibles soluciones y una novena opción abierta.
– Información de la asesora LIC, con la posibilidad de formular 2 preguntas por grupo.
– Una selección de artículos de la Declaración Universal de Derechos Humanos (artículos
1,2,13,22,25 y 26)
– Una selección de artículos de la DUDL (artículos 7, 10,12 13, 14, 23)
– Una lista de 16 términos clave de sociolingüística explicados en clase
– Los criterios y distribución de puntos con que evaluarán las dos preguntas.
Las cuestiones planteadas consisten en:
1) Analizar las diferentes opciones ofrecidas (8).
2) Plantear una nueva opción (reformulando alguna de las ofrecidas o creando una nueva)
3) Justificar legalmente, sociolingüistamente y éticamente la opción propuesta.
(I) Autenticidad de la prueba (sobre un total de 27 puntos. -> 24 puntos)
(a) Realismo (sobre 9 puntos -> 8 puntos)
a.1. La situación planteada es plenamente representativa de lo que ocurre en nuestra realidad inme-
diata (3 p.)
a.2. Las condiciones consideradas en el problemas son muy semejantes (3 p.)
a.3. Sin embargo la exigencia cognitiva es mucho mayor que la que se produce en la vida cotidiana,
puesto que introduce las informaciones que se quiere que los alumnos aprendan (2 p.)
(b) Relevancia (sobre 9 puntos -> 8 puntos)
b.1. La situación planteada es potencialmente interesante para los alumnos, puesto que toman deci-
siones sobre esos aspectos en su vida diaria. (3 p.)
b.2. Las competencias que promueve el problema, decidir conductas lingüísticas de su entorno
inmediato, son competencias útiles para el alumnado (3 p.)
b.3. El problema planteado es familiar para el alumno, puesto que seguramente ha tomado decisio-
nes sobre esos asuntos. Si embargo, seguro que no lo ha hecho con el nivel de reflexión consciente e
informada que se le pide (2 p.)
(c) Proximidad ecológica (sobre 9 puntos -> 8 puntos)
c.1. El problema planteado es innovador pero fácilmente integrable en el tipo de problemas o cues-
tiones que se plantean en las pruebas y exámenes del centro (3 p.)
c.2. Lo mismo puede decirse en relación a la etapa, ciclo y departamento (3 p.)
c.3. Tampoco es muy habitual en el tipo de actividades que el docente suele proponer, aunque no
supone un excesivo progreso en sus planteamientos (2 p.)
441
Las bases de PISA como guía para el cambio / C. Monereo et al.
12. MONEREO 17/7/09 10:21 Página 441
Apéndice E
GUÍA PARA EL ANÁLISIS DE PREGUNTAS DE EVALUACIÓN DESDE LA
PERSPECTIVA PISA (GAPPISA)
AREA/MATERIA BASICA: Lectura
CONTENIDO:
Textos continuos (narrativo, expositivo, descriptivo, argumentativo, instruccional).
Textos discontinuos: diagramas/gráficos, tablas, esquemas, mapas, formularios, anuncios.
AUTENTICIDAD
1- ¿La mayoría de las preguntas de la prueba hacen referencia a alguno/s de estos contextos?
Uso personal Uso público Uso laboral o profesional Uso educativo
2- ¿Estas preguntas se relacionan con problemas o situaciones que el alumno podría encontrarse en
su vida cotidiana?
SI NO
3- ¿Estas preguntas tienen que ver con temas relevantes dentro del dominio de la lectura?
Recuperación de la información Interpretación de textos Reflexión y evaluación
en base a textos
SITUACIÓN-PROBLEMA
1- ¿Se parte de una situación problemática, en forma de texto coherente (artículo, caso, grabación,
etc.) a partir de la cual se realizan diferentes preguntas?
SI NO
2- ¿Estas preguntas se formulan en una variedad de modalidades de respuesta?
Elección múltiple Respuesta cerrada Respuesta abierta
Otras (especificar):
3- ¿Estas preguntas incluyen diferentes formas de representar la información (gráficos, dibujos, sím-
bolos, tablas, diagramas, mapas, etc.)?
SI NO
4- ¿Estas preguntas se presentan en diferentes niveles de complejidad?
SI NO
En caso afirmativo, completar el siguiente cuadro para cada una de las preguntas:
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
442
12. MONEREO 17/7/09 10:21 Página 442
Pregunta 1 Pregunta 2 Pregunta 3 Pregunta 4 ...............
1. Reproducir
(p.e. decir de memoria,
copiar, ...)
2. Comprender (p.e.
explicar, comparar,
diferenciar,....
3. Analizar y sintetizar
(p.e. clasificar,
esquematizar o resumir
os puntos importantes...)
4. Resolver (p.e. planificar
una solución, ejecutarla y
evaluar el resultado)
5. Reflexionar sobre el
resultado y comunicarlo
(p.e. valorar ventajas e
invocnvenientes para
extrapolaciones, formular
futuras hipótesis,...)
EXPLICITACIÓN DEL PROCESO DE RESOLUCIÓN
1- ¿La prueba facilita que los alumnos hagan explícito el proceso de resolución que están siguiendo?
SI NO
2- En caso afirmativo, ¿en qué parte del proceso de resolución se facilita más esa explicitación ?
Al principio, al planificar la resolución del problema.
Durante el propio desarrollo o ejecución del problema.
Al finalizar la resolución, en forma de auto-evaluación.
AJUSTES
1- ¿Se prevé la posibilidad de que el alumno pueda utilizar materiales o instrumentos de soporte para
resolver la prueba (p.e. calculadora, documentos, diccionario, etc.)?
SI NO
2- ¿Se prevé la posibilidad de que el alumno pueda recibir la ayuda puntual de alguno/s de sus com-
pañeros?
SI NO
443
Las bases de PISA como guía para el cambio / C. Monereo et al.
12. MONEREO 17/7/09 10:21 Página 443
CITERIOS DE CORRECCIÓN
1- ¿Se especifican de una manera clara los criterios de corrección de cada pregunta?
SI NO
En caso afirmativo, aplicar el siguiente cuadro a cada pregunta
PREGUNTA Número: Criterio (comentario)
Puntuación Máxima:........
Puntuación Parcial:.........
Sin puntuar: 0
Apéndice F
Prueba inicial ENGLISH EXAM: SKILLS
FIRST TERM
Name: ………..…….. Surname:…………...…………. Date:…………….
READING
Read the text and answer the questions that follow
Answer the questions in complete sentences (4 points)
a) What is skydiving?
………………………………………………………………………...
b) How do people prepare to go skydiving?
………………………………………………………………………..
c) How did the writer feel about skydiving before her first jump?
………………………………………………………………………..
d) Why might some people dislike skydiving?
………………………………………………………………………..
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
444
My Most Exciting Experience
Last year, I went skydiving for the first time. My friend Marta told me about the course, and we
took classes together to prepare for the jump. Before you can skydive, you need at least four hours
of classes with a professional instructor. Our teacher told us that skydiving is safer than driving a
car, but I was still very nervous.
On the day of the jump, we flew in a private aeroplane. The houses and trees below us looked like
toys. Soon it was my turn, and I jumped. At first I just fell, and I was terrified, but then I opened
my parachute the way our teacher had instructed us. I felt like I was flying. The feeling was just
incredible!
When I landed, I hit the ground gently. As soon as we got back to the training centre, I ran to
phone some of my friends and tell them about my jump. I was ready to go up and try it again! My
teacher was pleased to see that I was so enthusiastic. He said that soon he would teach me to steer
in order to control the direction of my fall.
Skydiving isn’t for everyone. Plenty of people are scared to do it. If you don’t do it properly, it can
be very dangerous. But for people who love thrills, it’s an amazing experience.
Assessment:
1 point each: Precise
answer + Use of your
own words
0,5 points each: Not
very precise answer
and/or copied answer
from the text
0 points each: Blank
or incorrect answer
12. MONEREO 17/7/09 10:21 Página 444
Find words or phrases in the text that mean ( 5 points)
a) minimum of ………………………….
b) under ……………………
c) came down to the ground ……………….
d) control the direction of ……………………
e) many …………………….
Choose the most suitable heading for each paragraph (4 points)
a) high-speed fall. ( paragraph ……)
b) Ready to learn more ( paragraph ..….)
c) Think before you try it ( paragraph …...)
d) How I learned about the sport ( paragraph ..…)
WRITING
2. Write about one of the following topics (100 – 120 words)
(10 points)
• My most exciting experience
A short story beginning with the words: It all began when…
Prueba modificada (PISA-C)
ENGLISH EXAM: SKILLS
FIRST TERM
Name: ………..…….. Surname:…………...……………. Date:…………….
READING
Look at the following pictures. ( 2 points)
1a. What are the pictures
about?……………………………………………………….……………..
1b. Would you like to try some of these risky
sports?………………………………………..………
445
Las bases de PISA como guía para el cambio / C. Monereo et al.
Assessment:
1 point each: Correct answer
0 points: Blank or incorrect answer
Assessment:
1 point each: Correct answer
0 points: Blank or incorrect answer
Assessment:
Coherence / cohesion: 3 points
Grammar: 3 points
Vocabulary: 3 points
Text structure: 1 point
Assessment:
1 point each: Understandable answer
0,5 points each: Not very clear answer
0 points each: Blank answer
12. MONEREO 17/7/09 10:21 Página 445
Picture Name of Sport Words or sentences in the text which
helped you to decide
2. Read the following article about some risky sports published on the BBC NEWS web
page <http://news.bbc.co.uk/2/hi/uk_news/magazine/4505195.stm> and answer the ques-
tions that follow.
Extremely Sporty by Rebecca Sandles
2a. Match each of the risky sports in the text with the pictures in exercise
1. Then, write the words or expressions in the text that helped you to
identify the sport. (12 points)
Infancia y Aprendizaje, 2009, 32 (3), pp. 421-447
446
Assessment:
1 point each: Name
of sport
1 point each:
Correct words or
expressions to iden-
tify the sport
0,5 points: Not very
important words to
identify the sport
0 points each: Blank
or incorrect answer
12. MONEREO 17/7/09 10:21 Página 446
2b. Answer the questions in complete sentences (6 points)
e)Why do people decide to do extreme or risky sports?
………………………………………………………………………...
f)What’s the difference between kitesurfing and just surfing?
………………………………………………………………………..
g)Why is the risk rating of coasteering said to be between 2/10 and 9/10?
………………………………………………………………………..
h)Where can mountain boarding be practised?
………………………………………………………………………..
i)Who invented snowboarding?
…………………………………………………………………………
j)What is sky diving?
……………………………………………………………………..…..
2c. Find words in the text that mean ( 4 points)
f) Giving support …………………………(Introduction part)
b) Increasing …………………… (Kitesurfing part)
c) Huge, enourmous ………………. (Mountain Boarding part)
d) Go out …………………… (Skydiving part)
WRITING
Here you have some comments sent to the BBC by e-mail written by teenagers from diffe-
rent countries about doing risky sports. Read them quickly. http://www.bbc.co.uk/world-
service/learningenglish/newsenglish/britain/extreme_sports_comments.shtml: Daoprakai
(Thailand), Ghennet (US), Alp (Turkey), Jerome (Belgium), Souli Sun (China), Manuel
(Spain)
3a. Write an e-mail to the BBC and give your opinion about risky sports. Explain your most
exciting or scary experience related to risky sports that you have ever had. (100 – 120
words)
After Writing
3b. Read your e-mail and answer the following questions about your text
a) Have you divided your text into paragraphs? Why? Why not?
b) Have you stated your opinion clearly? Provide evidence.
c) Can you find any contradiction in your text? Are you totally coherent?
d) Have a look at your grammar and vocabulary? Can you find any mista-
kes? Write them here.
447
Las bases de PISA como guía para el cambio / C. Monereo et al.
Assessment:
1 point each: Precise
answer + Use of
your own words
0,5 points each: Not
very precise answer
and/or copied ans-
wer from the text
0 points each: Blank
or incorrect answer
Assessment:
1 point each: Correct answer
0 points: Blank or incorrect
answer
Assessment:
Coherence / cohesion: 3 points
Grammar: 3 points
Vocabulary: 3 points
Text structure: 1 point
12. MONEREO 17/7/09 10:21 Página 447
... En diferentes definiciones de estrategias, según Carles Monereo, encontramos las acciones que hay que emprender y el objetivo que se quiere alcanzar a través de esas acciones (Monereo, 2009). "El estudio de las estrategias de aprendizaje se realiza durante principios del siglo XX y aparecen términos como: capacidades y habilidades cognitivas, procedimientos, técnicas de estudio y hábitos de trabajo", (Monereo, 2009). ...
... En diferentes definiciones de estrategias, según Carles Monereo, encontramos las acciones que hay que emprender y el objetivo que se quiere alcanzar a través de esas acciones (Monereo, 2009). "El estudio de las estrategias de aprendizaje se realiza durante principios del siglo XX y aparecen términos como: capacidades y habilidades cognitivas, procedimientos, técnicas de estudio y hábitos de trabajo", (Monereo, 2009). ...
... Las capacidades cognitivas se pueden entender como "disposiciones generales que se tienen desde el momento en que uno nace y que nos permiten realizar diferentes acciones que básicamente se refieren a nuestra supervivencia" (Monereo, 2009). Por lo tanto, serían capacidades todos los comportamientos relacionados con los movimientos espontáneos y los sentidos. ...
... Tot tenint en compte les aportacions d'autors com Rychen (2003) o Perrenaud (2008), les competències bàsiques es desenvolupen en mobilitzar els aprenentatges assolits a l'escola amb la finalitat de resoldre les situacions problemàtiques o els reptes que es produeixen en els contextos acadèmics, socials o laborals propers a la realitat particular de l'alumnat. Aquesta fita serà possible en la mesura que els processos d'adquisició de competències es fonamentin en enfocaments interdisciplinaris i, per extensió, proposin situacions d'ensenyament i avaluació complexes que reclamen la utilització de processos cognitius superiors (Zabala, 2007;Monereo, 2009). Per defecte, això suposa emprar metodologies alternatives a les tradicionals. ...
... Un altre dels aspectes a destacar fa referència a que el procés d'adquisició de competències a l'educació obligatòria, per norma general, es planteja mitjançant situacions d'aprenentatge i avaluació descontextualitzades. Autors com Hernández (2006), Coll i Martín (2006), Monereo (2009) són del parer que les activitats que es proposen a l'aula acostumen a prioritzar la reproducció dels aprenentatges disciplinaris abans que la seva mobilització a situacions quotidianes i reals, vinculades als problemes i als reptes que constitueixen la realitat de l'alumnat. Per extensió, aquest fet es tradueix en l'aplicació de metodologies d'ensenyament i avaluació tradicionals, basades només en la transmissió de sabers i en la seva repetició al final del procés, en situacions d'avaluació força previsibles i poc transferibles a d'altres contextos d'aprenentatge, laborals o socials. ...
... D'altra banda també cal considerar en quin grau les activitats d'avaluació programades tant pel professorat com pels organismes encarregats de la seva avaluació externa es dissenyen tot tenint en compte el concepte de competència, i la necessitat de definir i identificar nivells d'adquisició i indicadors d'avaluació pertinents i contextualitzats. Al respecte resulta indispensable que tot procés d'adquisició de competències a l'escola tingui com a referent un model per a l'anàlisi i el disseny d'activitats d'ensenyament i avaluació en clau competencial (Monereo, 2009). És per això que, atès que aquest estudi se centra en l'avaluació de la competència lingüística duta a terme pel Consell Superior d'Avaluació, a continuació es mostra una anàlisi breu de com aquest organisme te en compte aquest aspectes al llarg d'aquest procés. ...
... Para Sanders (1990) las actividades que debe realizar un docente evaluador quedan sujetas al momento en el que se realice la evaluación: una evaluación inicial o diagnóstica, una evaluación continua, reguladora y formativa, una evaluación final, sumativa y formadora y una evaluación en la comunidad de educadores con los que compartir métodos y prácticas evaluativas para que otros puedan enriquecerse. A raíz de las funciones que debe cumplir el docente para evaluar y los momentos en que debe ejecutarlas, las subcompetencias que van implícitas en el acto de evaluación y que definirían la competencia evaluadora han sido sintetizadas por Monereo (2009) y son las que siguen: ...
... En ellas se encuentran representadas las dimensiones que Tejada (1991) propone en relación a la finalidad, el modelo, el objeto, el evaluador, los instrumentos y los momentos del proceso de evaluación. La tercera agrupación se realizó según las cinco subcompetencias inmersas en la competencia evaluadora docente necesarias para que un educador se convierta en un buen evaluador (Monereo, 2009). ...
... In Spain, a wide-ranging teacher training project from the perspective of Pisa, the GAPPisa Project, was carried out in public schools in the city of Barcelona with the aim of offering a theoretical and practical basis on the assessment of learning and enabling teachers to modify their assessment instruments of the traditional test type (MACIAS; MONEREO, 2018;MONEREO, 2009;MONEREO et al., 2009). For the GAPPisa coordinators, the final objective of the training proposal was not to analyze the results of Pisa, but to conduct a process of transformation, involving the entire school team, so that the evaluation was no longer punctual and was integrated into practices. ...
... É fato que os sistemas de avaliações externas condicionam o que se ensina e o que se deve aprender, porém não é aceitável pensar que esses processos, por si mesmos, por mais sofisticados e inovadores que sejam concebidos, possam influenciar diretamente na qualidade da aprendizagem. (MONEREO, 2009). ...
Book
Full-text available
A relação entre Brasil e Moçambique contém importantes laços históricos e culturais. Moçambique é um país localizado no continente africano e o Brasil é o maior país da América do Sul e o quinto do mundo em extensão territorial. Moçambique, assim como o Brasil é uma ex-colônia portuguesa e integra a Comunidade dos Países de Língua Portuguesa (CPLP). Os dois países mantêm importantes laços históricos e culturais devido ao idioma em comum, e por terem sido parte do Império Português. O livro Relações e Contrastes Educacionais organizado pelos professores Maria José Costa dos Santos Professora, pesquisadora e orientadora nos programas de Pós-Graduação em Educação – (PPGE/UFC), e Mestrado profissional em ensino de Ciências e Matemática – (Encima/UFC), líder do Grupo de Pesquisa Tecendo Redes Cognitivas de Aprendizagem – (G-TERCOA/CNPq), Coordenadora da Linha de Pesquisa Educação, Currículo e Ensino (LECE/PPGE) e António Fernando Zucula, Doutor em Educação pela Universidade do Estado do Rio de Janeiro (Uerj), Mestre em Educação em Ciências Naturais e Matemática pela Universidade Eduardo Mondlane (UEM), Moçambique. Professor Auxiliar na Academia de Ciências Policiais (ACIPOL) – Moçambique apresenta onze capítulos basicamente com o foco central para a formação de professores em Moçambique e Brasil. Atrair a atenção dos leitores sobre estudos, pesquisas que estão sendo desenvolvidos por esses países no campo da Educação é fundamental para ampliar novos horizontes que, a pesquisa apresentada no livro Relações e Contrastes Educacionais nos proporciona com a convergência, a proximidade de temas comuns a Moçambique e Brasil e nos remete a perceber as diferenças e distanciamentos por conta da cultura, e da história de constituição desses países.
... La evaluación permite comprobar el nivel de apropiación que tienen los estudiantes respecto de las competencias requeridas y acorde con su proceso de desarrollo, reconociendo que las competencias del evaluador son esenciales para una valoración apropiada de las competencias de los alumnos (Monereo, 2009). Las conceptualizaciones y prácticas evaluadoras de los maestros han de ser conscientes, para que obedezcan a las necesidades culturales, contextuales e históricas, tal como lo manifiesta Saker (2015) es necesaria la coherencia del proceso con la metodológica, los recursos y los sistemas de evaluación. ...
Chapter
Full-text available
El diseño de entornos interactivos para la enseñanza basado en las Tecnologías de la Información y de las Comunicaciones (TIC) demanda una serie de retos importantes, los cuales hacen imprescindible analizar no solo el objeto de estudio, sino también el sujeto y el contexto especifico en el que se gesta, de modo que se puedan garantizar resultados fiables y de calidad en la educación. En el presente trabajo de investigación se abordan ciertos aspectos que tienen en cuenta factores lúdicos para la enseñanza del inglés como segunda lengua y, al mismo tiempo, se analizan los recursos tecnológicos que se utilizan para llevar a cabo esta labor, todo ello para identificar las barreras que experimentan los docentes en la integración de las TIC en los procesos de enseñanza y cómo la integración con los aspectos lúdicos tiene lugar. Este estudio se desarrolló en 25 escuelas de educación infantil de la ciudad de Barranquilla, con un método de análisis cuantitativo y cualitativo, mediante el que, por medio de una encuesta de tipo Ad hoc, se encuestó a docentes con el objetivo de conocer aspectos relacionados con el uso de TIC y los componentes lúdicos de la enseñanza del inglés, en base a criterios como: 1) el trabajo en equipo como elemento integrador y de intercambio de conocimiento, 2) la importancia de las herramientas multimedia para expandir la experiencia de aprendizaje, 3) el entretenimiento, que evalúa el nivel de importancia que tiene el juego y los materiales didácticos dentro del proceso educativo y, por último, 4) la percepción de los mecanismos de evaluación intrínsecos en las dinámicas de uso de las herramientas digitales. Los resultados evidencian que hacen falta protocolos de uso de TIC para la enseñanza en las aulas de clase y que, aunque los factores lúdicos se consideran de gran importancia, hace falta mecanismos de evaluación o retroalimentación, así como generar conciencia de los beneficios y resultados que existen en torno a las dinámicas de trabajo en equipo.
... Estos autores son, sin embargo, numerosos y de diversas instituciones, lo que indica que el impacto es amplio. Sin embargo, la concentración de estos estudios en autores universitarios no respalda la importancia de la colaboración entre diferentes contextos educativos, especialmente entre los teóricos (universidad e investigación) y los prácticos (profesores de aula y centros educativos) con el objetivo de, por un lado, poner en práctica los hallazgos fruto de la investigación, y, por otro, favorecer la reflexión y el autoanálisis de la práctica (Monereo, 2009). ...
Article
Full-text available
En la última década, el interés por los resultados de PISA ha crecido, tanto en el debate público como en el uso de los datos para la investigación. El objetivo de este estudio consiste en analizar la utilización de los resultados españoles de PISA por parte de la comunidad científica. Se realizó un análisis bibliométrico de 119 artículos científicos incluidos en las bases de datos Scopus, Eric EBSCOHost y Web of Science entre 2002 y 2019 mediante análisis de frecuen-cias, análisis MDS y regresiones logísticas binarias. Los resultados reflejan el creciente interés por los resultados españoles de PISA desde 2005 hasta la actualidad, perteneciendo los autores principalmente al ámbito universitario de la Educación. Respecto al uso de la información de PISA, la mayoría de los estudios emplean los datos como vía para generar conocimiento, siendo los temas socioeconómicos como la familia y la equidad los que han tenido una mayor presencia junto al rendimiento de los estudiantes. Se concluye que, a pesar de que PISA ha tardado en tener impacto entre la comunidad académica española, sus resultados son cada vez más utilizados como fuente de información primaria para la realización de estudios detallados sobre temas muy diversos. No obstante, a su vez, PISA se utiliza de forma genérica como indicador de calidad del sistema educativo, sin entrar en detalle en el análisis contextualizado del rendimiento en las competencias objeto de estudio.
... Además, como las competencias involucran distintos contenidos (conceptuales, procedimentales, actitudinales), para poder dar cuenta de su adquisición o dominio por parte del alumnado, el profesorado requiere emplear diversos dispositivos para recoger evidencias que le permitan describir, lo más fielmente posible, las competencias a evaluar. Se trata de dispositivos de evaluación que tienen un carácter más abierto que los exámenes convencionales (Moreno, 2012;Monereo, 2009). Ahora bien, la posibilidad de que este nuevo discurso de la evaluación logre permear las concepciones del profesorado, y, por ende, transformar sus prácticas de evaluación, es trastocada por múltiples factores, entre los que destacan los contextuales. ...
Article
Full-text available
El objetivo de la investigación cuyos resultados se presentan en este artículo consistió en generar información que permitiera comprender la complejidad del proceso educativo, con la intención de proponer soluciones a problemas fundamentales que afectan el aprendizaje y el logro educativo de los alumnos. Se realizó una investigación cualitativa en una universidad pública, la técnica para la recolección de los datos fue la entrevista semiestructurada a profesores que imparten las materias de la formación básica. Entre los principales resultados destaca que la evaluación del aprendizaje es una práctica idiosincrática y contextualizada, que la falta de formación docente es un factor que afecta las concepciones y prácticas de evaluación y, que las formas participativas de evaluación son incipientes, entre otros. Las principales conclusiones indican que la evaluación sigue centrada en la figura del profesor, que los docentes valoran tanto el dominio del contenido disciplinar como las habilidades mediante las cuales los alumnos expresan dicho dominio (habilidades de comunicación verbal y escrita, aprendizaje autónomo, creatividad, pensamiento crítico…), que se emplea una metodología diversa y amplia que incluye exámenes escritos, participaciones en clase, exposiciones, trabajos escritos (ensayos, ejercicios, resúmenes), entre otros. Estas estrategias se centraron en la evaluación del aprendizaje, más que en una evaluación para el aprendizaje y como aprendizaje.
Article
O texto apresenta os resultados de uma análise dos itens públicos de Matemática do Pisa 2012 em relação aos conteúdos e habilidades requeridos. Especificamente, por meio de uma pesquisa documental, analisa três itens da subárea Mudanças e Relações. A escolha por essa subárea decorre do fato de a subescala de proficiência apresentar alta concentração de estudantes nos níveis mais baixos. A discussão em tela é parte de uma pesquisa mais ampla que visa compreender os resultados do Pisa em Matemática e é guiada por meio de diferentes abordagens metodológicas. Os resultados obtidos revelam sintonia estreita entre as propostas do Pisa e da BNCC para a área da Matemática. Chama a atenção que metade dos itens públicos da subárea Mudanças e relações estão centrados em propostas que envolvem a aplicação de fórmulas e expressões. Tais resultados podem embasar outros questionamentos e investigações sobre relações entre currículo e avaliação em Educação Matemática.
Chapter
Full-text available
Recurso para los docentes que quieran abordar una evaluación por competencias en educación física. Forma parte del curso de formación: Introducción a la programación por competencias en el ámbito Artístico-Expresivo. Organizado por el CEFIRE Artístico-Expresivo de la Conselleria d'Educació, Cultura i Esport de la Generalitat Valenciana.
Article
Full-text available
We intend to show that the PISA Project is potentially a powerful instrument for improving learning, teaching and curricula that has not been well used up to date in our country, thereby giving rise to serious misinterpretations that harm the extension of a quality education. PISA’s potentialities and coherence with educational research contributions are shown and strategies that enable it to play its part in improving the teaching/learning process are proposed. In particular, the paper indicates the need for teachers in general to overcome their lack of knowledge of PISA’s characteristics, an obstacle that has limited the positive influence PISA might have had. In this sense, we recommend a wide-ranging information campaign, as well as profound changes in how results are presented
Book
Full-text available
En muy pocas ocasiones un número tan significativo de profesionales ha coincidido en establecer un objetivo prioritario: enseñar al alumnado a aprender de manera autónoma a través de la adquisición de estrategias de aprendizaje. El problema surge cuando aparece la necesidad de orientar al profesorado, especialmente de enseñanza secundaria, sobre cómo puede introducir la enseñanza de estrategias de aprendizaje en sus programaciones.
Article
Full-text available
The aim of Social Science instruction is that students build models of social world functioning that enable them to act effectively in it. In order to provide specific aids with such purpose, teachers need viable assessment strategies to evaluate what models are being built by students and detect their limitations. There are useful strategies for studying social knowledge acquisition in research –for example, the clinical interview– but these are not feasible in school contexts. The present study seeks to offer an alternative by showing what type of assess-ment tasks can be designed within the framework of the conceptual organisation that students need to build and the kind of information that such tasks can provide. For this purpose, we designed an open collective test asses-sing students' knowledge transference and its use to solve hypothetical social problems linked to Human Geo-graphy. The test was administered to 391 subjects, 14 to 18 years old. The results show that the proposed assessment procedure model is useful for identifying the kinds of mental models that students build, their reaso-ning biases, and the age effect. Theoretical and practical implications are discussed.
Article
Despite a century's worth of research, arguments surrounding the question of whether far transfer occurs have made little progress toward resolution. The authors argue the reason for this confusion is a failure to specify various dimensions along which transfer can occur, resulting in comparisons of "apples and oranges." They provide a framework that describes 9 relevant dimensions and show that the literature can productively be classified along these dimensions, with each study situated at the intersection of Various dimensions. Estimation of a single effect size for far transfer is misguided in view of this complexity. The past 100 years of research shows that evidence for transfer under some conditions is substantial, but critical conditions for many key questions are untested.
Article
The term "self-regulated" is used to describe learners who have highly effective learning and work habits. They are successful in and beyond school. This investigation examines whether and how teachers, who are masters at supporting young students' development of self-regulated learning (SRL), can mentor student teachers to design tasks and develop practices that promote elementary school students' SRL. Nineteen student teachers were paired with 19 mentor teachers in a cohort that emphasized SRL theory and practice. In general, student teachers remained with the same mentors throughout their teacher education program and were supported by faculty associates and researchers who also had expertise in promoting SRL. Researchers observed mentor and student teachers teaching, videotaped professional seminars, and collected samples of student teachers' reflections, lesson plans and unit plans. Data indicate some student teachers designed tasks and implemented practices that promote SRL and that mentors' practices accounted for 20% of the variance observed in the student teachers' practices. Finally, the complexity of the tasks that mentors and student teachers designed was strongly predictive of opportunities for students to develop and engage in SRL.
Article
Evaluation has become an everyday activity for many us, whether of our practice in the classroom, the student experience, institutional performance or funded projects. This article looks at the main aspects of evaluation and adopts a systematic approach to evaluation by looking at why, what, for and by whom, when and how to evaluate. The emphasis is on why we want to evaluate and its use in decision making rather than on how we are going to carry it out. The assumption is also that we want to involve as many stakeholders in the evaluation as possible so as to promote greater ownership of the whole process.
Article
Based on empirical work with classes of 4- to 7-year-olds in English primary schools, this book provides an analysis of how classroom assessment occurs within routine teacher-student interaction. The chapters are: (1) "Introduction"; (2) "Defining and Investigating Formative Assessment"; (3) "Teachers' Perceptions of 'Teacher Assessment'"; (4) "Classroom Assessment and the Language of Teaching"; (5) "The Power of Assessment: Appropriating Children's Responses for Learning, or Social Control?"; (6) "Formative Assessment and Learning: Where Psychological Theory Meets Educational Practice"; (7) "Ask a Genuine Question, Get a Genuine Answer"; (8) "Constructing and Integrating Assessment and Learning"; and (9) "Formative Classroom Assessment: Prospects for Improvement." An appendix contains the transcript conventions for classroom interaction. (Contains 19 tables and 140 references.) (SLD)
Article
The aim of the paper is to further current knowledge of the characteristics that reading comprehension and writing composition assessment proposals should have to be considered innovative. For this purpose, two assessment situations aimed at evaluating text comprehension were analysed and compared in two 2nd year Secondary Education classes. An instrument that allows assessment practices to be characterised as a whole while distinguishing their peculiarities was used in the analyses. This instrument highlighted differences in the general organisation of the two situations, as well as in the specific features of each one. Conclusions deal with the importance of being able to characterise the assessment situation as a whole, while underlining the dimensions that distinguish an assessment proposals conceived, not only to grade pupils, but also to help them regulate their own learning processes from proposals exclusively centred on grading them.
Article
1. Executive summary The following position paper sets out to inform policy makers, educators, and fund raisers about the state-of-the-art, the possibilities, and the needs for innovation in assessment. The position paper is divided into the following sections: • Why current assessment systems fail learners and teachers This section describes the shortcomings of current assessment practices for both learners and teachers. Current assessments focus on assessment of learning rather than assessment for learning. They are limited in scope, and lead to teaching for assessment, NOT teaching for learning. They ignore individual learner differences. These current assessment practices also tend to be uneconomical and prevent teachers from developing teaching skills as part of their continuous professional development as assessments can develop into teaching 'straightjackets'. In general, current assessment practices do not fit the needs and demands of today's information and knowledge societies. Learning in today's knowledge and information society requires learners to become problem solvers and creative thinkers in all subjects and areas. These needs are currently not reflected. • The need for fundamental change Re-thinking assessment forms part of a larger drive to effect change across the curriculum. Whilst modern societies have dramatically changed with the advent of technological changes and the development of information technology systems, most schools still rely on teaching according to an out of date information transmission model. Current assessment practices fail to address the needs of today's learners and the modern, complex and globalised societies that they are a part of. Teachers need to be supported in changing their current practices in order to assess learners in ways that reflect the future needs that will be placed upon them. This position paper is written by members of the European Association for Research on Learning and Instruction. The opinions and conclusions expressed in this paper represent the views of the author(s) and should not be seen as an official standpoint by EARLI as an organisation.