ArticlePDF Available

¿Cómo presentan sus resultados los sistemas nacionales de Evaluación Educativa en América Latina?

Authors:
¿Cómo Presentan sus Resultados
los Sistemas Nacionales
de Evaluación Educativa en
América Latina?
Pedro Ravela*
AGOSTO, 2001
* Pedro Ravela. Profesor de Educación Media en Filosofía, Magíster
en Ciencias Sociales con Especialización en Educación. Gerente de
Investigación y Evaluación en la Administración Nacional de
Educación Pública (ANEP) de la República Oriental del Uruguay.
Profesor de “Evaluación de la Gestión Curricular” en la Maestría en
Educación de la Universidad Católica del Uruguay.
E-mail: pravela@adinet.com.uy.
3
SUMARIO
Introducción
Capítulo I. ¿Qué se proponen lograr los reportes nacionales?
I.1. Los sistemas de evaluación como sistemas de información al público en general
I.2. Los sistemas de evaluación como sistemas de información dirigidos a públicos específicos
I.3. Usos de los resultados con consecuencias "fuertes"
I.4. El propósito central de la difusión de resultados: ¿"consecuencias fuertes" o "evaluación
formativa"?
Capítulo II. Porcentajes, medias, notas y puntajes: las métricas empleadas para reportar los resultados
II.1. Porcentaje promedio de respuestas correctas y/o medias de puntajes brutos
II.2. Porcentajes de alumnos que dominan ciertos objetivos o que logran niveles de desempeño
predeterminados
II.3. Puntajes estandarizados
II.4. Teoría de Respuesta al Item
II.5. Calificaciones
II.6. Resultados descriptivos o estándares de logro: ¿qué es lo que el público y los docentes
quieren saber?
Capítulo III. Comparando lo incomparable: la parábola de las carreteras
III.1. Modos típicos de desagregar la información en los reportes nacionales
III.2. La parábola de las carreteras
III.3. Algunos ejemplos de conclusiones inapropiadas
III.4. La consideración del contexto sociocultural
III.5. Los dilemas que plantea la relación entre aprendizajes y contextos sociales a la difusión de
resultados
Capítulo IV. La utilidad pedagógica de los reportes de resultados
IV.1. Materiales de orientación didáctica elaborados a partir de los resultados
IV.2. Entrega de resultados por establecimiento
IV.3. Evaluaciones de carácter muestral con aplicación y corrección autónoma de las pruebas en
el universo de escuelas
IV.4. Talleres de difusión de resultados y programas de capacitación en servicio
IV.5. ¿Cómo usar las evaluaciones para mejorar las prácticas de enseñanza?
Capítulo V. Los reportes de resultados como aporte a la formulación de políticas educativas
V.1. Insuficiente análisis, interpretación y conceptualización
V.2. Los "factores escolares" asociados a los aprendizajes y las políticas educativas
V.3. Tres vacíos de carácter técnico comunes en la región
V.4. Resultados de las evaluaciones y políticas educativas
Diez pistas para pensar en el futuro
Informes nacionales analizados
Bibliografía
5
7
11
12
13
14
17
18
22
26
27
31
32
33
33
33
34
38
39
41
41
44
47
49
50
51
51
53
56
57
58
60
63
5
INTRODUCCIÓN
En 1999 el Grupo de Trabajo sobre Estándares y Eva-
luación (GTEE) del PREAL produjo un primer docu-
mento de análisis sobre la situación de los sistemas
nacionales de evaluación de aprendizajes en Améri-
ca Latina, el cual propuso algunos pasos claves para
avanzar en el desarrollo de los mismos1. Aquel traba-
jo fue producido en el marco de un taller de trabajo
realizado en Lima en agosto de 1999, recurriendo
básicamente al conocimiento directo de los partici-
pantes sobre la experiencia de diversos países
en materia de evaluación de aprendizajes a nivel
nacional.
El presente documento constituye, en cierto modo,
una profundización de aquel análisis a partir del estu-
dio sistemático de un amplio espectro de Informes
Nacionales producidos en la región en el período
1995-2000. La nómina de informes y documentos
nacionales, casi 70 en total, se incluye al final del
texto.
El análisis del estudio se centró en las siguientes pre-
guntas:
¿Qué tipo de información producen y difunden los
sistemas de evaluación?
¿Cómo la presentan?
¿A quiénes está dirigida?
¿Con qué propósitos?
¿Cómo se espera que la información sea emplea-
da?
¿Sirve la información efectivamente para esos pro-
pósitos?
¿Cómo mejorar nuestros modos de reportar los
resultados?
El documento ha sido organizado en cinco capítulos.
En el primero se analizan los objetivos de las evalua-
ciones y de los reportes de resultados que aparecen
explícitamente señalados en los Informes Naciona-
les. Se discute la disyuntiva principal en términos de
la política de evaluación, que consiste en decidir si
las pruebas deben tener algún tipo de consecuen-
cias directas para las escuelas o si deben ser, princi-
palmente, de carácter formativo2.
El segundo capítulo ofrece una visión sistemática
sobre las "métricas" o tipos de datos empleados en
la región para el reporte de los resultados, tales como
porcentaje de respuestas correctas, puntajes o por-
centajes de alumnos que dominan ciertos objetivos.
Muchas veces el lector no especializado no logra di-
ferenciar el significado de unas y otras. Se ilustra y
explica el significado de cada una de ellas y se discu-
te qué tipo de enfoque es más adecuado para la pre-
gunta principal que, en principio, deberían ayudar a
responder los sistemas de evaluación: ¿han aprendi-
do nuestros alumnos lo que se supone deberían ha-
ber aprendido?
En el tercer capítulo se analiza una de las principales
debilidades en los informes de resultados, que es la
falta de adecuada atención a las diferencias
socioculturales existentes entre las poblaciones aten-
didas por los distintos sectores del sistema educati-
vo o los distintos tipos de escuelas. Los alumnos lle-
gan a la escuela con fuertes diferencias en cuanto a
su dominio del lenguaje estándar y capacidades sim-
bólicas, y tienen durante su escolarización diferentes
condiciones de vida y niveles de apoyo en el hogar
en relación a las tareas, todo lo cual favorece o difi-
culta la labor de la escuela. Por tanto, reportar resul-
tados ignorando estas diferencias puede dar lugar a
conclusiones groseramente inapropiadas. Tal vez la
principal de ellas sea que las escuelas privadas son
mejores que las públicas.
Entre los principales propósitos explícitos en los in-
formes de resultados se encuentran dos: entregar a
los docentes información relevante para mejorar la
enseñanza; y aportar a las autoridades información
útil para la toma de decisiones y formulación de polí-
ticas. El cuarto capítulo analiza cuatro tipos de estra-
tegias desarrolladas para el primero de estos propó-
sitos, en tanto el quinto capítulo está dedicado al se-
gundo de ellos. En ambos casos se analizan las for-
talezas y debilidades de la información contenida en
los informes nacionales en relación a su potencial uso
por los destinatarios definidos.
Cada ser humano es hijo de su circunstancia, del con-
texto en el que vive, e inevitablemente su visión del
mundo está sesgada por esa circunstancia. En este
sentido, deseo asumir explícitamente que la perspec-
tiva desde la que este documento ha sido escrito es
doblemente parcial. Por un lado, porque veo los in-
formes nacionales desde el trasfondo de la experien-
cia que hemos realizado en Uruguay y desde las prio-
ridades que aquí asumimos para nuestro sistema de
evaluación. Por otro lado, porque veo la experiencia
de otros países de manera parcializada, a partir de la
lectura de algunos informes. Por tanto, pido discul-
pas de antemano por las omisiones o errores de pers-
1 RAVELA, P. (editor), WOLFE, R., VALVERDE, G. y ESQUIVEL, J.M., Los
Próximos Pasos: ¿hacia dónde y cómo avanzar en la evaluación de
aprendizajes en América Latina? PREAL. Documentos N0 20. Santiago
de Chile. Agosto 2001
2 Lo que en la literatura anglosajona se denomina con la expresión «high-
stakes» vs. «low-stakes».
6
pectiva en que seguramente habré incurrido al anali-
zar los informes. También debo expresar que el tra-
bajo ha sido realizado básicamente sobre informes
publicados hasta el año 1999 y que varios países han
iniciado cambios de enfoque desde entonces, que
no son contemplados en este documento.
De todos modos, deseo enfatizar que las referencias
críticas a ciertos aspectos de los informes nacionales
no tienen como finalidad descalificar ni enjuiciar el
trabajo realizado por las unidades aludidas, sino sim-
plemente ilustrar debilidades y dificultades que en
buena medida compartimos todos los países de la
región y cuya superación debemos asumir como de-
safío colectivo. El sentido de este trabajo es aportar a
la reflexión y a la acumulación de conocimiento en la
región sobre cómo mejorar nuestros sistemas de eva-
luación de aprendizajes y nuestros modos de repor-
tar los resultados, de modo que tengan un impacto
real en el mejoramiento de los aprendizajes de los
niños, en las prácticas de enseñanza de los maestros
y en la toma de decisiones de política educativa.
Finalmente, deseo agradecer especialmente a San-
tiago Cueto, Richard Wolfe, Gilbert Valverde y Patricia
Arregui por sus enriquecedores comentarios a la ver-
sión preliminar de este documento.
7
Capítulo I
¿QUÉ SE PROPONEN LOGRAR
LOS REPORTES NACIONALES?
Una primera mirada a los informes de resultados de
las evaluaciones nacionales consiste en analizar cómo
se presentan a sí mismos y qué propósitos dicen per-
seguir tanto los reportes como, más en general, el
sistema de evaluación de aprendizajes.
En la literatura sobre evaluación de las instituciones y
de los sistemas educativos se suele distinguir entre:
Evaluaciones cuyos resultados tendrán conse-
cuencias directas para individuos o instituciones
y, por tanto, implican un cierto nivel de riesgo o
amenaza porque conllevan algún tipo de sanción
positiva o negativa.
Evaluaciones cuyos resultados tienen una función
únicamente informativa y formativa, pero no
entrañan consecuencias.
A las primeras se las denomina "high stakes" y a las
segundas "low-stakes" (MESSICK, 1999), lo que po-
dría traducirse como alto y bajo riesgo, respectiva-
mente. La figura 1 presenta esquemáticamente una
tipología de los modos en que los resultados de las
evaluaciones pueden ser utilizados con el propósito
de mejorar la calidad de los sistemas educativos.
A partir de las transcripciones de objetivos y propósi-
tos incluidos explícitamente en los informes naciona-
les (ver recuadro 1), se constata que la mayoría de
los sistemas nacionales de evaluación desarrolla-
dos en América Latina durante los 90’ enfatizan
sus finalidades de carácter formativo y sin conse-
cuencias directas sobre las escuelas.
BAJO RIESGO
Información al público sobre el estado del sistema
educativo a través de la presentación periódica de
resultados generales: nacionales o en grandes
desagregados tipo urbano/rural o por regiones o pro-
vincias.
Aporte a la definición de las políticas educativas a
través de la provisión de información a los tomadores
de decisiones en niveles superiores e intermedios
Aporte al mejoramiento de las escuelas y al desarro-
llo profesional de los docentes a través de la devo-
lución de resultados por escuela y la producción de
materiales de carácter didáctico
ALTO RIESGO
Exámenes de acreditación al finalizar cierto nivel edu-
cativo o pruebas de selección de los alumnos que
desean ingresar al nivel terciario
Establecimiento de incentivos económicos para las
escuelas o los docentes, a partir de los resultados
de sus alumnos en las pruebas y otros indicadores
Publicación de los resultados de cada establecimien-
to en la prensa con la finalidad de que las familias
puedan juzgar la calidad de las escuelas y elegir la
que desean para sus hijos
Figura 1
Tipología de usos posibles de las evaluaciones nacionales para mejorar el sistema educativo
8
Recuadro 1
Finalidades y propósitos de los sistemas nacionales de evaluación
BRASIL
SAEB
"Los datos del SAEB permiten:
inferir los conocimientos y habilidades de los alumnos en las áreas y disciplinas investigadas, me-
diante la aplicación de tests, no con la intención de "evaluar" al alumno, sino con el objetivo de
identificar lo que el alumno sabe o es capaz de hacer en los distintos momentos de su trayectoria
escolar (proficiencia), con la finalidad de ponderar la calidad y la equidad de la enseñanza brindada;
analizar la efectividad de los currículos en función de los resultados de aprendizaje de los alum-
nos;
verificar los factores contextuales y escolares que inciden en la calidad de la enseñanza básica
ofrecida en el país, utilizando cuestionarios que colectan datos sobre las características
infraestructurales y de los recursos de que dispone la unidad escolar, el perfil del director y los
mecanismos de gestión escolar, el perfil del profesor, de su práctica pedagógica, de las característi-
cas socioculturales y de los hábitos de estudio del alumno.
El análisis de los resultados de los relevamientos del SAEB posibilitan acompañar la evolución del des-
empeño de los alumnos y de los diversos factores incidentes en la calidad y en la efectividad de la
enseñanza brindada en el sistema educativo, posibilitando la definición de acciones dirigidas a la co-
rrección de las distorsiones identificadas y del perfeccionamiento de las prácticas y de los resultados
presentados por las escuelas y por el sistema de enseñanza brasilero. Esas informaciones son utilizadas
por gestores y administradores de la educación, investigadores y profesores".
MEC-INEP. Bases para um Ensino de Qualidade. Brasil, 1999.
BOLIVIA
Sistema de Medición y Evaluación de la Calidad de la Educación - SIMECAL
"En el decreto 23950, Artículo 130, reglamentario a la Ley de Reforma Educativa se puntualiza la impor-
tancia y trascendencia de la información que genere el SIMECAL y señala que servirá para:
Monitorear y evaluar las innovaciones que ponga en práctica como resultado de la transformación
curricular e institucional.
Estimular la generación de acciones innovadoras y la iniciativa de los maestros en el mejoramiento
de la calidad de la educación.
Diseñar acciones directas sobre los factores controlables por el propio sistema educativo que inci-
dan en el logro de las competencias básicas de los alumnos.
Orientar la asignación de recursos hacia las Unidades educativas en aquellos aspectos que sean
más deficitarios y tengan una mayor incidencia en la adquisición de competencias básicas.
Orientar las acciones técnico pedagógicas preferencial de los asesores pedagógicos hacia las Uni-
dades Educativas que más lo requieran.
Sensibilizar y comprometer a los líderes de opinión (sindicales, políticos, religiosos, empresarios) en
acciones concretas tendientes al mejoramiento de la calidad y equidad de la educación boliviana
dentro de los principios de eficiencia y eficacia.
Estimular la participación de los docentes, padres de familia y de la comunidad en general para el
mejoramiento de la calidad de la educación".
Bolivia, Ministerio de Desarrollo Humano, Secretaría Nacional de Educación; Rendimientos Escolares
de 3° y 6° de Educación Primaria en Lenguaje y Matemática y Factores Asociados. SIMECAL, 1997.
9
COSTA RICA
Programa de Pruebas Nacionales
"El presente informe tiene como propósito documentar el estudio diagnóstico de Matemática, Español,
Ciencias y Estudios Sociales de Primer y Segundo Ciclos de la Educación General Básica, ejecutado
durante cuatro años por PROMECE. En él se organiza la información de forma que pueda ser accesada
por las autoridades competentes en educación (...) La finalidad de este informe es divulgar ante las
Direcciones Regionales y las autoridades competentes los resultados de las pruebas administradas a
una submuestra de estudiantes de cuarto y séptimo años, como una contribución al mejoramiento de la
educación costarricense".
Ministerio de Educación Pública, Programa de Pruebas Nacionales. Informe nacional sobre los resulta-
dos de las pruebas de diagnóstico de conocimientos 1997. Costa Rica, 1998.
CHILE
Sistema de Medición de Calidad de la Educación - SIMCE
"La comunicación amplia y oportuna de los resultados de las mediciones es un elemento que mejora la
transparencia del sistema educacional. La información que arroja permite que las decisiones educacio-
nales de padres, estudiantes, docentes y equipos directivos tengan un mejor sustento.
Para el Ministerio de Educación es de la mayor relevancia que los sostenedores, equipos directivos y
docentes, y las familias, se informen de los resultados y que desarrollen acciones de análisis y mejora-
miento de los procesos de enseñanza y de aprendizaje en cada establecimiento educacional".
Ministerio de Educación, Chile. Resultados Prueba SIMCE 1997.
"El SIMCE mide para mejorar la calidad de la educación. Con este propósito, entrega información acer-
ca de los resultados de algunos aspectos del proceso educativo, tanto a nivel de establecimiento como
provincial, regional y nacional, para su análisis, interpretación y, para la formulación de planes de accio-
nes remediales eficientes, concretas y evaluables (...) El análisis conjunto, unido a la experiencia profe-
sional y al conocimiento que los profesores tienen de su Unidad Educativa, harán de los resultados
obtenidos una valiosa fuente de información, que lleve a formular planes de acciones remediales más
efectivos".
Ministerio de Educación, República de Chile. Boletín Informativo N°5 para Profesores. Educación Bási-
ca. Análisis e Interpretación de Resultados 1996.
ECUADOR
Sistema Nacional de Medición de Logros Académicos - APRENDO
"El informe técnico "APRENDO 97" puede servir a una variedad de usuarios, según el interés y actividad
de los mismos: Los líderes y gerentes del sistema educativo pueden emplearlo como una fuente de
información confiable para la toma de decisiones a nivel de la gestión financiera, administrativa y curricular.
Los maestros y maestras pueden utilizar la información como insumo en los procesos de microplanificación
curricular y de evaluación del aprendizaje. Los padres de familia y la sociedad civil en general pueden
servirse del informe para conocer y comprender mejor la realidad del sistema educativo ecuatoriano.
Finalmente, la comunidad académica puede encontrar en el informe técnico hipótesis y datos valiosos
para emprender proyectos de investigación aplicada en el campo de la educación".
Ministerio de Educación y Cultura del Ecuador – EB/PRODEC, 1998.
10
PARAGUAY
Sistema Nacional de Evaluación del Proceso Educativo - SNEPE
"La misión del Sistema Nacional de Evaluación del Proceso Educativo (SNEPE) es generar información
permanente, válida, confiable y oportuna sobre el Nivel de Logro de los Aprendizajes alcanzado por los
alumnos y alumnas al finalizar cada Ciclo Educativo, así como sobre las variables complementarias o
contextuales que ayudan a interpretar mejor los resultados de las Mediciones del Rendimiento Acadé-
mico.
El tipo de información producido por el SNEPE permite radiografiar a fondo el interior del propio siste-
ma, al diagnosticar con rigurosidad las dificultades, problemas, falencias y logros sobre lo que se ense-
ña y aprende en nuestras escuelas, de cuánto, cómo, dónde y quiénes aprenden...
La instalación efectiva del SNEPE constituye una herramienta privilegiada para retroalimentar los proce-
sos de gestión y toma de decisiones en las diversas instancias involucradas en la acción educativa, el de
las grandes políticas educativas y el del docente en el aula, así como de la Comunidad Educativa".
Paraguay, Ministerio de Educación. Primer informe de resultados. Sexto Grado 1996. Asunción, 1997.
"El presente documento está dirigido, en general, a los diferentes actores de la educación y, en particu-
lar, a los directores y docentes del nivel evaluado, con el objetivo de darles la oportunidad de: interpretar
los resultados de las pruebas, analizarlos reflexivamente, reconocer las dificultades que se presentan y,
a partir de ellas, ajustar y seleccionar estrategias que ayuden al fortalecimiento de las destrezas no
logradas para mejorar el nivel educativo".
Paraguay, Ministerio de Educación. Informe 1999. Resultados de las Pruebas Nacionales. Sexto Curso
1998/1999.
URUGUAY
Unidad de Medición de Resultados Educativos- UMRE
"La evaluación censal de aprendizajes que se desarrollará en octubre de 1996 tendrá por finalidad
producir información acerca del grado en que los escolares que egresan del nivel primario han logrado
desarrollar las capacidades y conocimientos fundamentales en Lengua Materna y Matemática que todo
niño uruguayo debiera incorporar, independientemente de su origen social, su condición económica y
su contexto local. Disponer de esta información es crucial para recuperar el papel democratizador de la
educación nacional (…)
Con esta evaluación no se pretende atribuir responsabilidades ni encontrar culpables. Tampoco se
pretende continuar haciendo diagnósticos de la situación. Lo que se busca es producir información
acerca del grado en que los alumnos están logrando los aprendizajes y competencias fundamentales,
para saber qué capacidades se están desarrollando y cuáles no, cuáles son las estrategias didácticas e
institucionales que están logrando que los alumnos de los medios más carenciados alcancen los apren-
dizajes fundamentales y, finalmente, en qué zonas es necesario hacer un esfuerzo adicional en materia
de inversión y apoyo técnico para lograr una enseñanza más democrática, que beneficie a todos los
niños del Uruguay, sin distinciones sociales (…)
La información sobre los aprendizajes, adecuadamente contextualizada y devuelta a los diversos secto-
res y actores involucrados en el quehacer educativo, permitirá que todos, con diversos niveles de res-
ponsabilidad, nos hagamos cargo de buscar los caminos adecuados para mejorar la calidad de la ense-
ñanza que la escuela uruguaya brinda a los niños, en especial a los más desfavorecidos".
Uruguay, Administración Nacional de Educación Pública (ANEP)/Unidad de Medición de Resultados
Educativos; Evaluación Censal de Aprendizajes en Lengua Materna y Matemática, 6to. año de Ense-
ñanza Primaria, 1996. I. Fundamentos.
11
En las transcripciones del recuadro 1 se aprecia que
los objetivos de los sistemas de evaluación están for-
mulados en forma bastante similar en casi todos los
países, lo que puede atribuirse a varios hechos:
Los sistemas de evaluación de la región respon-
den al problema común de carencia de informa-
ción sobre lo que los sistemas educativos están
logrando. Este tema cobra hoy relevancia con la
creciente preocupación en todo el mundo por la
calidad de la formación que se brinda a las nue-
vas generaciones y por las dificultades que la uni-
versalización del acceso de la población a nuevos
niveles de enseñanza plantea para el logro de los
objetivos de la enseñanza. Cada vez más resulta
imprescindible —tanto para el debate público so-
bre la educación como para la concepción y dise-
ño de políticas educativas— contar con informa-
ción adecuada acerca del grado en que los apren-
dizajes esperados están siendo logrados.
Durante los últimos años ha existido un importan-
te y saludable intercambio entre los países de la
región en materia de evaluación, que ha sido pro-
piciada principalmente por la Organización de Es-
tados Iberoamericanos (OEI) y la Oficina Regional
de la UNESCO (OREALC). Estas han tenido un
papel fundamental en facilitar el encuentro cara a
cara entre los responsables de los sistemas na-
cionales de evaluación y la difusión de las expe-
riencias y enfoques desarrollados por cada país.
Más recientemente el PREAL, a través del Grupo
de Trabajo sobre Estándares y Evaluación, ha co-
menzado a colaborar en este mismo sentido.
La fuerte presencia de los organismos internacio-
nales de crédito (Banco Interamericano de Desa-
rrollo y Banco Mundial) en el financiamiento de los
sistemas de evaluación, también ha facilitado la
circulación de experiencias, materiales y especia-
listas entre países.
I.1. Los sistemas de evaluación como sistemas
de información al público en general
La primera gran apuesta compartida por todos los
sistemas nacionales de evaluación es dar cuenta a la
opinión pública acerca del grado en que el sistema
educativo está logrando ciertos objetivos en ciertas
áreas del curriculum (generalmente Matemática y Len-
guaje y, en menor medida, Ciencias Naturales y Cien-
cias Sociales) y en ciertos grados o niveles (general-
mente aquéllos que implican el final de un ciclo de la
enseñanza).
Desde esta perspectiva, las Unidades de Evaluación
tendrían una función comparable a la de los Institu-
tos Nacionales de Estadística: así como éstos últi-
mos entregan periódicamente al público información
sobre el costo de vida (índice de precios al consumo)
o sobre el mercado laboral (índice de desocupación),
la función principal de los informes nacionales
sería la de brindar al público información periódi-
ca sobre los aprendizajes en el sistema educati-
vo, garantizando la calidad técnica de la misma.
El uso e interpretación de la misma sería responsabi-
lidad principal de los usuarios, del mismo modo que
normalmente los Institutos de Estadísticas no tienen
una preocupación especial por garantizar que la po-
blación comprenda la información que producen ni
por hacer un trabajo de divulgación "didáctica" de la
información, lo que generalmente queda en manos
de los medios de prensa.
En el caso de la evaluación sobre aprendizajes, es
discutible que pueda trabajarse sobre este supuesto.
En primer término, porque no existe la acumulación
suficiente de masa crítica respecto a las formas de
evaluar y a los indicadores a utilizar. A diferencia de
los indicadores de población, empleo, evolución eco-
nómica, etc. —en torno a los cuáles ha existido abun-
dante trabajo académico y hay ciertos consensos
básicos en cuanto a las formas de medición e inter-
pretación, sus debilidades y limitaciones— en las eva-
luaciones de aprendizajes aún se está lejos de alcan-
zar esos acuerdos sobre los enfoques básicos en los
países de la región. Existe una gran diversidad de
modos de medir, reportar e interpretar los datos y es
necesario aún un esfuerzo de discusión y acumula-
ción técnica, que debería incluir necesariamente la
apertura de los instrumentos y procedimientos de
evaluación al escrutinio académico.
En segundo término, los indicadores de tipo demo-
gráfico y económico, en alguna medida, han pasado
a formar parte de la cultura general y tienen un signi-
ficado al menos genérico para los ciudadanos me-
dianamente informados3. Esto no ocurre con los
indicadores de resultados educativos. Por eso es ne-
cesario realizar un trabajo sistemático de difusión
para que el público en general pueda atribuir sig-
nificado a los datos que los reportes de las eva-
luaciones ofrecen. En especial, es imprescindible
realizar dicho trabajo con los medios de comunica-
ción, con el fin de crear una cierta cultura básica en
3 Si bien en muchos casos, como por ejemplo los indicadores adecuados
para medir la pobreza, los mismos son objeto de debate. Asimismo,
toda interpretación del estado de una sociedad o de una economía a
partir de un conjunto de indicadores es siempre materia discutible. Los
indicadores no nos entregan la realidad, simplemente nos colocan ciertos
puntos de referencia empíricos para su interpretación. Del mismo modo,
ningún sistema de indicadores educativos o de resultados de
evaluaciones puede eliminar la necesidad de debate ni tener pretensiones
de dar cuenta de manera inobjetable y acabada del estado del sistema
educativo. Sin embargo, sí es deseable que los indicadores sean
pertinentes y su medición técnicamente correcta.
12
torno al significado de la evaluación de aprendizajes
a nivel del sistema y sus resultados, de modo de evi-
tar simplismos en el tratamiento de la información que
llega al público masivo4.
Se puede decir, entonces, que en los países de la
región se ha dado un primer paso relevante: periódi-
camente se está informando a la sociedad acerca de
los aprendizajes de los alumnos, lo que contribuye a
poner la educación en la agenda pública y a que la
preocupación ya no esté centrada exclusivamente en
el acceso al sistema educativo, sino también en los
aprendizajes que efectivamente se adquieren en él.
Pero, simultáneamente, es preciso señalar que las
formas de reportar los resultados que se han de-
sarrollado hasta el momento, en muchos casos
pueden dar lugar a serios equívocos, según se ana-
lizará con detalle más adelante en este trabajo.
I.2. Los sistemas de evaluación como sistemas
de información dirigidos a públicos específi-
cos
Según se desprende de las transcripciones incluidas
en el recuadro 1, además de proveer información en
forma sistemática a la ciudadanía, la mayoría de los
sistemas de evaluación asume como misión prin-
cipal la de aportar información relevante a tres
públicos específicos que, supuestamente, la usa-
rán para mejorar la calidad de la educación: las
autoridades y decisores de los sistemas educati-
vos, los directivos y docentes de los establecimien-
tos educativos y las familias de los estudiantes.
El primer problema que aparece es que muchos paí-
ses se proponen informar a esos diferentes destina-
tarios a través de un informe nacional único. Por otra
parte, la mayoría de los reportes nacionales se limita
a describir los datos incluidos en los cuadros o gráfi-
cos, con escaso o nulo análisis e interpretación de
los mismos, suponiendo que son autoexplicativos. En
muchos reportes tampoco se incluyen advertencias
acerca de los usos válidos de la información y sus
limitaciones.
En la figura 2 se muestra el tipo de informes que se
ha producido en cada país. Chile, Ecuador, Argentina
y Uruguay producen informes específicamente dirigi-
dos a los docentes, con el fin de realimentar el análi-
sis de sus prácticas pedagógicas a través del estudio
de los objetivos mejor y peor logrados y de sus
implicancias pedagógico-didácticas. Asimismo, en
varios países se entrega a cada establecimiento los
resultados de sus alumnos, con la finalidad de propi-
ciar el análisis y toma de decisiones a partir de sus
propias insuficiencias. Este aspecto será revisado en
profundidad en el capítulo IV.
En cuanto a las autoridades y decisores de los nive-
les centrales, en muchos países se han producido
estudios de los "factores asociados" a los resultados.
Sin embargo, por momentos parece predominar una
visión excesivamente optimista -tal vez algo ingenua-
acerca de lo que la investigación sobre "factores aso-
ciados" puede aportar a la definición de las políticas
educativas. En la mayoría de los reportes se asume
una relación directa, y en cierto modo mecánica, en-
tre la identificación de "factores" internos del sistema
educativo asociados con los resultados y la adop-
ción de medidas de mejoramiento educativo, del tipo
"Diseñar acciones directas sobre los factores contro-
lables por el propio sistema educativo que incidan en
el logro de las competencias básicas de los alum-
nos".
Si bien el propósito es loable, es preciso tener pre-
sente dos tipos de limitaciones o restricciones impor-
tantes:
El establecimiento de relaciones de causalidad en-
tre factores escolares y resultados, implica múlti-
ples dificultades de tipo técnico, como la canti-
dad de factores intervinientes, la dificultad para
realizar mediciones precisas y válidas de muchos
"factores escolares" relevantes, la interacción en-
tre dichos factores y la influencia del contexto so-
cial, entre otros. Todo ello determina que la capa-
cidad explicativa de los modelos sea en general
muy limitada y que, si bien constituyen un aporte
a la comprensión de lo que ocurre en el sistema
educativo, difícilmente puedan dar lugar por sí
solos a la definición de políticas o a la toma de
decisiones.
La relación entre resultados de investigación y
toma de decisiones de política nunca es directa e
inmediata, sino que está atravesada por múltiples
mediaciones de tipo conceptual, social, político,
administrativo, entre otros.
4 Al respecto vale la pena mencionar que, aún en los Estados Unidos,
país que se ha caracterizado desde hace varias décadas por el uso
masivo de pruebas estandarizadas de diverso tipo y el intenso debate
público a partir de los resultados, los modos en que la prensa informa al
respecto siguen teniendo insuficiencias de diverso tipo: por
ejemplo,comparaciones entre escuelas que no tienen en cuenta el
contexto social de origen de los alumnos, atención exclusiva sobre el
resultado sin análisis de la calidad de las pruebas y lo que ellas evalúan,
y problemas en la interpretación matemática de los datos. De todos
modos, en dicho país muchos medios de prensa han comenzado a
contratar consultores especializados para asesorar a sus periodistas
en el análisis de la información y es posible encontrar reportes
minuciosos y análisis de cierto nivel de sofisticación. Asimismo, muchas
veces desde las unidades responsables de la evaluación se contrata a
periodistas o especialistas en comunicación para ayudar a formular
estrategias de difusión y para ayudar en la preparación de comunicados
de prensa e informes al público.
Figura 2
Tipos de informes de difusión de resultados producidos en los países de la región
(*) Algunos países, como por ejemplo Ecuador, devuelven resultados por establecimiento en el marco de operativos de carácter muestral, a los que
integraron la muestra.
13
Informes
específicos
sobre
factores
asociados
Informes o
publicaciones
específicas dirigidas
a los docentes
Informes o
publicaciones
específicas dirigidas
a las familias
Informe de
resultados por
establecimiento
educativo
(censales)
(*)
Informe
general de
resultados
Países
ARGENTINA
BOLIVIA
BRASIL
COSTA RICA
CHILE
ECUADOR
PARAGUAY
PERÚ
URUGUAY
En el capítulo V se profundizará en el análisis de las
fortalezas y debilidades de los reportes para las au-
toridades y decisores de los niveles centrales de los
sistemas educativos.
En relación al tercero de los actores privilegiados en
las declaraciones de propósitos de los sistemas na-
cionales -las familias de los estudiantes-, es preciso
enfatizar que los reportes nacionales difícilmente son
comprensibles aún para una familia de nivel cultural
medio. Chile parece ser el único país con una estra-
tegia de difusión dirigida específicamente a las fami-
lias, que consiste básicamente en la publicación en
la prensa y en Internet de los resultados de cada es-
cuela, y en la distribución a las familias de folletos
explicativos específicos con los resultados del esta-
blecimiento al que asisten sus hijos.5
I.3. Usos de los resultados con consecuencias
“fuertes”
Si bien los enunciados explícitos de los sistemas na-
cionales de evaluación enfatizan su finalidad formativa
y un uso de los resultados de “bajo riesgo”, existen
en la región algunas experiencias importantes de uso
de los resultados de las evaluaciones nacionales con
consecuencias más “fuertes” que merecen ser iden-
tificados6.
El caso más destacado es el de Chile donde, si bien
no aparece explicitado en los informes nacionales,
desde los comienzos del SIMCE se efectuó una fuer-
te apuesta a utilizar los resultados de las evaluacio-
nes nacionales como mecanismo para establecer in-
centivos y sanciones para las escuelas. Los resulta-
dos de cada establecimiento se publican en la pren-
sa nacional -y más recientemente en Internet-, con el
propósito, entre otros, de que los padres utilicen esa
información a la hora de elegir a qué escuela desean
enviar a sus hijos, en el marco de una política dirigida
a generar un mercado competitivo entre los estable-
cimientos educativos. El supuesto es que de esta for-
ma se obliga a los establecimientos a preocuparse
por mejorar sus resultados.
Asimismo, desde 1996 los resultados de las evalua-
ciones SIMCE están siendo empleados para estable-
cer incentivos económicos para los docentes a tra-
vés del Sistema Nacional de Evaluación del Desem-
peño de los Establecimientos Educacionales Subven-
cionados (SNED). Los establecimientos educativos
son rankeados en función de un índice que incluye
los siguientes seis factores:
Efectividad: promedio de los resultados del esta-
blecimiento en las pruebas de Matemática y Cas-
tellano aplicadas en los años previos.
5 Esto último aparece anunciado en la página WEB del SIMCE pero no
fue posible tener acceso a ejemplares de los mismos.
www.mineduc.cl/simce/simce2001.htm
6 Asimismo, es preciso mencionar que en varios países coexisten con los
sistemas nacionales de evaluación de aprendizajes, otros sistemas de
pruebas de selección para el ingreso a la universidad o de acreditación
del final de la educación secundaria.
14
7 Para más detalles, véase Ministerio de Educación, República de Chile,
2000.
Superación: promedio de las diferencias que cada
establecimiento tuvo en los puntajes de esas mis-
mas pruebas respecto a la medición anterior.
Iniciativa: incluye diversos indicadores, tales como
la realización de actividades formativas comple-
mentarias de libre elección para los alumnos o te-
ner un “proyecto educativo institucional”.
Mejoramiento de las condiciones laborales: se
construye a partir de una categorización de los es-
tablecimientos realizada por el sistema de inspec-
ción.
Igualdad de oportunidades: incluye diversos
indicadores, tales como la tasa de aprobación de
alumnos, la tasa de retención y la incorporación
de alumnos con discapacidades.
Integración y participación de profesores, padres
y apoderados: se construye a partir de indicadores
tales como la existencia de un Consejo de Profe-
sores y de centros de padres y de alumnos que
cuenten con espacios de participación avalados
en el proyecto institucional, o la percepción de los
padres acerca del establecimiento, entre otros.
Prácticamente las dos terceras partes del valor del
índice dependen de los resultados en las pruebas
SIMCE: el factor efectividad pesa un 37% y el factor
superación un 28% del valor final del índice SNED7.
El ordenamiento no se aplica a nivel nacional sino al
interior de conglomerados de establecimientos que
se suponen homogéneos en términos de localización
geográfica, nivel educacional impartido y nivel
socioeconómico del alumnado. Los incentivos son
otorgados a los mejores establecimientos hasta cu-
brir el 25% de la matrícula, bajo la forma de una re-
muneración extraordinaria que se distribuye entre to-
dos los docentes del establecimiento.
Otro caso relevante es el de México. Durante los años
‘90 los esfuerzos de evaluación de aprendizajes a ni-
vel nacional se realizaron principalmente en el marco
del programa “Carrera Magisterial”, el cual establece
incentivos económicos individuales para los maes-
tros, asociados a cinco grandes factores: antigüedad,
grado académico, preparación profesional, acredita-
ción de cursos de actualización y desempeño profe-
sional. Este último factor, que tiene el mayor peso en
el índice (35%), se mide a partir de la evaluación del
maestro por parte del equipo docente y del denomi-
nado “aprovechamiento escolar”, que es el resultado
obtenido por los alumnos de cada maestro en prue-
bas estandarizadas de logro (Comisión Nacional SEP-
SNTE, 1994). La participación en este programa ha
sido de carácter voluntario, pero ha incluido a varios
cientos de miles de maestros cada año. Durante mu-
chos años las pruebas aplicadas a varios millones de
alumnos fueron utilizadas únicamente con la finali-
dad de otorgar estos incentivos, sin que sus resulta-
dos tuvieran ningún tipo de difusión pública. Desde
hace muy poco tiempo la Secretaría de Educación
Pública ha comenzado a difundir algunos resultados.
I.4. El propósito central de la difusión de
resultados: ¿”consecuencias fuertes” o
evaluación “formativa”?
La discusión acerca de cuál debe ser la apuesta prin-
cipal de los sistemas de evaluación de resultados es
de enorme trascendencia y merece especial atención
en la construcción de visiones sobre cómo avanzar
en el desarrollo de los sistemas nacionales de eva-
luación de aprendizajes en la región.
Desde algunos sectores, principalmente políticos y
economistas, parece existir una creciente presión por
ir transformando los sistemas nacionales de evalua-
ción en sistemas de rendición de cuentas públicas y
de establecimiento de incentivos al estilo seguido por
Chile. Recientemente, Argentina ha comenzado a pu-
blicar en la prensa los resultados por establecimiento
en sus evaluaciones de carácter censal. En cambio,
otros países -como Uruguay y Bolivia- han enfatizado
la finalidad exclusivamente formativa de las evalua-
ciones y los resultados por escuela tienen carácter
estrictamente confidencial.
En dos trabajos recientes, refiriéndose a los Estados
Unidos -probablemente el país con mayor acumula-
ción de experiencias, diversidad de enfoques y de-
bates en torno a este tema- Linn & Gronlund (2000)
señalan que el problema central de usar pruebas
estandarizadas en el marco de una estrategia de
“alto riesgo” o “consecuencias fuertes” -léase ren-
dición de cuentas pública o establecimiento de in-
centivos económicos por resultados- es que exa-
cerban la preocupación de directores y docentes
por enseñar la prueba y el tipo de actividades que
ellas incluyen, es decir, a dedicar creciente tiempo
de instrucción a ejercicios similares a los que serán
planteados en las pruebas y exclusivamente sobre
los temas y competencias que serán evaluados. Si
las pruebas tienen una fuerte carga de ítemes de op-
ción múltiple, esto resulta altamente contraproducen-
te, porque los resultados dejan de ser un indicador
de un conjunto de competencias más amplio y pasan
a ser estrictamente una medida de la capacidad de
15
los alumnos para responder a las preguntas de las
pruebas. Se podría mejorar las pruebas, hacerlas más
complejas y abarcativas, pero entonces se vuelve di-
fícil garantizar la corrección confiable de las mismas
a gran escala pues, por definición, cualquier sistema
de incentivos o rendición de cuentas pública por es-
cuela debe tener carácter censal. Como señalan Linn
& Gronlund8:
“El grado en que la creciente presión (por hacer que
las evaluaciones tengan ‘consecuencias fuertes’) ayu-
daron o dañaron a la educación, sigue siendo
controversial. Los proponentes de evaluaciones con
‘consecuencias fuertes’ argumentan que las pruebas
miden objetivos que es importante que los estudian-
tes aprendan y que es deseable que los maestros
focalicen su atención en ellos. Señalan con orgullo
los incrementos en los puntajes de las pruebas ob-
servados en los programas de evaluación estaduales
y distritales a finales de los ‘80 y principios de los ‘90.
“Los críticos del énfasis creciente en los resultados
de las pruebas argumentan que otorgar un exceso de
importancia a éstos distorsiona la educación. Argu-
mentan que objetivos educativos importantes son ig-
norados cuando no están incluidos en las pruebas que
importan. Más aún, reclaman que el incremento en
los puntajes ofrece una visión errada de la realidad,
porque los maestros enseñan las cuestiones específi-
cas de las pruebas en lugar de dominios de conteni-
do más generales (...) Como los ítemes de una prueba
sólo constituyen una muestra del dominio que intere-
sa, el puntaje en la prueba y el grado de comprensión
no son lo mismo. Se requiere una generalización, y es
la generalización, no la prueba en sí misma, lo que
importa. Cuando se enseña para responder el tipo de
ítemes específicos de las pruebas, la validez de la in-
ferencia sobre el nivel de logro de los estudiantes se
ve amenazada.”
La evaluación “sin consecuencias” o de “bajo riesgo”
minimiza estos problemas, porque directivos y do-
centes están menos amenazados por la evaluación,
con lo cual pueden asumirla con mayor libertad como
indicadores de competencias más complejas, sin ver-
se obligados a forzar artificialmente el logro de bue-
nos resultados en las pruebas.
Como contracara, es preciso señalar que la ausen-
cia de consecuencias hace que nadie en las es-
cuelas esté obligado a hacerse cargo de los re-
sultados y, muchas veces, ni siquiera a enterarse
de ellos o a considerarlos. En este sentido, es posi-
ble argumentar que la confidencialidad de los resul-
tados por escuela, en cierto modo, las exime de res-
ponsabilidad pública.
Otro de los problemas importantes derivados del he-
cho de que las pruebas no tengan consecuencias di-
rectas para los alumnos, es que ello puede afectar el
grado en que éstos se esfuerzan por realizar las ta-
reas que se les han propuesto. Esto es particularmente
delicado en la educación media, dada la edad de los
alumnos, y puede afectar la confiabilidad y validez de
las mediciones.
En relación al uso de los resultados para generar com-
petencia entre los establecimientos, CARNOY (2000)
señala que la evidencia empírica del caso chileno in-
dica que la creación de un mercado competitivo en el
sector educación no ha tenido un impacto de mejora
de la calidad del sistema, sino de ampliación de las
desigualdades. Cuando se controla el nivel
socioeconómico del alumnado de cada escuela, se
observa que los colegios católicos, que existían con
anterioridad al proceso de privatización de los años
80’, tienen resultados algo mejores que las escuelas
públicas, pero a un costo mayor por alumno. Simul-
táneamente, los colegios privados “nuevos” -que “cre-
cieron como hongos” a partir de la implantación del
sistema de “vouchers” en los años 80’- no están lo-
grando mejores resultados que las escuelas públicas
cuando se controla el nivel sociocultural de los alum-
nos. Sí son económicamente más “eficientes” -tie-
nen un costo por alumno inferior- debido a que pa-
gan salarios inferiores a sus docentes. Al respecto
señala:
“Por tanto, no hay evidencia de Chile de que un siste-
ma nacional de ‘vouchers’ que ha estado operando
por casi 20 años haya tenido un efecto positivo sobre
los resultados de rendimiento de los millones de es-
tudiantes que pasaron por el sistema durante ese tiem-
po. El plan puede haber ahorrado algún dinero de
impuestos en los 80’ y principios de los 90,’ pero lo
hizo principalmente porque los colegios privados con
fines de lucro pudieron pagar a los docentes menos
que las escuelas públicas, no porque hubiese mayor
eficiencia en el uso de los recursos. Por el otro lado,
existe cierta evidencia de que la privatización aumen-
tó la estratificación durante los 80’, en la medida que
los colegios privados “descremaron” a los mejores
estudiantes -de nivel social más alto y más talentosos-
de las escuelas públicas y tendieron a ubicarse en las
municipalidades de mejores ingresos... Estudios en
otros países con sistema de ‘vouchers’, como Nueva
Zelanda, también argumentan que los mismos
incrementan la estratificación entre los estudiantes
(Lauder & Hughes, 1999)”9
8LINN, R. & GRONLUND, N., 2000, pp. 8-9, en inglés en el original.
9 CARNOY, M., 2000, p. 18, en inglés en el original.
16
Nuevamente se plantea en este punto un dilema. Si
bien la evidencia empírica y el sentido común indican
que la publicación de “rankings” de escuelas en fun-
ción de sus resultados tiene como efecto principal
una mayor segmentación sociocultural del sistema
educativo, simultáneamente es preciso reconocer que,
en la medida en que se genera información sobre los
resultados alcanzados por los alumnos en un esta-
blecimiento, las familias tienen derecho a conocer-
los. Se plantea así una contradicción difícil de resol-
ver y que los sistemas deberán asumir en los próxi-
mos años: ¿cómo conjugar el derecho de las familias
a conocer lo que sus hijos están logrando con el cui-
dado que debe darse al tratamiento de la informa-
ción para evitar interpretaciones inapropiadas y la
deslegitimación espúrea de las escuelas que traba-
jan con la población más carenciada?
La disyuntiva de fondo es en qué medida los objeti-
vos formativo por un lado, y de establecimiento de
incentivos, por otro, pueden resultar compatibles en-
tre sí. El tema merecería ser profundizado a través de
una investigación dirigida a analizar de qué modo las
escuelas utilizan los resultados de las evaluaciones y
de qué manera el contexto y la estrategia global del
sistema de evaluación incide en la aceptación y uso
de los resultados por parte de los establecimientos
educacionales. Asimismo, sería relevante comparar
el uso de la información entre países en que la difu-
sión de la misma se realiza en un contexto de capaci-
tación -lo que en principio aparece como más efecti-
vo, aunque también más costoso-, y países en que el
sistema de evaluación se limita a la distribución de
los informes a las escuelas. En todo caso, el uso de
los resultados de los sistemas de evaluación desa-
rrollados hasta el momento con fines de “rendición
de cuentas”, requiere de un cuidadoso análisis de los
riesgos que implica, como advierte Linn:
“No deberíamos esperar que pruebas poco costosas
diseñadas para otros propósitos de ‘bajo riesgo’ se
hagan cargo de las presiones que actualmente se po-
nen sobre ellas por parte de los sistemas de rendición
de cuentas de ‘consecuencias fuertes’... Sistemas de
10 LINN 2000, pp.12-14, en inglés en el original: «We should not expect,
however, inexpensive tests designed for other low-stakes purposes to
withstand the pressures now being placed on them by high-stakes
accountability systems... Assessment systems that are useful monitors
lose much of their dependability and credibility for that purpose when
high-stakes are attached to them. The unintended negative effects of
the high-stakes accountability uses often outweigh the intended positive
effects».»
evaluación que son monitores sumamente útiles pier-
den buena parte de su credibilidad para ese propósi-
to cuando se les incorporan ‘consecuencias fuertes’.
Los efectos negativos no buscados de los usos de las
evaluaciones con fines de rendición de cuentas de
‘consecuencias fuertes’ a menudo superan los efec-
tos positivos buscados10 ).
17
Capítulo II
PORCENTAJES, MEDIAS, NOTAS Y PUNTAJES:
LAS MÉTRICAS EMPLEADAS PARA REPORTAR
LOS RESULTADOS
Como una segunda aproximación a los informes de
las evaluaciones nacionales, en el presente capítulo
se analizarán las métricas que éstos utilizan, es decir,
los tipos de datos que se presentan para describir los
resultados a nivel nacional y para comparar lo ocurri-
do entre los distintos niveles en que se desagrega la
información: provincias o estados, escuelas urbanas
y rurales, etc.
El análisis de las métricas o tipos de datos que se
ofrecen en los informes nacionales es relevante por
dos razones principales:
Porque está en juego la “comprensibilidad” de la
información para los destinatarios. En este senti-
do, una primera pregunta a formularse es hasta
qué punto los destinatarios pueden comprender
los datos que se les entregan.
Porque está en juego la “utilidad” de la informa-
ción que se entrega, en función de las necesida-
des de los destinatarios. Por ejemplo, si se espera
que la información sirva a los docentes para revi-
sar el modo en que encaran la enseñanza, es ne-
cesario plantearse si resulta suficiente informar so-
bre el porcentaje de respuestas correctas en la
prueba a nivel nacional o por regiones.
En otro plano, es necesario preguntarse si ofrecer al
público el dato de que a nivel nacional hubo un pro-
medio de 58% de respuestas correctas permite res-
ponder a la que parece ser la demanda principal del
público: saber si los alumnos están logrando o no lo
que se espera de ellos al cabo de ciertos niveles de
escolarización11 .
A lo largo de este capítulo se describen y explican las
métricas empleadas en cada país analizando sus po-
tencialidades y problemas, para luego ver cuáles se-
rían los tipos de datos que mejor podrían responder a
las demandas de docentes y de la opinión pública.
Siete fueron los tipos de datos empleados para ca-
racterizar la calidad de los sistemas educativos e in-
formar sobre los resultados de las evaluaciones, iden-
tificados en los informes analizados (ver figura 3):
porcentaje promedio de respuestas correctas
promedio de los puntajes “brutos”
puntajes estandarizados
puntajes de “Teoría de Respuesta al Item”
porcentaje de alumnos que logran cierto nivel de
puntaje o de desempeño
porcentaje de alumnos que logran el dominio de
objetivos específicos
una transformación de alguna de las métricas an-
teriores a una calificación numérica expresada en
la misma escala que habitualmente se emplea en
el sistema para calificar a los alumnos.
11 Este tema involucra la cuestión de si los datos han sido construidos
dentro de un enfoque referido a normas o dentro de un enfoque criterial,
cuestión que ha sido tratada con más detalle en RAVELA, P. (editor) y
otros, 2000 y que será analizada al final de este capítulo.
18
(b)
Promedio de
puntajes
brutos
(c)
Puntajes
estanda-
rizados
(d)
Puntajes de
“teoría de
respuesta al
ítem”
(e)
Porcentaje
de alumnos
por niveles
desempeño
(a)
Porcentaje
promedio
respuestas
correctas
Países
ARGENTINA
BOLIVIA
BRASIL
COSTA RICA
CHILE
ECUADOR
PARAGUAY
PERÚ
URUGUAY
Figura 3
Métricas empleadas por los distintos países para el reporte de resultados
II.1. Porcentaje promedio de respuestas
correctas y/o medias de puntajes brutos
El porcentaje promedio de respuestas correctas (co-
lumna ‘a’ de la figura 3) se construye calculando para
cada uno de los ítemes de la prueba qué porcentaje
de los alumnos lo respondió correctamente. Luego
se calcula el promedio de esos porcentajes para to-
dos los ítemes de la prueba.
En términos matemáticos, esta “métrica” o modo de
reportar es equivalente al promedio de los puntajes
brutos12 (columna ‘b’ de la figura 3) de todos los es-
tudiantes. Esto significa que si se transforma el puntaje
“bruto” promedio en un porcentaje calculado sobre
el puntaje máximo posible de la prueba, este porcen-
taje será igual al porcentaje promedio de respuestas
correctas.
Argentina, Chile13 y Paraguay son los países que em-
plean el porcentaje promedio de respuestas correc-
tas en cada prueba como la métrica principal de sus
reportes (ver figuras 4 a 8). Paraguay reporta con
ambos tipos de métricas –porcentaje promedio de
respuestas correctas y puntaje bruto promedio- (ver
figura 7), lo cual en definitiva es redundante: como el
puntaje total es 50, el porcentaje de logro es el doble
de la media de puntajes. Otros países como Costa
Rica, Ecuador y Uruguay utilizan alguna de estas dos
modalidades pero como información complementa-
ria, dado que emplean otras métricas como ejes prin-
cipales de sus reportes.
En Argentina se transforma el porcentaje de respues-
tas correctas a una escala de calificaciones de 1 a 10
(figura 4). Como se puede apreciar, esta transforma-
ción resulta redundante, dado que simplemente divi-
de por diez el porcentaje promedio, pero no agrega
información nueva. Al final de este capítulo se hará
una referencia al uso de “calificaciones” para presen-
tar los resultados.
(f)
Porcentaje
de alumnos
dominan
objetivos
(g)
Califica-
ciones
Hasta 1997
Puntajes T
Desde 1998
Nota: Los casilleros más oscuros indican cuál es la métrica central utilizada en los reportes de cada país.
12 En una prueba de opción múltiple los puntajes «brutos» son los que se
calculan para cada estudiante a partir del número de ítemes que
respondió correctamente. Si una prueba consta de 40 ítemes, el puntaje
«bruto» variará entre 0 y 40. Si un alumno respondió correctamente 22
ítemes, su puntaje bruto es 22.
13 En el reporte de resultados publicado en 1999 sobre la evaluación
realizada en 1998, Chile ha modificado su modo de informar los
resultados y ha comenzado a utilizar puntajes construidos mediante la
Teoría de Respuesta al Item.
19
Rendimiento promedio
por área, ámbito y sector
Expresado en porcentaje
de respuestas correctas
Nivel Primario - 6 grado
Urbano Estatal Urbano Privado Rural
Area
Lengua
Matemática
56.42%
49.55%
68.38%
62.13%
51.92%
37.03%
Expresado en puntaje
de 1 a 10
Nivel Primario - 6 grado
Urbano Estatal Urbano Privado Rural
Area
Lengua
Matemática
5.60
5.00
6.80
6.20
5.20
3.70
Figura 4
Argentina, Rendimiento promedio por área, ámbito y sector
Fuente: Ministerio de Cultura y Educación de la Nación, Argentina, 1997. Operativo Nacional de Evaluación de Aprendizajes 1996; página 30.
20
Figura 5
ARGENTINA
Valores medios de rendimiento
En lengua por jurisdicción y nivel
Figura 6
PARAGUAY
Lengua y literatura castellana.
Medias nacionales por modalidad
Fuente: Ministerio de Educación y Cultura, Paraguay, 1999. Sistema
Nacional de Evaluación del Proceso Educativo (SNEPE).
Resultados de las Pruebas Nacionales. Informe 1999. Sexto
Curso; pág. 22.
Fuente: Ministerio de Cultura y Educación de la Nación, Argentina, 1997.Ç
Operativo Nacional de Evaluación de Aprendizajes 1996;
página 33.
Prueba Sujetos Media % Logro
Hum. Téc. Hum. Téc. Hum. Téc.
Lenga y Lit. 3750 1299 23,59 23,55 47,18 47,10
21
Figura 7
PARAGUAY
Lengua y Literatura Castellana. Resultados por Competencias.
Bachillerato Humanístico Nacional
Analizar, reconocer y señalar características de obras literarias Respuestas correctas
de los géneros narrativo, lírico y dramático % promedio
1. Género narrativo
A. Concepto - Característica 38,46
B. El realismo y el naturalismo en la narrativa del siglo XIX 57,32
C. El regionalismo hispanoamericano 50,71
D. La nueva narrativa hispanoamericana 34,13
2. Género lírico
E. Conceptos. Recursos literarios 49,67
F. El modernismo 44,65
G. El posmodernismo y el vanguardismo poético 48,66
3. Género dramático
H. El teatro en el siglo XX. Contexto sociocultural 57,51
I. Representantes y obras en el Paraguay 57,81
Fuente: Ministerio de Educación y Cultura, Paraguay, 1999. Sistema Nacional de Evaluación del Proceso Educativo (SNEPE). Resultados de las Pruebas
Nacionales. Informe 1999. Sexto Curso; pág. 25.
El reporte a través de los porcentajes promedio de
respuestas correctas ofrece una visión muy general
sobre los logros alcanzados. Da información sobre el
dominio de ciertas asignaturas en el sistema educati-
vo, pero no sobre lo que los alumnos son capaces de
hacer, pues las unidades de análisis son los ítemes,
no los alumnos. El resultado puede obedecer tanto a
que la mayoría de los alumnos se ubican en torno a la
media, como a una fuerte dispersión en situaciones
extremas de alumnos con alto dominio de los conte-
nidos evaluados junto a alumnos cuyos puntajes han
sido muy bajos.
Por otra parte, como la selección de los ítemes que
forman parte de las pruebas en general se efectúa
privilegiando los que tienen niveles de dificultad me-
dia y no a partir de una determinación sustantiva de
cuál es el nivel de logro que se espera que alcancen
los alumnos, en realidad el resultado no dice nada
acerca de en qué grado los estudiantes son capaces
de hacer lo que se espera de ellos. En otras palabras,
los resultados usualmente observados de entre 50%
y 60% de respuestas correctas en realidad están de-
terminados a priori al seleccionar los ítemes, pero no
significan que se esté logrando ese porcentaje de lo
esperado como resultado del paso de los alumnos
por el sistema educativo.
Este tipo de métrica puede ser empleada en forma
válida para efectuar comparaciones entre distintos
sectores del sistema (departamentos, regiones, es-
cuelas, etc.), analizando cuáles están por encima y
cuáles por debajo de la media nacional, así como las
distancias entre ellos, como lo que se realiza en Ar-
gentina (ver figura 5).
En cambio, no parece tener sentido la comparación
entre competencias tal como aparece en el reporte
de Paraguay (figura 7). Antes que nada debe obser-
varse que en realidad los datos parecen referirse a
diferentes contenidos curriculares y no a competen-
cias diferentes en sentido estricto. Para que la com-
paración entre dichos contenidos/competencias tu-
viese algún sentido -por ejemplo, indicar qué aspec-
tos del currículum son mejor conocidos por los estu-
diantes-, sería necesario definir con anterioridad un
criterio de desempeño esperado -por ejemplo, res-
ponder correctamente a tal cantidad de los ítemes
referidos a ese contenido-, para reportar luego qué
proporción de los alumnos lo logran, tal como se hace
en Costa Rica, Ecuador y Uruguay, según se verá más
adelante. Pero en la medida en que los ítemes fueron
seleccionados en función del criterio de que tuviesen
grados de dificultad entre 30% y 80%, según se indi-
ca en el informe del SNEPE, las diferencias entre los
promedios de respuestas correctas para los distintos
contenidos/competencias no necesariamente reflejan
niveles de logro diferentes por parte de los alumnos,
sino que dependen de la dificultad de los ítemes se-
leccionados para cada una de ellas.
Finalmente, el reporte a través de porcentajes pro-
medio de respuestas correctas también puede ser
empleado para informar acerca de cambios en los
22
resultados del sistema a lo largo de los años, como
se ha hecho en Chile y Argentina. El SIMCE, por ejem-
plo, ha reportado en términos de porcentaje prome-
dio de respuestas correctas los avances entre años
tanto a nivel nacional (véase figura 8) como a nivel de
cada establecimiento. Pero, para que esta informa-
ción pueda ser considerada válida para apreciar la
evolución en el tiempo de los logros en el sistema
educativo, es necesario que las pruebas estén ade-
cuadamente equiparadas al nivel de dificultad de la
primera medición, que midan los mismos contenidos
y/o competencias y que tengan la misma estructura
en términos de cantidad de ítemes y de pesos de las
diferentes competencias en el puntaje total. En los
informes públicos analizados para estos países no se
da cuenta de los procedimientos seguidos para ase-
gurar la equivalencia de los instrumentos de medi-
ción utilizados en los diferentes años.
II.2. Porcentajes de alumnos que dominan
ciertos objetivos o que logran niveles de
desempeño predeterminados
Costa Rica, Ecuador y Uruguay emplean un enfoque
sustantivamente diferente al de los tres países ante-
riores para reportar sus resultados, dado que utilizan
como métrica principal el porcentaje de individuos
(alumnos) que logran niveles de dominio predefinidos
en las competencias, destrezas y/o contenidos eva-
luados (columnas ‘e’ y ‘f’ de la figura 3). Las diferen-
cias principales con el enfoque del apartado anterior
son que:
los resultados no son únicamente descriptivos,
sino que implican un juicio acerca de si los alum-
nos han alcanzado o no lo que se espera de ellos
los resultados, por tanto, son interpretables no sólo
en términos de comparaciones entre individuos y
grupos, sino también en términos del grado en que
las metas de enseñanza están siendo alcanzadas.
Costa Rica y Ecuador elaboran sus pruebas dentro
del enfoque de evaluaciones referidas a criterios. Para
ello, en cada disciplina evaluada se define un conjun-
to de diez a catorce objetivos o destrezas específicas
que se consideran prioritarias, siguiendo la técnica
de “objetivos amplificados” propuesta por Popham.
El “dominio” de cada objetivo o destreza por parte de
los alumnos es evaluado a través de varios ítemes
referidos al mismo: tres en el caso de Costa Rica y
cuatro en el caso de Ecuador. En el primer país se
considera que un alumno domina un objetivo si res-
ponde correctamente al menos dos de los tres ítemes
referidos al mismo. En el caso de Ecuador, cuando
responde correctamente al menos tres de los cuatro
ítemes. En este último país se establecen además ni-
veles de logro para cada destreza: “inicio” si el alum-
no responde correctamente como máximo uno de los
cuatro ítemes, “avance” si responde dos y “dominio”
si responde tres o cuatro ítemes.
Los reportes de resultados de estos países emplean
como “métrica” o dato principal el porcentaje de alum-
nos que alcanzó el dominio de cada objetivo y, en el
caso de Ecuador, el porcentaje de alumnos en cada
uno de los niveles de dominio para cada objetivo (véa-
se figuras 9 y 10). En los reportes, los resultados apa-
recen desagregados por destreza u objetivo, ofrecien-
do así una visión detallada de lo que los alumnos son
capaces de hacer.
Simultáneamente, este modo de reportar presenta una
dificultad a la hora de ofrecer una visión global del
desempeño de los alumnos en el conjunto de la prue-
Figura 8
CHILE . Resultados nacionales 1991 – 1993 – 1995 – 1997
ASIGNATURA PORCENTAJE MEDIO DE RESPUESTAS CORRECTAS (PMRC)
1991 1993 1995 1997
Matemática 51,60 56,27 58,21 62,71
Castellano (*) 58,95 59,25 65,20
Historia y Geografía 52,93 56,73 59,64 64,04
Ciencias Naturales 50,95 54,55 58,87 62,01
(*) Se omite el resultado de este año porque incluye la prueba de Expresión Escrita. Por tanto, no es comparable con los años siguientes
Fuente: Ministerio de Educación, República de Chile, 1998. Reforma Educacional: Tarea de Todos. Resultados Prueba SIMCE 1997.
23
ba, o de los objetivos y destrezas de una disciplina.
Para resolverlo, tanto Costa Rica como Ecuador re-
curren por diversos caminos a una media de puntajes
brutos, al igual que los países mencionados en el
apartado anterior. En el caso de Costa Rica, se repor-
ta un puntaje promedio del conjunto de la prueba cal-
culado como porcentaje del puntaje total. Ecuador
utiliza una calificación sobre 20 puntos -que es la es-
cala que rige en el sistema para la evaluación de los
alumnos- que se construye, como en los casos ante-
riores, como un porcentaje promedio del puntaje to-
tal de la prueba.
Figura 9
COSTA RICA. Porcentaje de estudiantes que dominan cada objetivo por región. Sexto año.
Español. IIMEC-MEP. Octubre-noviembre. 1996
OBJETIVO MUESTRA CENTRAL BRUNCA CHOROTEGA HUETAR PACÍFICO HUETAR
NACIONAL NORTE CENTRAL ATLÁNTICA
1 69,9 72,0 67,5 60,6 75,0 65,1 64,2
2 69,9 87,8 87,6 78,8 85,3 80,2 85,5
3 93,7 95,5 91,6 85,0 92,6 92,5 90,5
4 81,4 83,4 76,7 76,3 82,4 81,6 72,6
5 67,5 69,6 71,3 51,3 70,6 64,9 62,6
6 78,7 80,9 76,9 66,3 75,0 77,9 77,1
7 93,6 95,2 91,0 86,3 88,2 93,6 92,7
8 91,7 93,8 88,6 85,6 90,4 89,5 85,5
9 93,9 65,1 92,9 85,6 91,1 91,3 97,1
10 61,0 63,8 58,7 48,1 55,1 56,4 58,1
11 78,4 84,1 66,9 63,1 72,8 75,0 65,4
12 81,4 84,2 77,8 62,5 80,1 81,4 75,4
13 94,5 95,9 91,6 88,8 94,1 90,7 95,0
14 80,1 83,7 80,8 64,4 74,3 77,3 71,5
Fuente: Ministerio de Educación Pública – Universidad de Costa Rica/Instituto de Investigaciones para el Mejoramiento de la Educación Costarricense
(IIMEC), Costa Rica, 1997. Informe Nacional sobre el Desarrollo, Validación y Aplicación de las pruebas de Diagnóstico de conocimientos.
Octubre-noviembre de 1996; pág. 39.
24
Figura 10
ECUADOR . Porcentaje nacional de alumnos por niveles de logro de las destrezas
de 3° matemática. APRENDO 1997
Fuente: Ministerio de Educación y Cultura, EB/PRODEC, Ecuador, 1998. Segunda Prueba Nacional “APRENDO 1997”. Resultados Nacionales; pág. 27.
La modalidad empleada por Uruguay para reportar sus
resultados no es idéntica a la utilizada en Ecuador y
Costa Rica, pero es similar en cuanto a que la métrica
o dato principal es el porcentaje de alumnos que al-
canzan un cierto estándar de rendimiento o categoría
de logro definido a priori y que no es meramente des-
criptivo sino que implica un juicio acerca del logro de
los alumnos.
En Uruguay esta categoría de logro es denominada “su-
ficiencia” y se establece para el conjunto de la prueba -
en este sentido es diferente a lo que hacen Ecuador y
Costa Rica- y para cada una de las tres grandes “com-
petencias” en que está estructurada cada prueba:
Comprensión de texto argumentativo, compren-
sión de texto narrativo y reflexiones sobre el Len-
guaje, en el caso de Lenguaje.
Comprensión de conceptos, aplicación de
algoritmos y resolución de problemas, en el caso
de Matemática.
2525
Cada competencia es evaluada mediante 5 a 12
ítemes. Para establecer la “suficiencia” se definen
“puntos de corte” en el puntaje bruto de las pruebas,
los que no están referidos únicamente a la distribu-
ción normal de la población sino al juicio experto de
especialistas y docentes acerca de lo que los alum-
nos deberían ser capaces de lograr al finalizar la edu-
cación primaria. Los ítemes con alto o bajo grado de
dificultad no son descartados, sino que se mantienen
en la medida que miden aprendizajes definidos como
fundamentales para un alumno que completa la edu-
cación primaria. A la luz de los resultados de la prue-
ba piloto y a partir de la opinión experta de jueces, se
seleccionan los ítemes de modo tal que, como míni-
mo, se espera que todos los alumnos respondan 14
14 Véase Administración Nacional de Educación Pública - Uruguay / Unidad
de Medición de Resultados Educativos. Evaluación Nacional de
Aprendizajes en Lengua y Matemática. 6to. año Enseñanza Primaria -
1999. Primer Informe; págs. 3 a 9.
ítemes sobre un total de 24 (lo que equivale a aproxi-
madamente el 60% del puntaje bruto total). Este es el
nivel de “suficiencia” para el conjunto de la prueba.
Algo similar se establece para cada competencia. Los
reportes están centrados en informar acerca del por-
centaje de alumnos que alcanzaron ese nivel de des-
empeño (ver figuras 11 y 12).
Al igual que en los casos de Chile y Argentina, Uru-
guay ha presentado sus resultados de 1999 en tablas
comparativas con los de mediciones anteriores. Las
pruebas empleadas en 1999 son formas equivalen-
tes de las utilizadas en 1996 y el procedimiento de
construcción de las mismas está descrito en el repor-
te público de resultados correspondiente a 199914.
Figura 11
URUGUAY. Resultados en Lengua y Matemática, Sexto Año,
por tramos de puntaje en 1996 y 1999
Porcentaje de alumnos: LENGUA MATEMÁTICA
1996 1999 1996 1999
Con desempeño altamente satisfactorio
(20-24 puntos) 15,8 14,0 6,8 9,0
Con desempeño satisfactorio
(14 -19 puntos) 41,3 47,3 27,8 31,8
SUFICIENTES 57,1 61,3 34,6 40,8
Con desempeño insatisfactorio
(7 - 13 puntos) 37,7 35,3 54,5 50,9
Con desempeño muy insatisfactorio
(0 - 6 puntos) 5,2 3,4 10,9 8,3
INSUFICIENTES 42,9 38,7 65,4 59,2
Totales 100,0 100,0 100,0 100,0
Fuente: Administración Nacional de Educación Pública - Uruguay / Unidad de Medición de Resultados Educativos. Evaluación Nacional de
Aprendizajes en Lengua y Matemática. 6to. año Enseñanza Primaria - 1999. Primer Informe; pág. 25.
Figura 12
URUGUAY. Variación de los resultados en lengua entre 1996 y 1999
según competencia (en porcentajes de alumnos suficientes)
Fuente: Administración Nacional de Educación Pública - Uruguay / Unidad de Medición de Resultados Educativos. Evaluación Nacional de Aprendizajes en
Lengua y Matemática. 6to. año Enseñanza Primaria - 1999. Primer Informe; pág. 27.
26
Una de las debilidades de los reportes de Uruguay es
que no están explícitamente fundamentadas las razo-
nes por las cuáles los puntos de corte son esos y no
otros, y qué es lo que se supone que marca la diferen-
cia, en términos de conocimientos y competencias,
entre un alumno “suficiente” y uno que no lo es15. Esta
debilidad es inherente a la Teoría Clásica de los tests16 ,
en que todos los ítemes tienen el mismo peso o valor
en el puntaje de la prueba, independientemente de su
dificultad o complejidad. Ello implica que dos alum-
nos que han alcanzado un mismo puntaje -por ejem-
plo, 15 puntos- no necesariamente tienen el mismo
nivel de competencia, porque uno puede haberlo he-
cho a través de la resolución de los ítemes más sim-
ples y el otro a través de los más complejos. Este tipo
de debilidades son las que permite resolver la Teoría
de Respuesta al Item, según se verá en el apartado
que sigue.
II.3. Puntajes estandarizados
Bolivia utiliza para la presentación de sus resultados
puntajes “estandarizados”, que en estadística son de-
nominados como puntajes “T” (columna ‘c’ de la figu-
ra 3). Se trata de una transformación matemática del
puntaje bruto de cada alumno a partir de la distribu-
ción de los puntajes brutos encontrada en la pobla-
ción. El puntaje asignado a cada individuo representa
así su distancia respecto a la media de la población,
en unidades de desviación estándar. Para ello, se em-
plea una media de 50 puntos y una desviación estándar
de 10 (figura 13). Eso significa que los puntajes 40 y
60 son los que corresponden a los alumnos que se
ubican a una desviación estándar por debajo o por
encima de la media nacional. Los alumnos por debajo
de 40 tuvieron resultados significativamente inferiores
a la mayoría, en tanto que aquéllos que están por en-
cima de 60 son quienes tuvieron resultados superio-
res a la mayoría del universo evaluado.
Este modo de reportar es similar al de los porcentajes
promedios de respuestas correctas empleado en Ar-
gentina, Chile y Paraguay, en cuanto su potencialidad
principal es la comparación de resultados entre indivi-
duos o grupos. La transformación a puntajes T permi-
te afinar estadísticamente esas comparaciones, pero
tiene como debilidad que es menos comprensible para
el público no especializado.
15 El establecimiento de «puntos de corte» para definir categorías de
desempeño nunca es una actividad «objetiva», sino sumamente compleja
y fuertemente «atada» a los puntos de vista de los expertos que participan
en la determinación de los mismos.
16 En el marco de la cual han trabajado hasta el momento la casi totalidad
de los países de la región.
Porcentaje de
alumnos suficientes
Diferencia de
Resultados entre 1999 y 1996
Margen de error muestral 1999
Intervalo de
Confianza de los resultados 1999
Rango de variación de los
resultados entre 1999 y 1996 según
intervalo de confianza
Comprensión de
texto argumentativo Comprensión de
texto narrativo Reflexiones sobre
el lenguaje
19991996 1996 1999 1996 1999
66,357,0 64,5 68,8 42,5 44,5
+ 9,3 +4,3 + 2,0
+/-3,0
63,3 a 69,3 65,8 a 71,8 41,5 a 47,5
+6,3 a +12,3 +1,3 a +7,3 -1,0 a +5,0
Figura 14
BOLIVIA. Tipificación del rendimiento
escolar por ámbito geográfico
Fuente: Ministerio de Desarrollo Humano - Secretaría de Educación -
SIMECAL; Bolivia, 1997. Rendimientos Escolares de 3
°
y 6
°
de
Educación Primaria en Lenguaje y Matemática y Factores
Asociados; pág. 55.
27
Figura 13
BOLIVIA. Rendimiento escolar promedio
nacional, 6° primaria, por área curricular y
ámbito geográfico
Fuente: Ministerio de Desarrollo Humano - Secretaría de Educación -
SIMECAL; Bolivia, 1997. Rendimientos Escolares de 3
°
y 6
°
de
Educación Primaria en Lenguaje y Matemática y
Factores Asociados; pág. 54.
En el reporte boliviano se establecen puntos de corte
en los 45 y 55 puntos de la escala estandarizada, y a
partir de los mismos se definen tres grandes catego-
rías de clasificación del desempeño de los alumnos:
Satisfactorio, cuando el alumno supera los 55 pun-
tos
Regular, cuando el puntaje del alumno se sitúa en-
tre 45 y el 55
Riesgo, cuando el alumno no alcanza los 45 puntos
Los reportes muestran luego el porcentaje de indivi-
duos (alumnos) en cada una de estas tres categorías
(figura 14). Sin embargo, debe tenerse presente que
esta clasificación no es absoluta sino relativa: riesgo
significa que un alumno está por debajo de la media
nacional y en la parte inferior de la distribución, pero
no dice nada acerca del nivel de logro de los objetivos
curriculares. Del mismo modo, satisfactorio indica que
el alumno está por encima del rendimiento de la ma-
yoría de los alumnos, pero no necesariamente implica
que haya alcanzado en forma satisfactoria los objeti-
vos curriculares. Es decir, se trata de un estándar rela-
tivo a la distribución poblacional, por lo que es
sustantivamente diferente al enfoque adoptado en
Costa Rica, Ecuador y Uruguay.
Esto aparece explícitamente señalado en el reporte del
SIMECAL: “un estudiante, aunque sea el mejor de to-
dos, no quiere decir que esté bien, que sepa lo que
debe saber, que conozca lo que debe conocer, que
sea suficiente lo que sabe” (SIMECAL 1997, p. 44).
Pero a pesar de esta advertencia, al definir las catego-
rías de rendimiento “en riesgo”, “intermedio” y “satis-
factorio”, el informe ignora esta debilidad. Por ejem-
plo, se define la categoría “en riesgo” de la siguiente
manera:
“Significa que los escolares han alcanzado menos de
la mitad de los objetivos educacionales, siendo un
aprovechamiento deficiente susceptible de diluirse u
olvidarse, en perjuicio de los siguientes aprendizajes
como base para el siguiente grado o ciclo” (p. 48).
Por otra parte, la alusión a “menos de la mitad” de los
objetivos educacionales es errónea, en la medida en
que el puntaje 50 no representa eso sino la media del
rendimiento del universo evaluado, que puede o no
corresponderse con la mitad de los objetivos evalua-
dos.
II.4. Teoría de Respuesta al Item
Brasil ha sido el primer país en la región en utilizar la
Teoría de Respuesta al Item (TRI) para la construcción
de los puntajes de sus evaluaciones nacionales (co-
28
17 “Esta medición marca una nueva etapa... Por primera vez la prueba SIMCE permite conocer qué saben y pueden hacer los alumnos. En años anteriores,
los resultados correspondían al porcentaje de preguntas que los alumnos respondían correctamente, sin considerar específicamente qué preguntas
fueron contestadas ni el nivel de exigencia de tales preguntas. El modelo aplicado en la prueba SIMCE 1999 asigna un mayor puntaje a las preguntas más
difíciles y uno menor a las que requieren menos conocimientos o destrezas. Por este motivo un puntaje superior a otro garantiza un mayor nivel de
aprendizaje. La entrega de los resultados de la prueba Simce 1999 Cuartos Básicos se acompaña de una descripción cualitativa de los conocimientos y
habilidades demostradas por los alumnos. Es decir, se describen niveles de desempeño que representan grados de competencia crecientes e inclusivos
en cada uno de los sectores evaluados”. Ministerio de Educación, Chile; http://www.mineduc.cl/simce/index.htm – 01/09/2000.
lumna ‘d’ de la figura 3). A partir de 1999 Chile17 y
Argentina han comenzado a reportar sus resultados
con este mismo modelo que, por otra parte, es el se
que emplea en los estudios internacionales. También
lo utiliza Perú, que ha publicado sus primeros resul-
tados en el año 2000.
La TRI es un modelo matemático que permite esti-
mar la capacidad de los individuos en una determi-
nada área o disciplina a partir del supuesto de que la
misma es unidimensional. Es decir: se asume, por
ejemplo, que existe en los alumnos una capacidad
para la Matemática que es la que determina la proba-
bilidad de que un alumno realice adecuadamente las
diferentes actividades que integran el banco de
ítemes.
La explicación detallada de la TRI excede largamente
los límites del presente trabajo, pero basta decir que
tiene algunas ventajas sobre el enfoque clásico:
Permite poner en una misma escala ítemes y alum-
nos.
Permite construir estimaciones más precisas de
los cambios en el tiempo mediante la equipara-
ción de las puntuaciones.
Permite estimar una medida de la capacidad de
los alumnos que tiene en cuenta la dificultad de
los ítemes; es decir, los ítemes más difíciles tienen
un peso mayor en la determinación del puntaje que
alcanza un individuo.
Los puntajes de TRI no tienen una métrica específi-
ca. Normalmente se toma arbitrariamente una media
de 250 puntos y desviación estándar de 50, o una
media de 500 puntos y una desviación estándar de
100. En el caso del SAEB brasileño, se emplea una
media de 250 puntos que corresponde a la media
nacional de 1997 de los alumnos de 8° (figura 15).
Como se puede apreciar en la figura, a partir de los
supuestos de la TRI es posible construir una única
escala de puntajes para poblaciones pertenecientes
a diferentes niveles de escolaridad; en el caso de Bra-
sil, 4° y 8° de Educación Básica y 3° de Educación
Media. Ello permite comparar las medias de
“proficiencia” en cada disciplina entre los diferentes
niveles del sistema educativo y regiones del país y
para diferentes años, colocando todos los niveles en
una misma tabla (figura 15).
Figura 15
BRASIL . Proficiencia media por grado en matemática. Brasil y regiones. 1997.
Fuente: Ministerio de Educación - Gobierno Federal. Instituto Nacional de Estudios e Investigaciones Educacionales (INEP);
http://www.inep.gov.br/saeb/saeb97/saeb97.htm. SAEB/97.Estudio Comparativo.
29
Al igual que en el caso de los puntajes estandarizados
empleados por Bolivia, uno de los problemas que
plantea el uso de la TRI es la dificultad para comuni-
car al público y a los docentes cómo se llega a la
determinación de los puntajes y qué es lo que éstos
significan, dado que implican un considerable nivel
de abstracción. Difícilmente tendrán significado para
el lector no especializado, mientras no exista una tra-
dición o cultura en torno a su interpretación.
Un modo de enfrentar esta dificultad, crecientemente
empleado en los estudios internacionales y en los re-
portes del NAEP en los Estados Unidos, es realizar
una clara descripción de lo que son capaces de ha-
cer los alumnos que se encuentran en ciertos puntos
de la escala de puntajes. En el caso del SAEB, se
establecen puntos de corte cada 75 puntos, se expli-
ca qué son capaces de hacer los alumnos en cada
uno de esos “niveles de proficiencia” (figura 16) y se
reporta el porcentaje de alumnos que alcanza o su-
pera cada nivel (figura 17). La descripción de estos
niveles se realiza a partir de los ítemes que logran
responder los individuos cuyo puntaje se ubica en
torno a uno de los puntos de corte y que no logran
responder los individuos cuyo puntaje se ubica en
torno al punto de corte anterior18,19.
Figura 16
BRASIL/SAEB 1997
Escala de proficiencia en matemática
Fuente: Ministerio de Educación - Gobierno Federal. Instituto Nacional de Estudios e Investigaciones Educacionales (INEP), Brasil, 1998; ¿Cómo está la
Educación Básica en Brasil?
18 En Argentina se hace algo similar, aunque empleando el enfoque de la Teoría Clásica para la construcción de los puntajes; véase al respecto el capítulo IV.
19 De todos modos debe tenerse presente que la descripción incluida en la columna de la izquierda refleja la dificultad de los ítemes pero no necesariamente
el proceso de adquisición de los aprendizajes seguido por los alumnos.
Ejemplos de desempeño NIVEL Resultados del SAEB/97
Los alumnos reconocen el valor de cédulas y monedas.
Leen la hora en relojes digitales y analógicos y saben que una hora tiene
60 minutos.
Resuelven problemas sencillos de adición y sustracción con números
naturales.
Los alumnos reconocen polígonos y cuadriláteros.
Establecen relaciones entre los valores de cédulas y monedas y resuelven
situaciones al pagar y recibir cambio, aunque todavía no saben operar con
decimales.
Son capaces de multiplicar y dividir, así como identificar unidades, decenas
y centenas.
Resuelven problemas que envuelven más de una operación.
Adicionan y substraen fracciones de un mismo denominador y conocen
números naturales en la forma fraccionaria.
Interpretan gráficos de barras y de sector e identifican el gráfico más
adecuado para representar una determinada situación.
Los alumnos clasifican sólidos geométricos en cuerpos redondos y poliedros.
Interpretan resultados de medidas de longitud, masa, tiempo y capacidad.
Identifican, comparan y ordenan números racionales (en las formas
fraccionaria y decimal) así como números enteros.
Interpretan lenguaje algebraico y resuelven ecuaciones y sistemas de
ecuaciones de primer grado.
Los alumnos resuelven problemas que envuelven punto, recta,
circunferencia y sus relaciones.
Establecen relaciones y hacen conversiones entre fracciones ordinarias y
números decimales.
Resuelven problemas que envuelven ecuaciones e inecuaciones sencillas
de primer y segundo grado y sistemas de primer grado.
Conocen los principios básicos de polinomios y efectúan operaciones
elementales entre ellos.
Conocen las propiedades básicas de exponentes y logaritmos.
175
250
325
400
En el nivel 175 o arriba de él se encuentran:
56% de los alumnos del 4° grado de la Enseñanza Fundamental;
95% de los alumnos del 8° grado de la Enseñanza Fundamental;
100% de los alumnos del 3er. grado de la Enseñanza Media.
En el nivel 250 o arriba de él se encuentran:
11% de los alumnos del 4° grado de la Enseñanza Fundamental;
48% de los alumnos del 8° grado de la Enseñanza Fundamental;
87% de los alumnos del 3er. grado de la Enseñanza Media.
En el nivel 325 o arriba de él se encuentran:
8% de los alumnos del 8° grado de la Enseñanza Fundamental;
32% de los alumnos del 3er. grado de la Enseñanza Media.
En el nivel 400 o arriba de él se encuentran:
5% de los alumnos del 3er. grado de la Enseñanza Media
Observación: Los niveles 325 y 400 muestran el dominio de habilidades y
contenidos más complejos que no corresponden al 4° grado de la Ense-
ñanza Fundamental. Es por ello que no se presentan resultados para los
alumnos de este grado.
30
Figura 17
BRASIL - SAEB 1997
Porcentajes de alumnos según niveles de proficiencia en Matemática
Fuente: Ministerio de Educación - Gobierno Federal. Instituto Nacional de Estudios e Investigaciones Educacionales (INEP). SAEB 97 - Primeros Resultados.
En los estudios internacionales, este modo de repor-
tar es empleado de manera estrictamente descripti-
va; es decir, se describe lo que los alumnos son ca-
paces de hacer en cada tramo de la escala, pero no
se responde a la pregunta del público: ¿es eso lo que
deberían saber, es más o es menos?, ¿estamos bien,
regular o mal? Obviamente, quedarse en un plano
descriptivo es adecuado para los estudios interna-
cionales, dado que sería casi imposible acordar cri-
terios de desempeño adecuado comunes a todos los
países. Sin embargo, esta tarea sí parece necesaria a
nivel nacional. El SAEB ha afrontado este desafío de
la siguiente manera: a partir de los resultados des-
criptivos de lo que son capaces de hacer los alum-
nos que se encuentran en diferentes puntos de la
escala, grupos de especialistas definen en qué mo-
mento de la escolaridad los alumnos deberían haber
alcanzado cada uno de estos niveles, con lo cual se
establece un criterio de valoración contra el cuál es
posible responder las preguntas especificadas en el
párrafo anterior (figura 18).
31
Figura 18
BRASIL. Relación entre niveles de proficiencia y ciclos de los niveles de enseñanza
Fuente: Ministerio de Educación - Gobierno Federal. Instituto Nacional de Estudios e Investigaciones Educacionales (INEP). SAEB 97 - Primeros Resultados.
Matemática
Ciclo y nivel de
enseñanza
No significativo
Hacia la mitad del 1er.
ciclo de la Enseñanza
Fundamental
Hacia el final del 1er.
ciclo de la Enseñanza
Fundamental
Hacia el final del 2do.
ciclo de la Enseñanza
Fundamental
Hacia el final de la
Enseñanza Media
Lengua Portuguesa
Ciclo y nivel de
enseñanza
Hacia la mitad del 1er.
ciclo de la Enseñanza
Fundamental
Hacia el final del 1er.
ciclo de la Enseñanza
Fundamental
Hacia el final del 2do.
ciclo de la Enseñanza
Fundamental
Hacia el final de la
Enseñanza Media
Después del final de la
Enseñanza Media
Ciencias
(Física, Química y Biología)
Ciclo y nivel de enseñanza
Hacia la mitad del 1er.
ciclo de la Enseñanza
Fundamental
Hacia el final del 1er.
ciclo de la Enseñanza
Fundamental
Hacia la mitad del 2do.
ciclo de la Enseñanza
Fundamental
Hacia el final del 2do. ciclo de la
Enseñanza Fundamental
Hacia el final de la
Enseñanza Media
Nivel de
proficiencia - escala
SAEB/97
100
175
250
325
400
En otras palabras, el lector puede comparar el nivel
de la escolaridad en que se supone que los alumnos
deberían haber alcanzado un cierto nivel de puntaje o
de “proficiencia”, con la proporción de los alumnos
de dicho nivel de enseñanza que efectivamente lo han
hecho. Al respecto es preciso observar -y el informe
del SAEB lo indica explícitamente- que en el caso de
Brasil esta tarea es sumamente compleja en virtud
de la diversidad curricular existente en el país. Ideal-
mente este tipo de niveles de “proficiencia” o de des-
empeño se deberían poder establecer a partir de una
currícula específica y no como mínimo común deno-
minador de varias diferentes.
De todas maneras, este modo de reportar es proba-
blemente una de las formas más efectivas de brindar
información, dado que permite al lector atribuir algún
sentido a la escala de puntajes en términos de qué
son capaces de hacer los estudiantes que han alcan-
zado cada nivel de la misma y establecer una valora-
ción acerca de la situación.
II.5. Calificaciones
La transformación de los datos recogidos en las eva-
luaciones en calificaciones asimiladas a la escala que
se utiliza usualmente para calificar a los alumnos en
el sistema educativo, es una práctica que se justifica
con el argumento de que padres y educadores están
acostumbrados a las calificaciones: “Esta calificación
tiene un significado genérico y, a la vez, limitado, pues
no provee información respecto a qué destreza fue
mejor o peor dominada por el alumno de un año, que
es el asunto que efectivamente importa en las medi-
ciones de ‘APRENDO’. Este Informe presenta, sin
embargo, las mencionadas calificaciones porque son
de uso común en la educación nacional” (Ministerio
de Educación y Cultura del Ecuador - EB/PRODEC,
1998)
Sin embargo, puede generar algunas confusiones
sobre las que conviene alertar. La primera y más ob-
via es, justamente, la de asimilar los resultados de
evaluaciones a las calificaciones de uso habitual en
el sistema, cuando su sentido y significado es com-
pletamente diferente. Por tanto, más bien habría que
trabajar en la dirección de ayudar a comprender que
se trata de evaluaciones diferentes, que no tienen fi-
nes de acreditación y que no son comparables a las
que realizan los maestros en el aula.
Por otro lado, en la mayoría de los países en que no
32
se establecen criterios o estándares de logro, el uso
de la calificación favorece la imagen de que se trata
de un resultado valorativo acerca de lo que el siste-
ma educativo o una determinada región están logran-
do (por definición, las calificaciones tienen un punto
de corte que implican un aprobado y un desaproba-
do). Esta interpretación es completamente inadecua-
da cuando la calificación se establece como una trans-
formación matemática de la media de puntajes bru-
tos o del porcentaje promedio de respuestas correc-
tas, a partir de pruebas en que los ítemes han sido
seleccionados en función de que su dificultad media
se ubique entre .30 y .80. Como ya se indicó, cuando
las pruebas han sido diseñadas de esta manera sus
resultados sólo deben ser interpretados en términos
comparativos, evitando cualquier interpretación en
términos de alumnos reprobados o de aprobación/
reprobación de la labor del sistema educativo o de
determinada gestión.
II. 6. Resultados descriptivos o estándares de lo-
gro: ¿qué es lo que el público y los docentes
quieren saber?
A lo largo de este capítulo se ha podido apreciar que,
detrás de las métricas o “tipos de datos” con que
se presentan los resultados de las evaluaciones
nacionales de aprendizajes, hay implicancias y sig-
nificados diversos en los que es preciso formar a
la opinión pública y a los docentes, de modo que
puedan hacer usos e interpretaciones adecuadas
de los datos.
La disyuntiva principal que esto implica es la
siguiente:
limitarse a describir lo que los alumnos logran ha-
cer en función de las tareas propuestas y a esta-
blecer comparaciones entre diferentes sectores del
sistema educativo o entre años, para establecer
conclusiones del tipo “los logros en Lenguaje son
mejores en las escuelas urbanas que en las rura-
les, o en tal provincia respecto a tal otra”, o “los
resultados en Matemática han mejorado -o han
empeorado- con respecto a dos años atrás”; o
establecer estándares o criterios acerca de cuá-
les son los desempeños esperables y exigibles a
todos los alumnos cuando culminan cierto grado
o nivel de la escolaridad, lo que permite, además
del tipo de conclusiones indicadas en ‘a.’, otras
del tipo “tal proporción de los estudiantes no al-
canzan los niveles de desempeño esperados en
lectura en 3er grado”, o “tal proporción de los es-
tudiantes domina el objetivo o contenido ‘x’ de
Matemática en 6° grado”.
No cabe duda de que las conclusiones del primer tipo
son útiles, fundamentalmente en términos de obte-
ner una visión de las inequidades existentes al inte-
rior del sistema educativo y de la evolución de los
resultados a lo largo del tiempo. Sin embargo, las
expectativas de la opinión pública y de las familias, y
el modo en que tienden a interpretar los resultados,
parecen estar demandando conclusiones del segun-
do tipo. Asimismo, conclusiones de este último tenor
probablemente tengan un efecto más fuerte sobre los
docentes, en términos de darles una señal acerca de
qué es lo que se espera que todos los alumnos se-
pan y sean capaces de hacer al cabo de cada grado
o ciclo de enseñanza.
Esto último requiere un considerable esfuerzo para
traducir el currículum -que normalmente en nuestros
países está formulado en términos bastante genera-
les- en especificaciones más claras y precisas del tipo
de desempeños que se espera de los alumnos, e in-
corporar metodologías específicas para el estableci-
miento de estándares sobre los niveles de logro a al-
canzar al cabo de ciertos grados o ciclos de aprendi-
zaje. En países en que no existe un currículum nacio-
nal común, obviamente la tarea implicará un esfuerzo
de construcción de consensos acerca de qué es lo
exigible para todos.
33
Capítulo III.
COMPARANDO LO INCOMPARABLE:
LA PARÁBOLA DE LAS CARRETERAS
III.1 Modos típicos de desagregar la información
en los reportes nacionales
Una de las debilidades principales de los reportes de
resultados de las evaluaciones nacionales en los paí-
ses de la región es la falta de contextualización
sociocultural de dichos resultados. En prácticamente
todos los países se reporta en función de los siguien-
tes niveles de desagregación (ver figuras 4, 5, 6, 9,
13, 14, 15 y 17):
Resultados según las divisiones políticas y/o geo-
gráficas del país (por estado, provincia, departa-
mento, región).
Resultados de escuelas urbanas y rurales.
Resultados según forma de administración (escue-
las públicas o fiscales, escuelas subvencionadas,
escuelas particulares o privadas).
Estos niveles de desagregación, que responden a
las diferenciaciones más “visibles” de los siste-
mas educativos en subsistemas, son relevantes
en la medida en que permiten ver las diferencias
en el logro de los alumnos entre dichos
subsistemas y presentan a la luz pública ciertas
inequidades en la distribución de los conocimien-
tos. Sin embargo, el hecho de que sean práctica-
mente las únicas formas de desagregación de los
datos implica una sobresimplificación de la reali-
dad, en la medida en que ocurren dos fenómenos:
Algunos de estos agregados incluyen en su inte-
rior enormes heterogeneidades. Por ejemplo, el
agregado “escuelas urbanas” incluye toda la gama
de situaciones socioculturales, desde escuelas de
sectores medios y altos hasta escuelas en barrios
marginales. Lo mismo ocurre con la mayoría de
las “jurisdicciones” políticas o regiones geográfi-
cas en que se divide un país.
En otros casos, los agregados seleccionan a su
alumnado mayoritariamente de ciertos sectores
sociales y no tienen una población representantiva
del conjunto: típicamente las escuelas rurales, que
trabajan con un alumnado proveniente de familias
con mínima trayectoria en el sistema educativo, y
las escuelas privadas, que mayoritariamente
reclutan su alumnado en los sectores sociales
medios y altos.
El problema se plantea cuando de estas formas de
desagregación de los resultados se derivan juicios o
conclusiones acerca de la eficacia diferencial de unos
y otros tipos de escuelas o jurisdicciones, y también
cuando los datos no van acompañados por algún tipo
de análisis que oriente al lector o al decisor en las
interpretaciones válidas de la información. En gene-
ral, según lo demuestra abundante investigación
empírica, las diferencias de resultados obedecen
principalmente a las diferencias socioculturales
entre las poblaciones con las que trabajan los di-
ferentes sectores o instituciones del sistema edu-
cativo, antes que a diferencias en su eficacia pe-
dagógica. Lo anterior no implica afirmar que todas
las diferencias de resultados se puedan explicar por
diferencias en el contexto social, sino que para hacer
afirmaciones válidas respecto a la “eficacia” pedagó-
gica es imprescindible haber controlado el efecto del
contexto sociocultural.
III.2. La parábola de las carreteras
Para explicar mejor este problema resulta útil recurrir
a la siguiente metáfora. En la República Argentina hay
una carretera denominada la “ruta del desierto”. Es la
Ruta Nacional N°20, en la provincia de La Pampa,
que cruza la provincia en dirección este-oeste. El pai-
saje es semidesértico, pedregoso, con arbustos y ab-
solutamente llano. La ruta tiene más de 200 kilóme-
tros en línea recta, sin una curva ni una loma. El ma-
yor peligro en esta ruta es la monotonía del paisaje,
que hace que el conductor pueda dormirse en el vo-
lante. Por este motivo, a lo largo de la ruta se advierte
la necesidad de descansar y se han ubicado cada 60
kilómetros sitios de descanso, pequeños oasis con
árboles, sombra y agua.
En Argentina hay otra ruta, la N°40, que atraviesa el
país en dirección sur-norte siguiendo la precordillera.
Recorre desde Tierra del Fuego en el extremo sur del
país hasta la Quebrada de Humauaca en el norte, en
el límite con Bolivia. La ruta 40 sube y baja, atraviesa
valles y montañas, diversidad de paisajes y terrenos.
Suponga el lector que el Ministerio de Obras Públi-
cas ha licitado la construcción de estas dos rutas, ha
concedido la construcción a distintas empresas y
quiere evaluar la eficiencia de cada empresa, con el
fin de utilizar esta información como elemento de
decisión en futuras concesiones de obras públicas.
Para ello, la División de Información del Ministerio di-
seña indicadores de eficacia y eficiencia: la cantidad
de kilómetros de carretera por unidad de tiempo -por
ejemplo, por día o por semana- que ha avanzado cada
empresa; o el costo de cada empresa por kilómetro
de carretera construida. Luego recoge la información
y entrega los resultados al Ministro.
34
Supongamos que el Ministro de Obras Públicas toma
decisiones a partir de esta información. Probablemen-
te se verá en problemas. Como resulta obvio, en apa-
riencia la empresa A, que construyó la ruta 20, apare-
cerá como más eficiente que la empresa B, que cons-
truyó la ruta 40. Sin embargo, mientras la primera sim-
plemente despejó el terreno, pasó las máquinas nive-
ladoras en línea recta y en horizontal y colocó el ma-
terial bituminoso, la segunda debió dinamitar partes
de montaña, construir terraplenes, hacer puentes para
sortear cursos de agua, calcular el trazado de las cur-
vas, construir tramos en subida y en bajada, etc.
Por tanto, en realidad el Ministro no sabe nada sobre
cuál de estas empresas es mejor. Por el contrario, la
información que posee sirve de poco para ese objeti-
vo. Supóngase que, además, el Ministro tiene infor-
mación sobre el tipo de tecnología utilizada por cada
empresa, por lo cual concluye que la tecnología utili-
zada por la empresa A es más eficiente que la utiliza-
da por la empresa B. Si todos estos análisis se reali-
zan sin tener en cuenta el terreno en el que cada em-
presa ha debido trabajar, de nada sirven los
indicadores que se construyan.
En educación pasa algo muy similar. La labor edu-
cativa no se desarrolla en el vacío ni con un
alumnado homogéneo. Los individuos llegan a la
institución educativa en condiciones absolutamen-
te diferentes para recibir y aprovechar el trabajo
de los educadores. Unos llegan luego de una prime-
ra infancia vivida con infinidad de estímulos visuales
y afectivos, en el marco de un hogar en el que
cotidianamente se habla un lenguaje complejo, en el
que se lee habitualmente y se le enseñó a reconocer
el alfabeto aún antes de conocerlo en la escuela. Otros
llegan luego de una primera infancia vivida en hoga-
res en los que existen escasos estímulos visuales,
donde el lenguaje es más simple, las prácticas de leer
y escribir sólo ocurren excepcionalmente, los padres
apenas completaron la escuela y no tienen una no-
ción acabada del tipo de ayuda a brindar a su hijo en
sus labores escolares. Unas escuelas trabajan con
alumnos que se alimentan adecuadamente, tienen un
espacio propio en su vivienda y salen de vacaciones
todos los años. Otras trabajan con alumnos que se
alimentan mal, que viven en condiciones de hacina-
miento y colecho y que nunca han viajado más allá
de 5 kilómetros de su vivienda. Unos estados o pro-
vincias trabajan con población altamente alfabetizada
y en un contexto de crecimiento económico, en tanto
otros lo hacen con poblaciones con tasas importan-
tes de adultos analfabetos, de familias en condición
de pobreza extrema.
Los “terrenos” son absolutamente diferentes. Unas
trabajan en la llanura y en línea recta y otras deben
sortear infinidad de dificultades. Por tanto, cualquier
análisis de resultados o indicadores educativos
que no tenga en cuenta las características del
alumnado, resulta de escaso valor para la toma
de decisiones o para extraer algún tipo de conclu-
sión válida que pretenda ir más allá de la mera des-
cripción de que las diferencias existen.
Sin embargo, en el presente, la enorme mayoría de
los informes nacionales e internacionales de resulta-
dos educativos tratan de la misma manera a quienes
construyen una ruta en línea recta que a quienes tra-
bajan en la precordillera. Algo similar ocurre con el
modo que normalmente los economistas interpretan
la repetición y la extraedad: como ineficiencia del sis-
tema educativo. En realidad indican que el terreno es
más complicado, por lo que construir allí lleva más
tiempo.
III.3. Algunos ejemplos de conclusiones
inapropiadas
A continuación se transcriben algunos párrafos de los
reportes nacionales que ilustran el problema de la in-
terpretación inadecuada o sobresimplificada de los
resultados, en la medida en que inducen al lector a
extraer conclusiones acerca de la efectividad de la
enseñanza en los agregados descritos, sin advertir la
incidencia de la diferenciación sociocultural de las po-
blaciones de dichos agregados.
“En ambos regímenes escolares, en los tres años
y en todas las destrezas evaluadas, los planteles
particulares urbanos superan en porcentajes de do-
minio a los fiscales urbanos y éstos a los rurales. El
análisis de varianza demuestra y puntualiza que,
en tercero y séptimo años, la ventaja de los plan-
teles particulares urbanos sobre los fiscales urba-
nos y de éstos sobre los rurales es estadísticamente
significativa. En el caso de décimo año, no hay di-
ferencia significativa entre fiscales y rurales; pero
los particulares sí tienen una ventaja significativa
frente a los otros dos” Ministerio de Educación y
Cultura del Ecuador - EB/PRODEC, (1998).
“...en cualquier grado o disciplina evaluados por el
SAEB/97, las medias de proficiencia de la zona ur-
bana son siempre superiores a las de la zona rural.
Por otro lado, los alumnos de la zona rural de la
región Nordeste presentan siempre las menores
medias... Los alumnos de la red particular de en-
señanza, en todos los grados, disciplinas y regio-
nes, presentan proficiencias más elevadas que los
alumnos de la red pública (estatal o municipal)...”
Ministerio de Educación - Gobierno Federal. INEP,
1998.
35
En realidad, las afirmaciones transcritas en los párra-
fos anteriores son todas estrictamente ciertas y se
limitan a describir datos empíricos. Sin embargo, plan-
teadas así, inducen a concluir que las escuelas priva-
das son mejores o más efectivas que las públicas ur-
banas y éstas que las rurales. A nadie debiera extra-
ñar que la prensa titulara de esa manera la informa-
ción sobre los resultados de la evaluación nacional.
A modo de ilustración de cómo cambia la lectura de
los datos al introducir la consideración del contexto
sociocultural, en la figura 19 se incluyen varios
“rankings” de resultados por tipo de escuela cons-
truidos a partir de los datos de Uruguay. En la colum-
na grisada se consigna el ranking resultante de con-
siderar los resultados globales de cada agregado, sin
considerar el tipo de alumnado con que trabajan. Al
igual que en el resto de los países de la región, las
escuelas privadas tienen resultados notoriamente su-
periores a las escuelas públicas urbanas y éstas res-
pecto a las rurales. Sin embargo, en las columnas si-
guientes se presentan los “rankings” que resultan de
comparar a las escuelas controlando el tipo de
alumnado con que trabajan. En la columna corres-
pondiente al “contexto muy favorable”, es decir, aque-
llas escuelas que atienden a los sectores más favore-
cidos de la sociedad, las escuelas privadas de la ca-
pital del país siguen teniendo mejores resultados que
las públicas, pero la diferencia se acortó de 24 pun-
tos porcentuales a sólo 5,4. Las escuelas privadas
del interior pasaron a estar en el tercer lugar. Las es-
cuelas rurales no aparecen en esta columna porque,
como es obvio, no hay escuelas rurales que atiendan
a población altamente favorecida.
Figura 19
URUGUAY. Un “ranking” cambiante en función del contexto sociocultural de las
escuelas. Porcentajes de alumnos suficientes en Matemática
Fuente: ANEP, Unidad de Medición de Resultados Educativos, Uruguay, 1997. Evaluación Nacional de Aprendizajes en Lengua y Matemática.
6
°
año de Educación Primaria - 1996. Segundo Informe de Difusión de Resultados.
Global
Privadas Capital
61,2%
Privadas Interior
47,1%
Públicas Capital
35,3%
Público Int. Urbano
27,9%
Rurales
19,4%
Contexto
Muy Favorable
Privadas Capital
71,2 %
Públicas Capital
65,8%
Privadas Interior
61,1%
Público Int. Urbano
45,8%
Contexto
Favorable
Público Int. Urbano
48,0%
Públicas Capital
46,4%
Privadas Interior
44,4%
Privadas Capital
41,6%
Orden
Contexto
Desfavorable
Rurales
32,1%
Privadas Interior
29,2%
Público Int. Urbano
24,3%
Públicas Capital
23,2%
Privadas Capital
15,4%
Cuando se pasa a la siguiente columna, que corres-
ponde ya no a las escuelas de los sectores más favore-
cidos sino a las de sectores de clase media o media-
alta, las escuelas públicas exhiben mejores resultados
que las privadas, tanto en la capital como en el interior
del país. Tampoco existen escuelas rurales en este sec-
tor. Finalmente, cuando se comparan los resultados en-
tre las escuelas que atienden a sectores desfavorecidos
de la población, se constata que en realidad las escue-
las rurales son “mejores” que las restantes.
La evidencia acumulada en el mundo acerca de la
importancia del contexto sociocultural en la prepara-
ción de los niños para las exigencias del aprendizaje
escolar y su incidencia en los resultados es abundan-
te20. Por tanto, reportar diferencias entre provincias,
regiones o tipos de escuela sin analizar las poblacio-
nes con que trabajan, equivale a informar al Ministro
de Obras Públicas sobre la “eficacia” de las empre-
sas constructoras de carreteras sin tomar en consi-
deración el tipo de terreno en que cada una de ellas
desarrolló su trabajo. ¿Pueden los padres y las auto-
ridades tomar decisiones o formular políticas a partir
20 Simplemente por citar un estudio abarcativo a nivel internacional, el
TIMSS muestra que «un factor es consistente a través de todas las
pruebas TIMSS en todos los grados. En cada país participante, los hijos
de padres con educación universitaria promedialmente superaron a los
hijos de padres cuya educación terminó con la secundaria, y los hijos de
padres cuya educación terminó en la secundaria, a su vez superaron a
los chicos cuyos pares no completaron la secundaria. Es también cierto
que a los estudiantes que tiene un hogar educativamente rico, con
muchos libros, calculadoras y espacio para estudiar les va mejor en la
escuela que aquellos que no lo tienen» BEATON, A., 1999. En inglés en
el original. Es llamativo que el propio TIMSS no utiliza las diferencias
socioculturales entre los países para complejizar la construcción de
ranking de resultados.
36
de los datos así presentados? ¿No sería conveniente
advertir al usuario que unos maestros están constru-
yendo en la llanura y en línea recta, mientras otros lo
hacen en la precordillera?
Otro ejemplo ilustrativo de conclusiones inapropiadas,
en el cual no sólo hay un problema de omisión de la
consideración del contexto al reportar resultados des-
criptivos de los agregados, sino que además se for-
mulan explícitamente conclusiones respecto a la efi-
cacia diferencial de los sistemas educativos de las
diferentes regiones, aparece en el SAEB/97.
“Los mayores porcentajes de alumnos de cuarto gra-
do por encima de ese nivel (175 puntos en Matemáti-
ca) se encuentran en las regiones Sur y Sureste, indi-
cando la mayor efectividad de la enseñanza en
esas regiones que en las demás y siendo un claro
ejemplo de las desigualdades regionales brasileras”.
“Los resultados del SAEB/97 sobre la proficiencia de
los alumnos apuntan, en síntesis, a la existencia de
dos tipos de problemas relacionados con la calidad
del aprendizaje en nuestro país: el primero está referi-
do a la gran heterogeneidad de resultados de des-
empeño existente entre los sistemas estaduales de
enseñanza, que parece ser un factor de desigualdad
más que de simple diferenciación, en la medida en
que la dimensión de las diferencias significa, para los
alumnos que presentan desempeños más bajos, una
oferta de oportunidades de aprendizaje menos
efectiva que aquellas proporcionadas a los alum-
nos que presentan desempeños más altos Minis-
terio de Educación - Gobierno Federal. INEP, 1998.
Cualquier lector medianamente informado sabe que
los estados del nordeste brasileño son los más pobres
y menos alfabetizados. Por el contrario, los del sur son
los que tienen un mayor desarrollo económico y cultu-
ral. Por tanto, si bien es relevante mostrar que los ni-
ños y jóvenes que viven en los primeros están en clara
desventaja frente a los segundos, y que existe una fuer-
te inequidad, es delicado atribuir esas diferencias a la
efectividad de los sistemas de enseñanza, de las
currículas o del trabajo de los educadores.
Cabe destacar que tanto en los informes de Ecuador
como en los del SAEB se identifica la existencia de
una asociación importante entre las características de
las familias de origen de los estudiantes y los resulta-
dos alcanzados. Por ejemplo, en el caso del SAEB/
97 se indica:
“...existe una tendencia de crecimiento de las medias
de proficiencia de los alumnos a medida que se eleva
el grado de escolarización del padre y de la madre, en
todos los grados, disciplinas y en las tres redes de
enseñanza... esos resultados reafirman el vínculo que
existe entre la escolaridad de los padres, que refleja
en gran medida las condiciones socioeconómicas de
la familia, y la proficiencia de los alumnos” Ministerio
de Educación - Gobierno Federal. INEP, 1998.
El problema es que los diferentes datos no se conec-
tan entre sí. Se analiza por un lado los resultados por
jurisdicción, área geográfica y/o tipo de escuela, y por
otro lado la relación de los mismos con el origen so-
cial de los estudiantes. Falta aún dar el paso de
interrelacionar estas informaciones, complejizar
el análisis y la presentación de los datos, advertir
al usuario de estas complejidades y cuidados en
la interpretación, buscar modos para establecer
comparaciones entre sectores del sistema edu-
cativo que trabajan en “terrenos” similares para
poder formular conclusiones válidas respecto a la
efectividad de los distintos tipos de escuela,
currículas o sistemas de enseñanza.
El tratamiento de los resultados de las evaluaciones
nacionales sin una adecuada consideración del con-
texto social y el tipo de alumnado con que trabajan
las escuelas es más grave cuando las evaluaciones
tienen implicancias fuertes para las escuelas, como
ha ocurrido en el caso de Chile. En el reporte de los
resultados nacionales correspondientes a 8° Básico
evaluados en el año 1995, se publica la lista de los 20
mejores establecimientos del país, que son aquellos
que tienen los puntajes promedios más altos. De ellos,
19 son colegios privados, 12 están ubicados en los
barrios acomodados de Providencia y Las Condes,
en la capital del país (ver figura 20).
En el mismo informe se construye una clasificación
de los establecimientos por “nivel socioeconómico”,
con tres categorías (A, B y C) en función del gasto
educacional promedio mensual y del nivel de educa-
ción de los padres de los alumnos. Los resultados de
las pruebas se ordenan perfectamente de acuerdo a
estas categorías de nivel socioeconómico en todas
las asignaturas (figura 21). Por otra parte, la distribu-
ción de los tipos de colegios según su nivel
socioeconómico muestra claramente que los colegios
privados pertenecen a las categorías A y B, en tanto
que la enorme mayoría de los colegios municipales
pertenece a la categoría C (figura 22). Sin embargo, a
pesar de estas constataciones, toda la presentación
de los resultados está casi exclusivamente centrada
en la comparación entre los puntajes promedio
globales de establecimientos municipales, subvencio-
nados y particulares pagados21.
21 En otros informes en la prensa se reporta un índice de vulnerabilidad,
pero no los resultados de cada conjunto de establecimientos según las
categorías de ese índice. Es decir, la escuela puede saber a qué
categorías pertenece, pero no cuál fue el resultado del conjunto de las
escuelas de esa categoría.
37
Figura 20
CHILE. Establecimientos con los veinte promedios nacionales
más altos en matemática y castellano
N°DEPTO.
ORDEN DEPENDENCIA PROVINCIAL COMUNA ESTABLECIMIENTO
1 Particular pagado Cautín Villarrica Colegio Alemán
2 Municipal Santiago Oriente Providencia Liceo Carmela Carvajal de Prat
3 Particular pagado Talca Constitución Colegio Constitución
4 Particular pagado Santiago Oriente Las Condes Anglo American International
5 Particular pagado Santiago Oriente Vitacura Colegio Los Andes
6 Particular pagado Santiago Oriente Las Condes Colegio Cumbres
7 Particular pagado Santiago Oriente Las Condes Colegio La Girouette
8 Particular pagado Elqui La Serena Colegio La Serena
9 Particular pagado Valparaíso Valparaíso Seminario San Rafael
10 Particular pagado Valparaíso Viña del Mar Seminario San Rafael
11 Particular pagado Santiago Oriente Las Condes Colegio La Abadía
12 Particular pagado Santiago Oriente Las Condes Colegio Nuestra Señora del Pilar
13 Particular pagado Santiago Oriente Providencia Saint Gabriel´s English School
14 Particular pagado Santiago Oriente Las Condes Villa María Academy
15 Particular pagado Santiago Oriente Las Condes Colegio del Sagrado Corazón
16 Particular pagado Santiago Oriente Providencia Saint Gabriel´s English School
17 Particular pagado Santiago Oriente La Reina Nuestra Señora del Camino
18 Particular pagado Santiago Oriente Providencia Colegio Huelén
19 Particular pagado Osorno Osorno Instituto Alemán de Osorno
20 Particular pagado Santiago Oriente Providencia Colegio St. Thomas Morus
Fuente: República de Chile, Ministerio de Educación, SIMCE, 1996. Resultados 95 - 8
°
año Básico.
Figura 21
CHILE. Resultados nacionales por nivel socioeconómico
Nivel socioeconómico del establecimiento
A B C
MATEMÁTICA 76,91 62,94 53,03
CASTELLANO 74,11 63,62 54,83
HISTORIA Y GEOGRAFÍA 73,64 63,49 55,66
CIENCIAS NATURALES 74,89 62,59 54,66
Fuente: República de Chile, Ministerio de Educación, SIMCE, 1996. Resultados 95 - 8
°
año Básico.
Figura 22
CHILE. Distribución de los establecimientos por nivel socioeconómico
según tipo de administración
Nivel socioeconómico Particular Pagado Subvencionado Municipal
Cantidad Porcentaje Cantidad Porcentaje Cantidad Porcentaje
A287 60,4 66 4,9 80,3
B188 39,6 517 38,5 342 12.3
C00,0 759 56,6 2434 87,4
Total 475 100,0 1342 100,0 2784 100,0
Fuente: República de Chile, Ministerio de Educación, SIMCE, 1996. Resultados 95 - 8
°
año Básico.
38
En el caso chileno, esta debilidad en la presentación
de los resultados se subsana en parte desde la medi-
ción de 1997, en la que se incorpora el dato del avan-
ce de cada establecimiento respecto a su propio re-
sultado en 1995 (véase la figura 26 en el capítulo IV).
Esto resulta mucho más apropiado que la compara-
ción con los resultados brutos de otros establecimien-
tos que, en general, trabajan con poblaciones muy
diferentes.
III.4. La consideración del contexto sociocultural
Así como la manera válida de construir indicadores
comparativos de la eficiencia de las empresas cons-
tructoras de carreteras sería medir su tasa de avance
sobre terrenos similares, la única manera válida de
construir indicadores que sirvan para sustentar
afirmaciones o decisiones sobre la efectividad de
las instituciones o sistemas educativos es a tra-
vés de algún tipo de categorización de los “terre-
nos” en que trabajan, es decir, de las característi-
cas socioculturales de los hogares de los que pro-
vienen sus alumnos.
Un ejemplo que ilustra uno de los caminos posibles
para abordar este desafío es la construcción de cate-
gorías de “contexto sociocultural de las escuelas”,
con la finalidad de comparar los resultados al interior
de categorías similares. La constatación de que el
ordenamiento de los resultados de las pruebas en los
diferentes tipos de escuela siguen el mismo ordena-
miento que los indicadores sociales (figura 23), dio
lugar en Uruguay a una clasificación de los estableci-
mientos educativos en cinco categorías según su
“contexto sociocultural”: ‘muy favorable’, ‘favorable’,
‘medio’, ‘desfavorable’ y ‘muy desfavorable’. Esta
categorización fue construida a partir de dos índices:
uno de carácter cultural, elaborado a partir de los ni-
veles educativos de los hogares de los alumnos, y
otro de carácter económico, elaborado a partir de los
niveles de equipamiento de dichos hogares.
A partir de esta construcción, los resultados se apo-
yan en la presentación conjunta de resultados de lo-
gro e indicadores sociales, como en la figura 23, o
controlando el contexto sociocultural, como en la fi-
gura 19. Es decir, mostrando los resultados por tipo
de escuela, región o departamento dentro de una
misma categoría de contexto sociocultural. Asimis-
mo, en la devolución de resultados a las escuelas se
entrega a cada una de ellas lo obtenido por sus alum-
nos y lo de escuelas del mismo contexto sociocultural,
de modo que no sólo se comparen con la media na-
cional (figura 24).
Figura 23
URUGUAY. Resultados académicos e indicadores sociales según subsistema
Montevideo Montevideo Interior Interior Interior TOTAL
Público Privado Público Privado Rural NACIONAL
Urbano Urbano
Porcentaje de alumnos
suficientes en Lengua 57,9 82,1 50,4 72,8 41,3 57,1
Porcentaje de alumnos
suficientes en Matemática 35,3 61,2 27,9 47,1 19,4 34,6
Alumnos cuya madre tiene
secundaria completa o más 24,8 58,5 18,1 40,0 7,6 25,5
Alumnos que viven en
hogares altamente equipados 21,6 64,9 12,7 40,2 3,5 22,0
Alumnos que viven en
hogares con hacinamiento 20,4 2,6 20,2 4,3 22,7 17,3
Fuente: URUGUAY-ANEP, Unidad de Medición de Resultados Educativos, 1997. Evaluación Nacional de Aprendizajes en Lengua y Matemática.
6
°
año de Educación Primaria-1996. 2
°
Informe de Difusión de Resultados.
39
Figura 24
URUGUAY. Cuadro tipo de entrega de resultados a cada escuela
Escuela Escuelas del mismo Escuelas del mismo Total
contexto sociocultural contexto sociocultural Nacional
del Departamento del país
Porcentaje de alumnos
suficientes en Lengua Materna
Porcentaje de alumnos
suficientes en comprensión
de texto argumentativo
Porcentaje de alumnos
suficientes en comprensión
de texto narrativo
Porcentaje de alumnos
suficientes en reflexiones
sobre el lenguaje
Es importante destacar que el “contexto
sociocultural” es una propiedad de la escuela o
grupo de alumnos, no de los individuos. Lo que
explica los resultados no es principalmente el ori-
gen social individual de los estudiantes, sino la
composición sociocultural del grupo escolar o de
la escuela a la que pertenecen. Esta advertencia es
de gran importancia, porque en algunos análisis se
comparan los resultados entre individuos pertenecien-
tes a un mismo origen social, pero a diferentes
subsistemas. Por ejemplo, se compara los resulta-
dos de individuos de nivel sociocultural “bajo” que
pertenecen a escuelas públicas, por un lado, y a pri-
vadas, por otro. Normalmente las diferencias no se-
rán significativas y, si lo son, los resultados serán
mejores entre quienes pertenecen a escuelas priva-
das, pero ello como resultado de que en dichas es-
cuelas los individuos de NSE “bajo” son minoría, mien-
tras que en las primeras son mayoría. En otras pala-
bras, cuando los individuos de origen sociocultural
desfavorecido son minoría en un grupo constituido
mayoritariamente por individuos de mejor “respaldo”
cultural familiar, los primeros se verán favorecidos por
sus pares. Hay un efecto del nivel del grupo que me-
jora los aprendizajes. En cambio, cuando el grupo está
mayoritariamente constituido por individuos de ori-
gen social desfavorecido, la minoría con mejor nivel
educativo familiar tenderá a tener resultados inferio-
res a los esperables. Estas constataciones, por otra
parte, indican la necesidad de propiciar heterogenei-
dad social en las escuelas e intentar evitar la seg-
mentación.
III.5. Los dilemas que la relación entre aprendiza-
jes y contextos sociales plantea a la difusión
de resultados
El tratamiento y presentación de los resultados de las
evaluaciones nacionales a partir de la categorización
de los contextos sociales genera un nuevo problema:
se corre el riesgo de acentuar una visión determinista
en la sociedad y en los educadores, visión que podría
ser ilustrada a través de frases del tipo “esto es lo
máximo que se puede lograr en este medio” o “en
este contexto no se puede esperar ni exigir más de
los niños”. En otras palabras, se corre el riesgo de
establecer o fortalecer un sistema de expectativas
diferenciadas (“exijamos más en los sectores medios
y altos, exijamos menos en los sectores populares,
porque lo que pueden alcanzar es diferente”). Mu-
chas personas vinculadas al sector educativo y a los
sistemas de evaluación temen, justificadamente, que
enfatizar la presentación de resultados diferentes por
contexto social opere como “coartada” o justificación
de los resultados insuficientes para los maestros que
trabajan en esos contextos.
Pero, por el otro lado, ignorar el contexto puede dar
lugar a conclusiones espúreas y, más aún, puede ge-
nerar una gran frustración e impotencia en las escue-
las y docentes que trabajan en los medios más
desfavorecidos, en la medida en que aparezca como
que toda la responsabilidad por los pésimos resulta-
dos es de la escuela. Incluso puede dar lugar a que
ciertas escuelas queden injustamente deslegitimadas
ante sus comunidades y tener efectos paralizadores.
40
La evaluación puede ser percibida como injusta, por-
que responsabiliza al maestro y a la escuela por pro-
blemas que, al menos en parte, provienen del con-
texto. Volviendo a la parábola de las carreteras, es
como si la empresa que trabajó en la precordillera
quedará ubicada, en un ranking de metros promedio
de construcción por día, por debajo de la que trabajó
en la llanura. Lo sentiría como fuertemente injusto.
La introducción de la noción de contexto social
“alivia” el peso de la responsabilidad, ayuda a per-
cibir la evaluación como equitativa22 y a compren-
der que hay factores externos al sistema educati-
vo que inciden en los logros y que la educación no
es omnipotente. En definitiva, ayuda a establecer
algo que es estrictamente cierto: parte de las des-
igualdades que se registran en el sistema educa-
tivo son reflejo de las desigualdades que existen
en la sociedad.
Algunas formas de enfrentar el dilema anterior son:
Mostrar en forma sistemática, a través de la difu-
sión de resultados, que incluso al interior de los
diferentes contextos sociales, hay escuelas que
logran mejores resultados que otras. En otras pa-
labras, que si bien el contexto social tiene un peso
específico sobre los resultados, no hay
determinismos absolutos y existe un espacio pro-
pio de la acción pedagógica y escolar que es ne-
cesario potenciar. Esta puede ser además una for-
ma de motivar para que al interior del sistema edu-
cativo se haga todo lo posible por lograr mayor
equidad en la distribución social del conocimiento
y por mejorar las capacidades de los niños de ori-
gen más pobre.
Colocar fuertemente el énfasis en los datos
longitudinales y no en las comparaciones trans-
versales entre escuelas. El esquema ideal sería
tener una medición inicial y otra final en un mismo
año lectivo. Por esta vía se puede eliminar en bue-
na medida el efecto del contexto, centrando la
medición y el reporte de resultados en lo que los
alumnos y grupos avanzan a lo largo de un año
respecto a su propio punto de partida. Con bue-
nos instrumentos de medición de prácticas y en-
foques de enseñanza, una aproximación de este
tipo debería mejorar la capacidad explicativa de
los “factores escolares” y, por tanto, la acumula-
ción de conocimiento en este terreno. Obviamen-
te un dispositivo de este tipo es más costoso y
más complejo en cuanto al diseño de las pruebas.
Una experiencia de este tipo que debiera ser ob-
servada cuidadosamente, está siendo llevada a
cabo en la Provincia de Buenos Aires, con el apo-
yo de OREALC.
En el caso de países que trabajan con evaluacio-
nes de carácter censal, centrar el reporte de re-
sultados en los cambios que se registran en cada
escuela con respecto a la medición anterior. En
esta alternativa, que se aplica en Chile, de todos
modos es necesario tener algún control sobre la
composición social del alumnado, porque los cam-
bios en los resultados de una escuela pueden obe-
decer a cambios en el tipo de alumnado que re-
cluta.
22 Véase BENVENISTE, L., 2000.
41
Capítulo IV.
LA UTILIDAD PEDAGÓGICA DE LOS
REPORTES DE RESULTADOS
De lo expuesto en el primer capítulo se desprende
que uno de los caminos principales a través de los
cuales se espera que la información producida por
los sistemas nacionales de evaluación tenga un efec-
to de mejora del sistema educativo, es su utilización
por parte de los equipos directivos y docentes en las
escuelas para la toma de decisiones de carácter téc-
nico-pedagógico que les permitan mejorar sus prác-
ticas de enseñanza.
La elaboración de reportes de resultados para uso de
los equipos docentes ha sido uno de los aspectos
más trabajados de la difusión de resultados en los
países de la región. Argentina, Chile, Ecuador, Para-
guay y Uruguay han producido informes específicos
dirigidos a los docentes, en los que se explica con
cierto detalle qué fue lo evaluado por las pruebas
aplicadas y cuáles fueron los principales problemas y
dificultades detectados.
Cuatro han sido las principales estrategias emplea-
das para este objetivo:
La producción y distribución a todas las escuelas
de materiales y documentos didácticos derivados
de los resultados generales de la evaluación, in-
dependientemente de que la misma hubiese sido
de tipo censal o muestral.
La entrega a cada establecimiento de los resulta-
dos de sus propios alumnos, en el marco de ope-
raciones de carácter censal.
La realización de operaciones de evaluación
muestrales con aplicación y corrección autónoma
de las pruebas en el universo de escuelas.
La implementación de talleres de difusión de re-
sultados y programas de capacitación en servicio
a partir de los mismos, dirigidos a docentes, di-
rectores y/o supervisores.
IV.1. Materiales de orientación didáctica
elaborados a partir de los resultados
Argentina ha sido probablemente el país que mayor
énfasis puso, desde el comienzo de sus evaluacio-
nes nacionales, en la elaboración de materiales de
análisis de las competencias más y menos logradas
en las diferentes áreas evaluadas, a través de los de-
nominados “cuadernos metodológicos” que publicó
sistemáticamente desde la primera evaluación nacio-
nal realizada en 1993.
Dichos cuadernos, que en cierto modo han servido
de modelo a otros países de la región, tienen como
finalidad aportar a la reflexión didáctica y disciplinar
de los maestros a partir de ejemplos concretos de
ítemes y sus resultados, enfatizando en las activida-
des que fueron logradas en mayor proporción, así
como en las que resultaron más difíciles.
Las figuras 25 y 26 ilustran el tipo de análisis de los
ítemes que se entrega a los maestros. Según se pue-
de apreciar en el caso argentino (figura 25), se aporta
un análisis detallado de la operación cognitiva reque-
rida para resolver la actividad, así como de las difi-
cultades que podían dar lugar a la elección, por parte
de los alumnos, de los distintas alternativas no co-
rrectas o “distractores”. En el caso de Ecuador, el
análisis del error y dificultad identificada es de carác-
ter mucho más general (figura 26). Este último ejem-
plo es bastante representativo de lo que se hace en
la mayoría de los países al proponer ejemplos de
ítemes, que en general van acompañados por un
escaso nivel de conceptualización didáctica y
disciplinar23.
23 Si bien el análisis de la calidad y sustento conceptual desde el cual se
formulan las recomendaciones en cada país se encuentra fuera de los
alcances del presente trabajo, la impresión general es que, al igual que
con las pruebas, existe una fuerte heterogeneidad entre los países de la
región en cuanto a la actualización de los enfoques disciplinares y
didácticos desde los cuáles son elaborados tanto los instrumentos de
evaluación como los cuadernos de carácter didáctico.
42
Figura 25
ARGENTINA. Análisis de ítemes
Fuente: Ministerio de Cultura y Educación de la Nación - República Argentina. Dirección Nacional de Evaluación, 2000.
Operativo Nacional de Evaluación 1999; pág. 56.
70 año EGB / Matemática
18 Si al descarozar 20 kg de ciruelas 15 kg de pulpa,
¿qué porcentaje de las ciruelas es la pulpa?
A) 5%
B) 25%
C) 35%
D) 75%
Respuesta correcta: D
Resultado: El 22% de los alumnos lo
resolvió correctamente.
Contenido: Números y operaciones.
Capacidad: Resolver problemas.
Operación requerida y evaluada:
Aplicar el concepto y cálculo de
porcentaje para resolver un problema.
La elección de la respuesta correcta D per-
mite suponer que los alumnos comprendie-
ron el problema, reconocieron los pasos a
seguir, plantearon correctamente la situación
y calcularon el porcentaje solicitado.
La elección de la respuesta NO correcta A
indica una incorrecta lectura del enunciado,
los alumnos que la eligieron operan restando
los datos, sin advertir que se trata de dife-
rentes magnitudes.
La elección de la respuesta NO correcta B
indica que estos alumnos pueden calcular
porcentaje, responden al porcentaje de ca-
rozos y no de pulpa, marcando así un error
de interpretación.
La elección de la respuesta NO correcta C
señala que los alumnos parecen no dominar
el concepto de porcentaje, sumando todos
los datos que aparecen en el enunciado.
Figura 26
ECUADOR. Análisis de ítemes
Fuente: Ministerio de Educación y Cultura - Ecuador. EB/PRODEC - Sistema Nacional de Evaluación de la Educación APRENDO, 1997.
Análisis de las Pruebas Aprendo 1996 y de sus Resultados; pág. 25.
Esta manera de reportar los resultados permite
ofrecer una visión concreta acerca del tipo de tareas
a las que se vieron enfrentados los alumnos en las
pruebas. Asimismo, la labor de explicitar el tipo de
operación cognitiva involucrada en la resolución de
la actividad y el tipo de dificultad que puede haber
llevado a un alumno a seleccionar una alternativa no
correcta, constituyen información valiosa para el aná-
lisis de resultados por parte de los docentes.
Simultáneamente, cabe señalar como debilidad una
atomización en la visión de las competencias a lo-
grar, en la medida en que el análisis se apoya en ítemes
individuales, cuando éstos en sí mismos no
necesariamente dan cuenta de la complejidad
de una competencia. Esta dificultad se presenta
especialmente en el área de Lengua. Un camino ade-
cuado para afrontar esta debilidad es el adoptado por
el SAEB, mencionado en el capítulo II: reportar
escalas de proficiencia que describen lo que los
alumnos son capaces de hacer en los distintos
tramos de puntaje de las pruebas. Este camino ha
sido adoptado en Argentina en su reporte 1999 de la
evaluación de 12° grado en el que, aún trabajando
con la teoría clásica para el procesamiento de los
ítemes, se construyeron niveles de desempeño (ver
figura 27).
43
Figura 27
ARGENTINA. Niveles de desempeño en matemática
Fuente: Ministerio de Cultura y Educación de la Nación - República Argentina. Dirección Nacional de Evaluación, 2000.
III Operativo Nacional de Evaluación de Finalización del Nivel Secundario 1999; pág. 27.
44
IV.2. Entrega de resultados por establecimiento
La entrega a cada establecimiento de sus propios
resultados, en el marco de evaluaciones nacionales
de carácter censal, ha sido llevada adelante en Ar-
gentina, Chile y Uruguay, y existen también experien-
cias a nivel subnacional como en el Estado de Paraná
en Brasil, que ha desarrollado su propio sistema
estadual de evaluación con esta finalidad, o en algu-
nas provincias argentinas como Mendoza. En ambos
casos se trata de evaluaciones de carácter censal,
por lo que todos los establecimientos educativos de
la provincia o estado reciben sus resultados24.
24 La devolución de resultados personalizados por establecimiento también
ha sido realizada en algunos países como Ecuador o Bolivia, cuyas
evaluaciones tienen carácter muestral. En este caso la proporción de
establecimientos que pueden recibir sus resultados es bastante reducida,
por lo que la estrategia pierde buena parte de su potencialidad de impacto
sobre el sistema.
La ventaja principal de entregar resultados a cada
establecimiento es que ello tiene la potencialidad de
involucrarlos directamente en el proceso de evalua-
ción. Es altamente probable que la predisposición a
utilizar los resultados sea mayor cuando el estableci-
miento participó de la evaluación y tiene a la vista los
resultados de sus propios alumnos. Por el contrario,
es probable que la predisposición a hacer uso de los
resultados sea mucho menor cuando simplemente se
recibe un informe de resultados nacionales, pero se
carece de un punto de referencia acerca del grado en
que los propios alumnos dominan los aprendizajes
evaluados.
Un aspecto interesante en el caso chileno, mencio-
nado en el capítulo anterior, es la presentación siste-
mática de información sobre los avances de cada
establecimiento en relación a la medición anterior. Esta
información se publica tanto en los medios de prensa
como en Internet (ver figura 28).
En el caso del Estado de Paraná en Brasil merece
especial destaque la pauta que se entrega a cada
establecimiento con el fin de que el equipo docente
elabore un informe de interpretación de sus
resultados (figura 29). La estrategia es interesante,
porque en cierto modo “obliga” a cada equipo a
analizar sus resultados y realizar por escrito una
interpretación de los mismos y un plan de interven-
ción y mejora.
45
Figura 28
CHILE. Difusión de resultados por establecimiento - 2° Año Medio - 1998
Fuente: Página WEB del Ministerio de Educación de Chile - http://www.mineduc.cl/simce/simce2.htm#a2.
DEPENDENCIA:
Particular Subvención Compartida
Matemáticas 1998 Lenguaje 1998
306 316
DEPENDENCIA:
Particular Pagado
Matemáticas 1998 Lenguaje 1998
300 294
DEPENDENCIA:
Particular Pagado
Matemáticas 1998 Lenguaje 1998
321 302
DEPENDENCIA:
Corporativizado
Matemáticas 1998 Lenguaje 1998
277 284
RBD: 12149
N º Alumnos
87
RBD: 12262
N º Alumnos
12
RBD: 12254
N º Alumnos
59
RBD: 11959
N º Alumnos
194
COMUNA:
Los Andes
Diferencia Matemática 98-94
13.00
COMUNA:
Los Andes
Diferencia Matemática 98-94
18.00
COMUNA:
Los Andes
Diferencia Matemática 98-94
20.00
COMUNA:
Los Andes
Diferencia Matemática 98-94
0.00
REGION:
V Región de Valparaíso
Diferencia Castellano 98-94
26.00
REGION:
V Región de Valparaíso
Diferencia Castellano 98-94
11.00
REGION:
V Región de Valparaíso
Diferencia Castellano 98-94
-1.00
REGION:
V Región de Valparaíso
Diferencia Castellano 98-94
0.00
Colegio María Auxiliadora
Colegio María Montessori
Instituto Chacabuco
Liceo Comercial B 11
Figura 29
ESTADO DE PARANÁ/BRASIL. Guía para el análisis de los resultados
en los establecimientos educativos.
“Examine cada pregunta relativa a un determinado contenido. Generalmente son tres preguntas sobre
cada uno de los temas o un poco más. Vea el grado de facilidad de cada una de ellas y observe la
dificultad. Si 60% de los alumnos acertaron, se trata de una pregunta de dificultad media, según la
observación debajo de la Tabla.
Examine cada item, ejemplificando con errores típicos que fueron observados en las pruebas de los
alumnos de su escuela para cada conjunto de ítemes relativos a un contenido. Haga comentarios sobre
cada conjunto e intente explicar las situaciones que fueron identificadas.
Analice, comparativamente, el desempeño de los alumnos en cada uno de los contenidos, teniendo en
consideración los datos del Establecimiento, del Municipio, de la Región y del Estado.
...
A partir de los ítemes más difíciles observados en su escuela, vea cómo ocurre la distribución por
Municipio, Región y Estado. Haga una reflexión crítica y apunte los problemas revelados a través del
desempeño de los alumnos en la prueba que exigirían una mayor intervención de los profesores.
CONCLUSIONES DEL RELATORIO
Ahora usted dispone de elementos para presentar sus conclusiones en el Relatorio de la Prueba de Conte-
nidos Básicos. Reúnase con sus colegas que hicieron el Relatorio y elabore, en grupo, las conclusiones del
mismo.
Haga un comentario general sobre las expectativas de la escuela en relación al desempeño de los
alumnos.
Manifiéstese críticamente en relación a las características de la prueba, presentando sugerencias sobre
posibles aspectos del Currículo. Haga un paralelismo entre lo que se pretende medir y lo que la escuela
realmente abordó en el proceso de enseñanza de las clases evaluadas.
Presente los puntos críticos revelados por el desempeño de los alumnos en las pruebas.
Apóyese en sus observaciones anteriores, pero procure no ser reiterativo.
Dé la opinión consensuada de la escuela sobre la Evaluación, el desempeño de los alumnos y la progra-
mación para la Enseñanza Fundamental y Media, presentando sugerencias, teniendo en cuenta su ex-
periencia como Educador(a) y su vivencia de la presente Evaluación.
Comente sobre otros aspectos que juzgue necesario, con base en las informaciones que esta evalua-
ción le proporcionó.
UTIIZACIÓN DE LOS RESULTADOS EN LA ESCUELA
Haga uso del relatorio y de los resultados presentados para su planeamiento de actividades, con
vistas al mejoramiento de los procedimientos didáctico-pedagógicos en la orientación del aprendi-
zaje.
Procure divulgar el relatorio final de la Escuela entre los demás profesores y los miembros del Cole-
giado y de la Comunidad”.
Fuente: Gobierno del Estado de Paraná, 1998. Evaluación del Rendimiento Escolar. Resultados de la Evaluación del Rendimiento Escolar.
4ta. Serie de la Enseñanza Fundamental.
46
Un matiz importante entre los países en cuanto a su
estrategia de devolución de resultados hacia los cuer-
pos docentes es el relativo al acceso a las pruebas
aplicadas. En la mayor parte de los países las prue-
bas no tienen carácter público y únicamente se infor-
ma acerca de los contenidos, competencias u objeti-
vos que fueron evaluados y se divulgan ejemplos del
tipo de ítemes aplicados.
En los casos de Uruguay y Paraná, las pruebas son
públicas (en tanto los resultados de cada estableci-
miento, según se indicó en el capítulo I, son confi-
denciales). Cada escuela recibe ejemplares de las
pruebas y manuales de interpretación de las activi-
dades incluidas en las mismas -con una estructura
muy similar a la ilustrada para Argentina y Ecuador,
pero abarcando la totalidad de los ítemes de cada
prueba-, así como los resultados de los alumnos del
establecimiento en cada una de dichas actividades.
En el caso de Chile, a partir de septiembre de 1999 el
Ministerio de Educación comenzó a hacer públicas
las pruebas que habían sido aplicadas en 199825.
IV.3. Evaluaciones de carácter muestral con
aplicación y corrección autónoma de las
pruebas en el universo de escuelas
Una tercera estrategia desarrollada en la región con
el objetivo de que las operaciones de evaluación afec-
ten positivamente el trabajo docente, ha consistido
en los siguientes pasos:
Realizar una evaluación en una muestra represen-
tativa a nivel nacional.
Distribuir luego los instrumentos de evaluación a
todas las escuelas del país, junto con manuales
de aplicación y corrección de las pruebas con
orientaciones para que estas tareas fuesen reali-
zadas en forma voluntaria y autónoma en las es-
cuelas.
Distribuir finalmente los resultados de la muestra
nacional para que cada escuela pudiese compa-
rar sus propios resultados con los nacionales.
Este tipo de estrategia fue desarrollada en Uruguay
en 3er. año de educación primaria en 1998, con una
prueba de respuesta abierta que integraba en un úni-
co instrumento contenidos de Lenguaje, Matemática
y Ciencias, y se aplicó también en 1999 con pruebas
de selección múltiple en Lenguaje y Matemática en
6to año de educación primaria.
En la figura 30 se incluye un ejemplo de los modelos
de corrección de las pruebas de respuesta abierta
empleadas en 1998. Para cada una de las activida-
des se indicaba a los maestros el proceso de resolu-
ción de la actividad, una codificación y sistema de
puntajes para los distintos tipos de respuestas posi-
bles, así como ejemplos de respuestas de los niños
tomados de la etapa piloto de aplicación de los ins-
trumentos. El manual incluía además los puntos de
corte para que cada maestro pudiese establecer los
niveles de suficiencia en su grupo, para luego incluir-
los en una columna en blanco en los cuadros de re-
sultados nacionales (véase figura 31). También ofre-
cía información sobre los resultados nacionales en
cada una de las actividades de la prueba.
25 De todos modos es preciso reconocer que hacer públicas las pruebas
trae aparejadas dificultades a la hora de equiparar nuevas pruebas para
mediciones comparables que se desee realizar en el futuro.
47
Figura 30
URUGUAY. Un ejemplo de pautas para la corrección autónoma
de pruebas de respuesta abierta en 3er. año de primaria
Fuente: URUGUAY-ANEP, Unidad de Medición de Resultados Educativos, 1998. Evaluación Nacional de Aprendizajes en. 3er. año de Educación
Primaria-1998. Manual de Corrección de la Prueba y Procesamiento del Cuestionario para madres, padres o tutores; pág. 29 - 31.
48
Contexto
Favorable
57,8
62,6
51,6
57,8
Contexto
Medio
46,6
43,2
34,3
38,2
Contexto
Desfavorable
33,0
33,7
23,5
23,5
Escuelas
Rurales
36,3
35,0
29,7
30,0
TOTAL
NACIONAL
42,5
42,8
33,0
35,5
Figura 31
URUGUAY. Un ejemplo de tabla de devolución de resultados
a las escuelas en la evaluación autónoma en 3er. año de primaria
rrollo de instancias presenciales o a distancia -apro-
vechando las posibilidades que aportan las nuevas
tecnologías- en las que los resultados son explica-
dos directamente, se realizan ejercicios de compren-
sión e interpretación de los mismos y se presentan
análisis de especialistas en didáctica y en las discipli-
nas evaluadas, lo que sin duda amplía enormemente
el aprovechamiento de la información en las
escuelas.
Probablemente en el futuro las Unidades de Evalua-
ción deban incorporar este tipo de programas a su
misión institucional y no concebirla únicamente en
términos de producción de información válida y
confiable que otros sabrán utilizar. Este aspecto es
relevante, porque normalmente el grueso de la ener-
gía de una Unidad de Evaluación está destinado a la
realización de los operativos de evaluación, al proce-
samiento de información y a la producción de infor-
mes. Se supone que otras Unidades dentro de los
Ministerios de Educación tienen como misión espe-
cífica la organización de programas de formación o
capacitación en servicio. Sin embargo, no siempre
existen las instancias de coordinación y trabajo
en común para que los resultados de las evalua-
ciones se incorporen a los programas de capaci-
tación. Con esto no se pretende decir que las Uni-
dades de Evaluación deban asumir esta tarea -
aunque es una posibilidad y algunas lo han he-
Porcentaje de alumnos
suficientes en el área
de Lengua Materna
Porcentaje de alumnos
suficientes en el área
de Matemática
Porcentaje de alumnos
suficientes en el área
de Ciencias
Porcentaje de alumnos
suficientes en el con-
junto de la prueba
GRUPO
Fuente: URUGUAY-ANEP, Unidad de Medición de Resultados Educativos, 1998. Segunda Evaluación Nacional de Aprendizajes.
3er. año de Enseñanza Primaria-1998. Primer Informe de Devolución de Resultados a las Escuelas.
La principal fortaleza de esta estrategia es que
involucra fuertemente a los maestros, dándoles par-
ticipación directa en la evaluación y propiciando el
desarrollo de una cultura de la evaluación de los apren-
dizajes con instrumentos sistemáticamente validados.
Sus debilidades son que no hay garantías de que to-
das las escuelas realmente se involucren en la eva-
luación y que con este tipo de instrumentos y proce-
dimientos es prácticamente imposible realizar medi-
ciones comparables en el tiempo.
IV.4.Talleres de difusión de resultados y programas
de capacitación en servicio
Un cuarto tipo de estrategia de difusión de resulta-
dos hacia las escuelas y docentes ha sido la realiza-
ción de actividades de capacitación o sensibilización
a través de talleres, seminarios y cursillos, en general
dirigidos a supervisores, directores y/o maestros y pro-
fesores. Sin embargo, no se dispone de información
sistemática sobre las características de estas accio-
nes ni sobre sus contenidos y cobertura y, por otra
parte, no formaba parte de los objetivos de este tra-
bajo realizar un análisis de las mismas. No obstante,
vale la pena mencionar que es probable que la distri-
bución de reportes escritos no sea una vía suficiente-
mente efectiva para garantizar el aprovechamiento de
la información por los equipos docentes. En el desa-
49
cho-, pero sí que deben preocuparse por estable-
cer negociaciones o estrategias deliberadas para
que los resultados de las evaluaciones sean in-
corporados de alguna manera a los programas de
formación o capacitación en servicio.
Por otra parte, una tarea a realizar sería la sistemati-
zación de las experiencias de capacitación realiza-
das en la región a partir de resultados de las evalua-
ciones y la identificación de las modalidades de
trabajo más significativas y relevantes para los
maestros.
IV.5. ¿Cómo usar las evaluaciones para
mejorar las prácticas de enseñanza?
A lo largo de este capítulo se han presentado las dife-
rentes modalidades o estrategias empleadas en la
región para que los resultados de las evaluaciones
tengan algún impacto en la mejora de las prácticas
de enseñanza en las escuelas. De todos modos, so-
bre este punto existen interrogantes que por el mo-
mento no tienen respuesta:
¿Qué proporción de los docentes en cada país ha
visto los reportes de resultados y otras publica-
ciones derivadas y qué proporción las ha leído?
¿Qué tanto han comprendido los reportes quie-
nes los han leído?
¿Cuán útil o enriquecedora les ha resultado la in-
formación contenida en ellos?
¿Tienen los docentes otras demandas hacia las
Unidades de Evaluación?
Responder a estas pregunta requeriría de la realiza-
ción de estudios de caso que involucren tanto traba-
jo de encuestas como indagaciones de carácter cua-
litativo26.
De todos modos es oportuno dejar planteadas algu-
nas hipótesis acerca de cómo hacer más significati-
vos los resultados para la mejora de las prácticas de
enseñanza en las escuelas:
Es sumamente importante que los maestros co-
nozcan al detalle no sólo la definición “formal” de
las competencias evaluadas, sino también el
tipo de actividades que los alumnos debieron
responder.
Se requiere avanzar hacia reportes más elabora-
dos en términos de interpretaciones didácticas de
los resultados, evitando los reportes exclusivamen-
te volcados a los resultados numéricos.
Es preciso avanzar en el camino de aportar des-
cripciones etnográficas, derivadas de trabajos de
investigación de tipo cognitivo -que formarían parte
del proceso de diseño y pilotaje de las pruebas-
sobre los procesos reales de resolución de las ac-
tividades y problemas por parte de diferentes ti-
pos de alumnos, así como el tipo de dificultades y
errores que realmente tienen.
Para que los resultados sean más significativos
es importante que los maestros tengan informa-
ción acerca del desempeño de sus propios alum-
nos en las pruebas, lo que puede lograrse tanto
por la vía de las aplicaciones de carácter censal
como con la aplicación autónoma de las mismas
pruebas o de pruebas equivalentes.
Otra línea de trabajo promisoria para que los sis-
temas de evaluación tengan un impacto directo
en la mejora de las prácticas de enseñanza, con-
sistiría en aportar a los docentes instrumentos de
evaluación sistemáticamente elaborados y valida-
dos, que ellos puedan emplear de manera autó-
noma de acuerdo a sus necesidades y criterio pro-
fesional. Probablemente esta sea una de las prin-
cipales demandas de los maestros a las Unidades
de Evaluación, dado que la construcción de ins-
trumentos de evaluación de aprendizajes es una
tarea compleja y demanda una enorme dedicación
de tiempo. Poner a disposición de los docentes
variadas alternativas de actividades de evaluación
para conocimientos y competencias específicas,
incluyendo información acerca del desempeño que
en cada una de dichas actividades tuvieron los
estudiantes de distintos niveles y sectores del sis-
tema educativo, tal vez sería uno de los principa-
les aportes que las Unidades de Evaluación po-
drían prestar al fortalecimiento de una cultura de
la evaluación en las escuelas.
50
26 Sobre este tema, en principio, el único trabajo en la región es el realizado
por Luis Benveniste, quien estudió con una finalidad distinta los sistemas
nacionales de Chile, Argentina y Uruguay, pero que incluyó una serie de
visitas a escuelas y entrevistas en profundidad con docentes, directivos
y supervisores respecto a la utilidad en general de los sistemas de
evaluación, no específicamente de los reportes (véase Benveniste, L.,
2000).
Capítulo V.
LOS REPORTES DE RESULTADOS COMO
APORTE A LA FORMULACIÓN DE
POLÍTICAS EDUCATIVAS
En el capítulo anterior se analizaron las estrategias
desarrolladas para que los resultados de las evalua-
ciones nacionales tengan algún impacto en las prác-
ticas de enseñanza en las escuelas. En este capítulo
el foco está puesto en otra de las finalidades ex-
plícitamente enfatizadas en las definiciones de
objetivos de los sistemas nacionales de evalua-
ción: el aporte de información relevante y oportu-
na para la toma de decisiones y la formulación de
las políticas educativas.
Se supone que un componente central de la misión
de las Unidades de Evaluación es aportar informa-
ción acerca del estado de los aprendizajes, así como
sobre los factores o variables que inciden en dichos
aprendizajes, a diferentes “tomadores de decisiones”
en distintos lugares de los sistemas educativos: res-
ponsables a nivel central o regional del diseño de
currículas, unidades a cargo de la producción de ma-
teriales educativos, instituciones formadoras de do-
centes, responsables de la toma de decisiones en
materia de inversiones y de diseño de programas y
políticas.
Al respecto, lo primero que debe ser destacado es
que los sistemas de evaluación realizan un aporte
central y significativo a la toma de decisiones y a la
formulación de las políticas educativas por el mero
hecho de producir información sobre lo que está ocu-
rriendo con los aprendizajes de los alumnos. Esta fun-
ción es trascendente, porque otorga centralidad a los
logros educativos y los coloca en la agenda pública.
En ausencia de esta información las discusiones de
política educativa corren riesgos tales como centrar-
se exclusivamente en la evolución de la matrícula y el
acceso al sistema, en pugnas por espacios de poder
e intereses de tipo corporativo o en debates de ca-
rácter puramente teórico. Todo ello, como resulta
obvio, de todos modos continúa sucediendo aún en
presencia de información sobre los aprendizajes. Pero
por lo menos la presencia de esta información permi-
te intentar centrar las discusiones en la razón de ser
de los sistemas educativos: garantizar a todos los ni-
ños el acceso a ciertos conocimientos y capacida-
des que son indispensables para su desarrollo indivi-
dual y social.
Ahora bien, a partir de la lectura de los informes na-
cionales, es posible identificar dos debilidades prin-
cipales sobre las que sería preciso trabajar más para
que la información producida tenga mayor incidencia
en las decisiones de política educativa:
el carácter excesivamente descriptivo y escasa-
mente “conceptualizado” de los informes; y
una visión demasiado simplificada sobre el estu-
dio de los factores escolares asociados con los
aprendizajes y su incidencia sobre la toma de de-
cisiones.
V.1. Insuficiente análisis, interpretación y
conceptualización
La mayoría de los informes nacionales se caracteri-
zan por su carácter extremadamente descriptivo. En
general se limitan a relatar los datos emergentes de
los primeros procesamientos, prácticamente sin ana-
lizar conexiones con otros datos recogidos en el pro-
pio operativo o provenientes de otras investigacio-
nes relevantes. Tampoco suele hacerse referencias ni
interpretaciones conceptuales a partir de la literatura
existente en torno a los aprendizajes evaluados, a los
debates didácticos relacionados con su enseñanza o
a los factores que inciden en ellos.
Como ejemplo puede citarse el informe nacional de
Costa Rica respecto a la evaluación realizada en 1997.
Este informe está constituido básicamente por 50
cuadros, cada uno acompañado por un par de ren-
glones que indican el dato más sobresaliente, y fina-
liza con dos páginas de conclusiones muy generales
-que resumen los principales datos-, del tipo: “El ren-
dimiento académico nacional es más alto en tercer
año que en sexto... La Región Central supera al resto
de las regiones en el número de objetivos dominados
en tercer año y en sexto año... El sector privado supe-
ra en ambos niveles al sector público. Estas diferen-
cias son estadísticamente significativas...”27 .
En el caso de Argentina es sintomático el hecho de
que sus informes prácticamente carecen de texto y
se limitan a presentar los datos. Hasta la denomina-
ción de los reportes es sintomática: “Operativo Na-
cional de Evaluación 1999”. Se trata de informes so-
bre los operativos, que describen básicamente cuán-
tas pruebas fueron aplicadas y cuáles fueron los prin-
cipales resultados, si bien luego existen informes es-
51
27 Ministerio de Educación Pública, Programa de Pruebas Nacionales.
Informe nacional sobre los resultados de las pruebas de diagnóstico de
conocimientos 1997. Costa Rica, 1998. La afirmación de que el
rendimiento es más alto en 3° que en 6° está referida a que en el primer
curso mencionado los alumnos lograron niveles de dominio de los
objetivos evaluados en mayor proporción que los alumnos de 6°. Si
bien no se trata de los mismos objetivos, dado el enfoque adoptado en
la evaluación de Costa Rica es válido afirmar que hay un mayor o menor
nivel de logro de los objetivos esperados para cada curso.
pecíficos dirigidos a los educadores, con mayor de-
sarrollo sobre las competencias evaluadas y con los
ítemes que presentaron las mayores dificultades.
En algunos casos es notorio que las conclusiones son
las mismas para todos los informes, año tras año. Ello
significa que en realidad ha sido escasa la labor de
interpretación y análisis de los datos. Esta ausencia
de análisis es ostensible en los Informes de APREN-
DO en Ecuador, en que las mismas conclusiones se
repiten casi textualmente durante tres años (véase el
recuadro 2). Esto probablemente es consecuencia,
entre otras cosas, de que en muchos países -como
en el caso de Ecuador- las Unidades de Evaluación
han asumido una dinámica excesivamente ambicio-
sa de realización de operaciones todos los años, en
diversos grados y en un número creciente de áreas
curriculares. Así, no existe materialmente el tiempo
indispensable para un análisis en profundidad de la
información producida .
Los ejemplos anteriores muestran que, en general,
las Unidades de Evaluación de la región hasta ahora
han concebido su labor principalmente en términos
de producción de información, la que se supone otros
sabrán utilizar y emplear en la toma de decisiones.
Por ello, la mayoría de los informes se limita a relatar
los datos obtenidos.
Un modelo diferente e interesante de reporte de re-
sultados ha sido adoptado recientemente por Perú,
país en el cual durante muchos años el Ministerio de
Educación no autorizó la publicación de resultados.
Sin embargo, a partir del año 2000 la Unidad de Me-
dición de Calidad ha comenzado a publicar los bole-
tines denominados Crecer. Éstos han tomado, en cada
número, un tema central a partir de los cuestionarios
a alumnos y docentes que normalmente se aplican
junto con las pruebas. Por ejemplo, la actitud de los
alumnos hacia las clases de Lenguaje y Matemática,
o los niveles de formación de los docentes. En cada
boletín se hace una revisión de la literatura existente
sobre el tema abordado, se explica por qué es rele-
vante, qué dicen las investigaciones sobre el particu-
lar y se presenta en forma gráfica los principales da-
tos relevados en el operativo. Del mismo modo, los
boletines destinados al reporte de los resultados ex-
plican en forma adecuada qué significan los puntajes
empleados para reportar, y qué tipo de conclusiones
es válido o no formular a partir de la metodología
empleada en el diseño de las pruebas. Se trata de
52
Recuadro 2
ECUADOR. Reiteración de conclusiones en informes de años sucesivos
APRENDO 96: “Resaltan el cuadro de rendimiento en Matemática pues en éste se ven dos puntos
críticos: que en los tres grados no se observa un dominio promedio de ninguna de las destrezas medi-
das, y que las destrezas más alcanzadas revelan que los aprendizajes de los estudiantes se concentran
en el nivel básicamente operatorio, mientras que las destrezas menos conseguidas manifiestan que la
resolución de problemas es el aprendizaje menos consolidado y extendido. Esto puede significar que la
población escolar ecuatoriana estaría limitada en cuanto al desarrollo del pensamiento abstracto y del
razonamiento lógico”. Ministerio de Educación y Cultura del Ecuador - EB/PRODEC, 1997.
APRENDO 97: “Resaltan el cuadro de rendimiento en Matemática, pues en éste hay dos puntos críti-
cos: que el porcentaje de alumnos que dominan las destrezas en cada grado son notoriamente bajos y
que las destrezas más alcanzadas revelan que el aprendizaje estudiantil se concentra en el nivel bási-
camente operatorio, mientras que el aprendizaje menos consolidado y extendido es el relacionado con
la resolución de problemas. Esto puede significar que la población escolar ecuatoriana está limitada en
el desarrollo de su capacidad de análisis, que es una expresión del pensamiento abstracto y del razo-
namiento lógico”. Ministerio de Educación y Cultura del Ecuador - EB/PRODEC, 1998.
APRENDO 98: “Resaltan el cuadro de rendimiento en Matemática pues en éste se ven dos puntos
críticos: que en los tres grados no se observa un dominio promedio de ninguna de las destrezas medi-
das, y que las destrezas más alcanzadas revelan que los aprendizajes de los estudiantes se concentran
en el nivel básicamente operatorio, mientras que las destrezas menos conseguidas manifiestan que la
resolución de problemas es el aprendizaje menos consolidado y extendido. Esto puede significar que la
población escolar de los CEM está limitada en el desarrollo de su capacidad de análisis, que es una
expresión del pensamiento abstracto y del razonamiento lógico”. Ministerio de Educación y Cultura del
Ecuador - EB/PRODEC, 1999.
53
boletines breves, gráficamente bien presentados, que
tienen un carácter propiamente reflexivo y no mera-
mente de relato de datos28.
Obviamente, es discutible si la función de analizar la
información corresponde a los sistemas de evalua-
ción o si éstos deben limitarse, como en general ha
ocurrido hasta ahora, a la producción de los datos.
Asumiendo que sí deberían entregar información más
elaborada, uno de los desafíos centrales para los
próximos años sería incorporar la función de “analistas
de información” de diversas especialidades -didácti-
ca de las distintas disciplinas, ciencias sociales, polí-
ticas educativas, por mencionar algunas- que traba-
jen más los datos, los interpreten y puedan formular
hipótesis, recomendaciones e investigaciones.
V.2. Los “factores escolares” asociados a los
aprendizajes y las políticas educativas
La insuficiencia en el análisis, interpretación y con-
ceptualización de los datos es ostensible en el trata-
miento que en muchos países se ha dado a la inda-
gación sobre los denominados “factores escolares
asociados” a los resultados. Dos son los principales
problemas que se detectan los informes nacionales:
una debilidad metodológica, que consiste en que
algunos reportes se apoyan únicamente en análi-
sis de tipo bivariado;
una visión en cierto modo ingenua respecto a la re-
lación entre la investigación sobre factores asocia-
dos y la toma de decisiones de política educativa.
En relación a lo primero, cabe señalar que formular
algún tipo de conclusión en términos de investiga-
ción o de recomendación de política educativa, a partir
de análisis de tipo bivariado entre variables escolares
y resultados, es sumamente riesgoso, por decir lo
menos. Para poder hacerlo es necesario, en primer
lugar, o bien controlar el efecto de la composición
social del grupo o bien trabajar con dos mediciones
para la misma población, de modo de medir propia-
mente el aprendizaje y neutralizar en buena medida
el efecto de las desigualdades de origen social de los
alumnos. Este aspecto ya fue tratado en el capítulo
III. En segundo lugar, es necesario controlar la
multicolinealidad, es decir, la asociación que los “fac-
tores escolares” tienen entre sí.
Para ilustrar este último problema es útil recurrir al
Informe del SAEB/97. Por un lado, éste reconoce ex-
plícitamente la existencia de este tipo de problemas
y los cuidados que deben tenerse para no simplificar
la interpretación de los datos (recuadro 3). Dichas
advertencias son absolutamente pertinentes y nece-
sarias. Sin embargo, incluye a continuación un con-
junto de cuadros bivariados que conducen precisa-
mente a los errores de interpretación sobre los que
se había alertado (véase figuras 32 y 33). Cualquier
lector medio no especializado que lee estos cuadros,
aún cuando haya sido advertido previamente, proba-
blemente concluya que: a) a mejores salarios docen-
tes, mejores resultados en Matemática; y b) la partici-
pación en cursos de actualización no tiene incidencia
en la mejora de los aprendizajes (por el contrario, los
desmejora).
Recuadro 3
BRASIL. Advertencia sobre las limitaciones de los análisis bivariados de la asociación
entre “factores escolares” y resultados
“A los efectos de la discusión de los resultados y de su presentación gráfica, fueron seleccionadas
algunas variables de los cuestionarios respondidos por los alumnos y los profesores en el SAEB/97. La
selección de estas variables fue orientada por criterios de tasa de respuesta, posibilidades de establecer
relaciones con la proficiencia y el potencial para aportar a la discusión de políticas y estrategias de
intervención en la realidad escolar.
Es importante llamar la atención para que la lectura de los resultados presentados no conduzca a inter-
pretaciones simplistas o inferencias de causa y efecto, entre una variable considerada aisladamente y el
valor que le corresponde. La complejidad del fenómeno de aprendizaje y su multicausalidad deben estar
siempre presentes, evitando reduccionismos que conducirían a interpretaciones erróneas de ciertos da-
tos”.
Ministerio de Educación-Gobierno Federal. Instituto Nacional de Estudios e Investigaciones Educacio-
nales (INEP), 1998. SAEB 97 - Primeros Resultados.
28 Los boletines Crecer pueden ser encontrados en:
www.minedu.gob.pe/web/el_ministerio.
Ahora bien, los datos incluidos en los gráficos de las
figuras 32 y 33 pueden ser objeto de múltiples expli-
caciones o interpretaciones. Probablemente la aso-
ciación entre salarios y resultados obedezca a que
los salarios más altos corresponden a los colegios
privados más caros y, por tanto, a alumnados prove-
nientes de sectores medios y altos de la sociedad.
Del mismo modo, la participación en cursos de capa-
citación no dice nada acerca de la heterogeneidad y
calidad de los mismos. También podría ocurrir que
quienes participan en mayor medida en dichos cur-
sos sean los profesores más jóvenes y de poca expe-
riencia, y eso explique que los resultados de sus alum-
nos sean inferiores. En fin, difícilmente puede llegar-
se a algún tipo de conclusión válida a partir del análi-
sis bivariado.
Figura 32
BRASIL. Presentación de información sobre factores asociados
Gráfico 61: Qual é seu salario bruto como professor(a) desta escola?
Legenda
(A) Menos de R$ 120,00
(B) De R$ 120,00 a R$ 240,00
(C) De R$ 241,00 a R$ 360,00
(D) De R$ 361,00 a R$ 480,00
(E) De R$ 481,00 a R$ 840,00
(F) De R$ 841,00 a R$ 1.200,00
(G) De R$ 1.201,00 a R$ 1.800,00
(H) De R$ 1.801,00 a R$ 2.400,00
(I) Mais de R$ 2.400,00
Fuente: Ministerio de Educación - Gobierno Federal. Instituto Nacional de Estudios e Investigaciones Educacionales (INEP), 1998.
SAEB 97 - Primeros Resultados.
54
Figura 33
BRASIL. Presentación de información sobre factores asociados
Gráfico 66: Voce participou de cursos de capacitacao, treinamento ou
actualizacao na sua área específica de atuacao em 1997?
Fuente: Ministerio de Educación - Gobierno Federal. Instituto Nacional de Estudios e Investigaciones Educacionales (INEP), 1998.
SAEB 97 - Primeros Resultados.
Proficiencia média em Língua PortuguesaFreqüencia
Sin embargo, el Informe del SAEB, refiriéndose al grá-
fico 66 afirma: “Mientras el 53% de los profesores de-
claran haber participado de cursos de entrenamien-
to, capacitación y actualización, 40% no realizaron
ninguna de esas actividades. Es interesante notar
que esta variable parece no tener ninguna influen-
cia en el nivel de proficiencia de los alumnos(el
destacado es nuestro). Más adelante el informe con-
cluye con una afirmación del siguiente tenor: “En este
sentido, el examen de los resultados de proficiencia
asociado a algunas características de los alumnos y
de los profesores puede dar importantes pistas sobre
cuáles pueden ser los nuevos direccionamientos de
la práctica de alumnos, profesores, escuelas y fami-
lias. Los datos del Sistema Nacional de Evaluación de
la Educación Básica son una preciosa fuente de estu-
dios y, principalmente, garantizan el monitoreamiento
de aspectos relacionados con la oferta educacional y
con los resultados que vienen siendo obtenidos por
el sistema educacional brasilero, principalmente aque-
llos relacionados con la equidad”29.
Nuevamente, lo dicho es estrictamente cierto, en
cuanto a que los datos recabados constituyen una
preciosa fuente de estudios, pero de otro tipo de es-
tudios más sofisticados que, por otra parte, el propio
SAEB ha desarrollado con posterioridad30.
El segundo aspecto que es preciso mencionar es la
visión algo simplista e ingenua respecto a la relación
directa entre datos y decisiones o políticas sin otro
tipo de mediaciones. El tema ya ha sido analizado en
una publicación anterior del Grupo de Trabajo sobre
Estándares y Evaluación de PREAL31. Muchas veces
los informes nacionales dan la impresión de que se
espera que a partir de la investigación sobre los “fac-
tores asociados” se podrán formular recomendacio-
nes específicas de política educativa. Incluso en in-
formes producidos por los organismos internaciona-
les de crédito era posible encontrar algunos años atrás
recomendaciones simplistas del tipo “hay que inver-
tir en libros de texto pero no en formación docente” o
“la cantidad de alumnos por grupo no es una variable
relevante para mejorar los aprendizajes”, formuladas
a partir de revisiones de literatura basadas en análisis
sobresimplificados de “factores asociados”.
El caso de Ecuador es interesante e ilustrativo sobre
este tema. A través de un análisis de tipo bivariado, el
reporte concluye que es difícil establecer políticas o
medidas homogéneas para todo el sistema educati-
vo a partir de los datos analizados, porque los facto-
res asociados a los aprendizajes varían entre los dife-
29 Ministerio de Educación - Gobierno Federal. Instituto Nacional de
Estudios e Investigaciones Educacionales (INEP). SAEB 97 - Primeros
Resultados.
30 Más recientemente el SAEB ha desarrollado trabajos de investigación
empleando técnicas de análisis multinivel, que permiten un tratamiento
más apropiado del tema de los factores asociados.
31 Véase al respecto Ravela, P., Wolfe, R., Valverde, G. y Esquivel, J.M.,
Op. Cit.
55
rentes contextos (lo cual difícilmente podría ser de
otro modo). El que se haya arribado a esta constata-
ción es sumamente relevante y el informe debería
resaltarlo de manera más enfática, advirtiendo a las
autoridades acerca de falsas expectativas o visiones
simplistas sobre la política educativa. Sin embargo,
el tratamiento que se da en el texto a esta constata-
ción parece indicar algún tipo de “culpa” por no ha-
ber llegado a conclusiones más contundentes para la
toma de decisiones (véase recuadro 4). El informe
enfatiza luego, de forma acertada, la necesidad de
profundizar en la investigación sobre las prácticas de
enseñanza.
Otro aporte relevante del caso de Ecuador, es la cons-
tatación de que los factores que inciden sobre los
aprendizajes no son los mismos en todos los secto-
res del sistema educativo. Ello pone de manifiesto la
necesidad de analizar por separado, para cada con-
texto y sector del sistema educativo, qué factores in-
ciden en los aprendizajes. Este tipo de análisis a es-
cala más reducida y de carácter más contextualizado
tal vez debería ser priorizado por sobre los intentos
de construir un modelo explicativo con pretensiones
de universalidad o de formular medidas de política
educativa carácter general para todo el sistema deri-
vadas directamente de los “factores asociados”. De
esta manera, se podría aportar a la construcción de
visiones más complejas del funcionamiento del siste-
ma educativo y recién entonces podrán comenzar a
aparecer elementos significativos para las políticas
educativas.
V.3. Tres vacíos de carácter técnico comunes en
la región
Antes de finalizar esta revisión de los reportes de re-
sultados de las evaluaciones nacionales de aprendi-
zajes, es ineludible señalar tres vacíos o debilidades
técnicas verificables en la mayoría de los reportes y
que son relevantes desde el punto de vista de la in-
formación al lector especializado y de la apertura al
escrutinio público de la calidad de la información ge-
nerada:
Prácticamente en ninguno de los Informes anali-
zados se reportan las tasas de respuesta a los
diferentes instrumentos aplicados, es decir, qué
proporción de los alumnos incluidos en el diseño
muestral o registrados en las escuelas -en el caso
de las operaciones censales- efectivamente parti-
56
Recuadro 4
ECUADOR. Conclusiones del estudio sobre factores asociados
En general se podría enunciar las siguientes observaciones:
Las divergencias son mayores que las coincidencias entre los factores de mayor incidencia en el
logro académico, lo que dificulta la ejecución de acciones comunes para potenciar a los elementos
de mayor impacto. En este sentido se impone tener muy en cuenta las peculiaridades de cada
contexto.
La aplicación de políticas educativas generales se vería muy restringida en razón de que las coinci-
dencias de los factores más importantes en los contextos analizados, que corresponden a los ámbi-
tos de la Gestión Institucional o Escolar, Currículo y Práctica Pedagógica, son muy escasas.
Se debe destacar la presencia de factores que influyen fuertemente en el logro académico de los
estudiantes y que corresponden al ámbito familiar; especialmente la incidencia que en Lenguaje y
Comunicación tienen los recursos de lectura en el hogar (aparece en los dos regímenes de escola-
ridad y en los tres tipos de establecimientos) y, en el caso de Matemática, de igual manera, la
educación formal de la pareja del tutor.
De otra parte, cabe anotar que los factores sujetos al ámbito de la política educativa y que no
ocupan los primeros lugares porque su condición actual no explica en forma importante los
resultados del logro estudiantil, deberían merecer mayor preocupación y estudio para que se
pueda establecer, mediante investigaciones pertinentes, qué prácticas pedagógicas, acciones
de la gestión escolar o institucional y diseño de currículo son realmente “eficaces” para que
produzcan un impacto positivo significativo en el logro académico de los estudiantes”.
Ministerio de Educación, Ecuador, 1999. Factores Asociados al Logro Académico. Resumen de difusión.
ciparon de la evaluación. Normalmente se informa
acerca de la cantidad de alumnos evaluados, pero
no acerca de qué proporción representan en rela-
ción al total de alumnos que deberían haber sido
evaluados. Esta información es crucial dado que
en muchos países se registran importantes nive-
les de ausencia a las pruebas o de falta de res-
puesta a los instrumentos complementarios.
Del mismo modo, prácticamente ninguno de los
Informes analizados incluye la estimación de los
márgenes de error muestral, que son básicos
para analizar la significatividad de la información
que se brinda.
Una tercera debilidad importante es la falta de in-
formación acerca de los procedimientos segui-
dos para la equiparación de los instrumentos
de medición, en los casos en que se aplican eva-
luaciones sucesivas en diferentes años en los mis-
mos grados y disciplinas. Este tema es de enorme
trascendencia dado que remite a la cuestión de si
las diferencias registradas entre años obedecen a
cambios reales o a debilidades de nuestros ins-
trumentos32.
Por ejemplo, en el informe denominado “Resumen
Comparativo de Resultados de las Pruebas
Diagnósticas 1995-1996-1997” de Costa Rica, sim-
plemente se señala: “Los objetivos de 1995 que apa-
recen comparados con los de 1996 y 1997, son con-
siderados como equivalentes porque respondieron a
la misma temática”. Luego el informe muestra impor-
tantes diferencias en los logros entre los años, pero
que probablemente obedezcan a la falta de equiva-
lencia de los ítemes propuestos. Por ejemplo, cae de
55,8% a 21,1% entre 1995 y 1996 el porcentaje de
alumnos que dominan el objetivo “resolver problemas
referidos al cálculo de porcentajes”. Ahora bien, como
el dominio del objetivo se define por la resolución
correcta de tres de cuatro ítemes, es probable que la
fuerte diferencia en el nivel de dominio obedezca a
diferencias en el grado de dificultad de uno o varios
de los ítemes propuestos, ya que difícilmente se re-
gistrarán cambios tan abruptos en los niveles de
aprendizaje de los alumnos.
Estos vacíos en aspectos relevantes de carácter
técnico hacen pensar en la necesidad de trabajar
conjuntamente en la región en la definición de un
conjunto de criterios y requisitos técnicos que to-
dos los informes deberían satisfacer33.
V.4. Resultados de las evaluaciones y
políticas educativas
El reporte sistemático de información relativa a los
aprendizajes de los alumnos tiene para la política edu-
cativa, según se señaló en el inicio del presente capí-
tulo, un primer efecto positivo innegable que consis-
te en colocar el aprendizaje y el acceso al conoci-
miento como temas centrales en las discusiones y
preocupaciones educativas. Sin embargo, para que
dicha información constituya realmente un insumo
adecuado para la concepción y formulación de las
políticas, hay aún un largo camino por recorrer. Este
camino involucra varios desafíos.
En primer término, es preciso reconocer la compleji-
dad de los procesos de formulación de políticas y
toma de decisiones, evitando fortalecer la visión sim-
plificada de que podría existir una relación directa
entre los hallazgos de un trabajo de investigación y la
toma de decisiones. La concepción e implementación
de la política educativa es un proceso mucho más
complejo, que implica un momento de comprensión
y conceptualización de la realidad; otro de creación o
concepción de prioridades, líneas de acción y estra-
tegias; un tercero de formación de voluntad política,
que a la vez implica asumir, negociar y articular dis-
tinto tipo de costos y conflictos de intereses políti-
cos, económicos, entre otros.
En este sentido, debería asumirse una postura más
bien cautelosa en cuanto a lo que los estudios de “fac-
tores asociados” pueden aportar a la formulación de
políticas. Aún en el mejor de los casos, en que se rea-
lice una medición de factores ‘pedagógicos’ asocia-
dos a los resultados con altos estándares de rigor
metodológicos y sus resultados sean analizados con
solidez y apropiada ‘humildad’, dichos resultados con-
tinuarían siendo insumos “falibles” e insuficientes para
la formulación de políticas, del mismo modo en que
los son los indicadores económicos y sociales para la
formulación de las políticas económicas y sociales.
Lo anterior no significa que no deba realizarse inves-
tigación sobre factores asociados. Por el contrario,
siempre la toma de decisiones a partir de informa-
ción empírica -construida de manera sistemática y
57
32 Asimismo, otro punto que merecería un estudio específico es el de la
correspondencia entre los ítemes propuestos en las pruebas y las tablas
de especificaciones y definiciones de contenidos y competencias a
evaluar. Este aspecto queda fuera de los alcances del presente estudio,
que no incluyó análisis de pruebas. Sin embargo, como se indicó en
otra parte del texto, es necesario dejar planteada la preocupación acerca
de la calidad de las definiciones adoptadas en algunos países sobre los
contenidos y competencias a evaluar, así como acerca del grado en
que los ítemes incluidos en las pruebas efectivamente miden las
competencias estipuladas.
33 Para ello puede resultar útil tomar como punto de partida los diferentes
estándares para la medición y evaluación producidos en los Estados
Unidos por instituciones como la Asociación Americana de Investigación
Educativa (AERA) o el Centro Nacional de Estadísticas Educativas (NCES)
del gobierno federal.
metodológicamente apropiada- será mejor que la
toma de decisiones sin una base de información.
Sin embargo, tal vez los sistemas nacionales de eva-
luación de aprendizajes, antes de embarcarse en es-
tudios de investigación sobre factores asociados de
enorme complejidad técnica, deberían priorizar tra-
bajos tales como:
brindar en forma continua información sobre
indicadores y temas relevantes emergentes de los
cuestionarios complementarios, en el marco de
una revisión conceptual sobre el tema de que se
trate en cada caso -al estilo de los boletines Cre-
cer anteriormente mencionados-, con el propósi-
to de ir ayudando a “ver” diferentes aspectos del
sistema educativo, a comprender la información y
a crear una cultura de reflexión sistemática sobre
la educación a partir de información empírica;
realizar o encomendar a terceros investigaciones
de diverso tipo, fundamentalmente buenas des-
cripciones etnográficas de lo que ocurre en es-
cuelas y aulas en las que los resultados han sido
particularmente buenos o malos, así como estu-
dios del tipo evaluación de impacto con diseños
cuasi-experimentales para programas o interven-
ciones de política educativa. Por ejemplo, evaluar
los resultados de un conjunto de escuelas sobre
las que se ha desarrollado una determinada inter-
vención y compararlas transversalmente con otras
escuelas similares sobre las que no hubo interven-
ción, o longitudinalmente consigo mismas.
58
DIEZ PISTAS PARA PENSAR EN EL FUTURO
Como forma de cerrar este recorrido por los informes
nacionales de resultados de pruebas de evaluación
de aprendizajes o logros educativos, formularemos a
continuación lo que consideramos son las diez prin-
cipales pistas o desafíos para mejorar nuestros mo-
dos de reportar los resultados, así como para mejo-
rar nuestro conocimiento acerca del grado en que
nuestros reportes efectivamente están teniendo al-
gún impacto en el sistema educativo.
1. Una primera pista para la reflexión es, en realidad,
una advertencia respecto al cuidado que debería
tenerse antes de “adosar” a las evaluaciones na-
cionales algún tipo de consecuencia directa para
las escuelas, del tipo incentivos económicos, pu-
blicación de rankings u otros. En este sentido, se-
ría pertinente realizar algún tipo de investigación
cualitativa acerca del impacto que realmente tie-
ne sobre las escuelas una estrategia de esta natu-
raleza en un país como Chile, que ha apostado
fuertemente en esta línea. Según se indicó en el
primer capítulo, este enfoque genera una fuerte
presión sobre las escuelas en la dirección de des-
tinar mucho tiempo a preparar a sus alumnos para
responder a las pruebas, lo cual puede dar lugar a
una peligrosa reducción del curriculum cuando se
trabaja exclusivamente con pruebas de selección
múltiple o de respuesta sencilla.
2. Si la apuesta principal es que los sistemas de eva-
luación aporten a los docentes información rele-
vante para revisar y mejorar su trabajo, entonces
deberíamos generar conocimiento específico en
torno a las siguientes preguntas: a) ¿están los
maestros recibiendo los informes y publicaciones
derivadas de las evaluaciones nacionales?; b) ¿en
qué proporción efectivamente las leen?; c) ¿en qué
medida comprenden el contenido de esas publi-
caciones?; d) ¿en qué grado la información que
les ofrecemos en nuestros reportes les resulta per-
tinente y enriquecedora para comprender los pro-
cesos de aprendizaje de los alumnos y para anali-
zar sus propias prácticas de enseñanza?; e) de los
diferentes tipos de estrategias desarrolladas en la
región -envío de publicaciones, talleres de capa-
citación, aplicación y corrección autónoma de
pruebas, etc.-, ¿cuáles aparecen como más perti-
nentes para lograr que las evaluaciones sirvan para
mejorar la enseñanza?; y, f) ¿qué otras expectati-
vas o demandas tienen los maestros hacia las uni-
dades de evaluación?
3. Aún cuando no se desee adoptar el camino de la
publicación de resultados por escuela en la pren-
sa, queda en pie el desafío de cómo informar a las
familias acerca de los resultados de las evaluacio-
nes. Las preguntas a plantearse en este punto son:
qué tipo de información brindarles y de qué modo
hacerlo. En principio debería tratarse, más que de
información numérica -datos de resultados-, de
información ilustrativa acerca de qué es lo que se
espera que sus hijos sean capaces de hacer, en
qué grado lo están logrando y qué pueden hacer
las propias familias para apoyar la labor de la es-
cuela.
4. En el mismo sentido, sería útil saber más acerca
de cómo otros actores relevantes -autoridades
educativas, profesionales de unidades de currícu-
lum o formación de docentes, políticos, dirigentes
sociales- comprenden e interpretan los resultados
y qué demandas de información tendrían ellos ha-
cia los sistemas de evaluación. Un modo de cons-
truir respuestas a las interrogantes formuladas en
este párrafo y en los dos anteriores sería realizar
estudios de casos nacionales mediante encues-
tas y grupos de discusión con maestros, familias
y otros actores relevantes, con el fin de indagar en
sus percepciones y demandas sobre los sistemas
de evaluación de aprendizajes.
5. Habría que efectuar una revisión sistemática de
cómo la prensa ha venido divulgando los resulta-
dos de las evaluaciones en los países de la región,
el tipo de visión que se deriva hacia la opinión
pública y el tipo de errores o interpretaciones
inapropiadas más comunes. Eventualmente, de-
bería pensarse en instancias formativas dirigidas
a periodistas dedicados a temas educativos (Ar-
gentina ha comenzado a hacerlo recientemente,
invitando a un especialista español a dictar un
seminario sobre evaluación para periodistas).
6. Para dar respuesta a lo que los diferentes actores
esperan de los sistemas de evaluación, probable-
mente será necesario avanzar hacia formas de di-
seño de las pruebas y de los reportes de resulta-
dos de carácter “criterial”; es decir, que no se limi-
ten a describir promedios de respuestas correc-
tas y a comparar entre tipos de escuelas o juris-
dicciones en que el país está dividido, sino que
establezcan niveles de desempeño exigibles a to-
dos los alumnos en cierto grado o nivel, y que re-
porten el grado en que ello ha sido alcanzado.
Asimismo, los reportes numéricos deberían ilus-
trar ampliamente lo que los puntajes significan en
términos de conocimientos y competencias de los
alumnos. Estas ilustraciones deberían ir más allá
de la publicación de ejemplos de ítemes individua-
les.
7. Es preciso incorporar de alguna manera la consi-
deración de la composición sociocultural del
alumnado de los diferentes tipos de escuelas o
sectores del sistema educativo en el análisis y pre-
sentación de resultados.
8. Habría que dar “valor agregado” a los informes en
términos de reflexión sobre los datos y relación de
éstos con lo que otras investigaciones muestran,
entre otras cosas. Asimismo, es preciso reportar
sistemáticamente acerca de otras variables socia-
les e institucionales por sí mismas, de modo de
enriquecer la comprensión sobre cómo es el sis-
tema educativo y sus heterogeneidades internas.
Esto debería hacerse inclusive antes de hacerlas
formar parte de estudios de “factores asociados”,
lo que permitiría mejorar la comprensión de lo que
significan dichos factores, así como la manera de
medirlos. Por otra parte, es preciso llevar adelante
o encomendar investigaciones que asuman ade-
cuadamente la complejidad metodológica del tema
y moderar las expectativas acerca de lo que las
mismas pueden aportar a la formulación de las
políticas educativas para evitar caer en simplifica-
ciones. Es conveniente también ampliar el espec-
tro de investigaciones a realizar en materia de “fac-
tores asociados” incluyendo abordajes de carác-
ter cualitativo.
9. Un desafío relevante a asumir es el monitoreo en
el tiempo de los resultados de nuestros sistemas
educativos. Probablemente este sea uno de los
tipos de información relevantes tanto para el pú-
blico en general como para las autoridades y
tomadores de decisiones. Esta tarea tiene fuertes
implicancias de tipo técnico para garantizar la equi-
valencia de los instrumentos a lo largo del tiempo.
10.Finalmente, las unidades de evaluación de la re-
gión tendríamos que trabajar en forma conjunta
en la definición de estándares de calidad técnica
que deberían satisfacer las evaluaciones y los re-
portes de resultados. Seguramente este sería un
paso enriquecedor para todos que permitiría me-
jorar la calidad de nuestro servicio al sistema edu-
cativo y a la sociedad.
59
INFORMES NACIONALES ANALIZADOS
Argentina
Ministerio de Cultura y Educación de la Nación.
Secretaría de Programación y Evaluación Educa-
tiva (1995). Recomendaciones Metodológicas para
la Enseñanza. Nivel Primario. 7
°
grado. Lengua. Ar-
gentina: Ministerio de Cultura y Educación de la
Nación.
Ministerio de Cultura y Educación de la Nación.
Secretaría de Programación y Evaluación Educa-
tiva (1995). Recomendaciones Metodológicas para
la Enseñanza. Nivel Primario. 7
°
grado. Matemáti-
ca. Argentina: Ministerio de Cultura y Educación
de la Nación.
Ministerio de Cultura y Educación de la Nación.
Secretaría de Programación y Evaluación Educa-
tiva (1995). Recomendaciones Metodológicas para
la Enseñanza. Nivel Medio. 5
°
grado. Lengua. Ar-
gentina: Ministerio de Cultura y Educación de la
Nación.
Ministerio de Cultura y Educación de la Nación.
Secretaría de Programación y Evaluación Educa-
tiva (1996). Operativo Nacional de Evaluación 1995.
Argentina: Ministerio de Cultura y Educación de la
Nación.
Ministerio de Cultura y Educación de la Nación.
Secretaría de Programación y Evaluación Educa-
tiva (1997). Operativo Nacional de Evaluación 1996.
Argentina: Ministerio de Cultura y Educación de la
Nación.
Ministerio de Cultura y Educación de la Nación.
Secretaría de Programación y Evaluación Educa-
tiva (1997). Recomendaciones Metodológicas para
la Enseñanza. 3er. Operativo Nacional de Evalua-
ción (1995). Ciencias Naturales. Argentina: Minis-
terio de Cultura y Educación de la Nación.
Ministerio de Cultura y Educación de la Nación.
Secretaría de Programación y Evaluación Educa-
tiva (1997). Recomendaciones Metodológicas para
la Enseñanza. 3er. Operativo Nacional de Evalua-
ción (1995). Ciencias Sociales. Argentina: Ministe-
rio de Cultura y Educación de la Nación.
Ministerio de Cultura y Educación de la Nación.
Secretaría de Programación y Evaluación Educa-
tiva (2000). 7
°
Operativo Nacional de Evaluación
Muestral EGB 1999. Argentina: Ministerio de Cul-
tura y Educación de la Nación.
Ministerio de Cultura y Educación de la Nación.
Secretaría de Programación y Evaluación Educa-
tiva (2000). III Operativo Nacional de Evaluación
de Finalización del Nivel Secundario 1999. Argen-
tina: Ministerio de Cultura y Educación de la Na-
ción.
60
Bolivia
Sistema de Medición y Evaluación de la Calidad
de la Educación (SIMECAL), (1997). Rendimientos
Escolares de 3º y 6º de Educación Primaria en Len-
guaje y Matemática y Factores Asociados. Bolivia:
Ministerio de Desarrollo Humano/Secretaría Nacio-
nal de Educación.
Sistema de Medición y Evaluación de la Calidad
de la Educación (SIMECAL), (2000). Informe
SIMECAL. Presentación de Resultados. Línea de
Base 1ro, 3ro, 6to, 8vo de primaria. 4to de secun-
daria. Bolivia: Ministerio de Educación, Cultura y
Deportes.
Brasil
Ministerio de Educación, (1995). SAEB 95: resul-
tados estaduais (del web). Brasilia: INEP.
Ministerio de Educación, (1997). SAEB 97: prime-
ros resultados. Brasilia: INEP.
Ministerio de Educación, (1998). ENEM: Examen
Nacional do Ensino Medio: documentos básicos.
Brasilia: INEP.
Guimaraes, M.H., (1998). Avaliacao do Sistema
Educacional Brasileiro. Tendencias e Perspectivas.
Brasilia: MEC/INEP.
Programa de Avaliacao do Sistema Educacional
Paraná, (1998). Resultados da Avaliacao do Ren-
dimiento Escolar. 4ª Serie do Ensino Fundamental.
Brasil: Gobierno del Estado de Paraná/Secretaría
de Estado da Educacao.
Ministerio de Educación, (1999). Bases para um
Ensino de Qualidade. Folleto. Brasilia: INEP.
Ministerio de Educación, Instituto Nacional de
Estudos e Pesquisas Educacionais (INEP), (1999).
¿Cómo está la Educación Básica en Brasil? Folle-
to en castellano y en inglés. Brasilia: INEP.
Costa Rica
Ministerio de Educación Pública, (1997). Informe
Nacional sobre el Desarrollo, Validación y Aplica-
ción de las Pruebas de Diagnóstico de Conocimien-
tos. Programa de Medición y Evaluación Educati-
va. Proyecto Pruebas de Diagnóstico de Conoci-
mientos (BIRF-MEP-UCR). Costa Rica: Instituto de
Investigaciones para el Mejoramiento de la Edu-
cación Costarricense (IIMEC).
Proyecto de Pruebas de Diagnóstico de Conoci-
mientos, (1998). Informe Nacional sobre los Re-
sultados de las Pruebas de Diagnóstico de Cono-
cimientos 1997. Costa Rica: Ministerio de Educa-
ción Pública/Programa de Pruebas Nacionales.
Ministerio de Educación Pública, (1998). Informe
Nacional Tercer Ciclo 1997. Costa Rica: Consejo
Superior de Educación. Centro Nacional de Eva-
luación para la Educación (CENE-EDU).
Ministerio de Educación Pública, (1998). Informe
Nacional Bachillerato 1997. Costa Rica: Consejo
Superior de Educación/Centro Nacional de Eva-
luación para la Educación (CENE-EDU).
Ministerio de Educación Pública, (1998). Informe
nacional de pruebas de diagnóstico de conoci-
mientos I y II ciclos. Costa Rica: Instituto de Inves-
tigaciones para el Mejoramiento de la Calidad de
la Educación Costarricense (IIMEC)/Centro Nacio-
nal de Evaluación para la Educación (CENE-EDU).
Ministerio de Educación Pública, (1998). Resumen
comparativo de resultados de las pruebas
diagnósticas 1995-1996-1997. San José: Instituto
de Investigaciones para el Mejoramiento de la
Educación Costarricense (IIMEC) /Centro Nacio-
nal de Evaluación para la Educación (CENE-EDU).
Chile
Sistema de Medición de Calidad de la Educación
(SIMCE), (s/fecha). Análisis Estadísticos de Resul-
tados 1990-1992-1994. Chile: Ministerio de Edu-
cación.
Ministerio de Educación, República de Chile,
(1996). Sistema de Medición de Calidad de la Edu-
cación. Chile: Ministerio de Educación.
Sistema de Medición de Calidad de la Educación
(SIMCE), (1996). Resultados 8
°
Año Básico 1995.
Chile: Ministerio de Educación.
Sistema de Medición de Calidad de la Educación
(SIMCE), (1997). Folleto Técnico 1997. Directivos
y Docentes. Educación Básica. Chile: Ministerio de
Educación.
Sistema de Medición de Calidad de la Educación
(SIMCE), (1997). Boletín Informativo N
°
5 para Pro-
fesores Educación Básica. Análisis e Interpretación
de Resultados 1996. Chile: Ministerio de Educa-
ción.
Ministerio de Educación, (1998). Resultados Prue-
ba SIMCE 1997. Chile: Ministerio de Educación.
Ministerio de Educación, Secretaría Ministerial de
Educación Región Metropolitana, (1998). Análisis
de Resultados SIMCE 1997 (8os. Básicos). Chile:
Departamento Provincial de Educación, Santiago
Centro.
Ecuador
APRENDO/Sistema Nacional de Medición de Lo-
gros Académicos, (1997). Informe Técnico del De-
sarrollo, Validación y Aplicación de las Pruebas
“Aprendo 1996”. Ecuador: Ministerio de Educa-
ción y Cultura, EB/PRODEC.
Ministerio de Educación y Cultura, Sistema Na-
cional de Medición de Logros Académicos, (1998).
Primera Prueba Nacional “APRENDO 1996”. Re-
61
sultados Nacionales. Ecuador: Ministerio de Edu-
cación y Cultura, EB/PRODEC.
Ministerio de Educación y Cultura, Sistema Na-
cional de Evaluación de la Educación APRENDO,
(1998). Análisis de las pruebas Aprendo 1996 y de
sus Resultados. Matemática. Décimo año de Edu-
cación Básica. Ecuador: Ministerio de Educación
y Cultura, EB/PRODEC.
Ministerio de Educación y Cultura, Sistema Na-
cional de Evaluación de la Educación APRENDO,
(1998). Análisis de las pruebas Aprendo 1996 y de
sus Resultados. Matemática. Séptimo año de Edu-
cación Básica. Ecuador: Ministerio de Educación
y Cultura, EB/PRODEC.
Ministerio de Educación y Cultura, Sistema Na-
cional de Evaluación de la Educación APRENDO,
(1998). Análisis de las pruebas Aprendo 1996 y de
sus Resultados. Matemática. Tercer año de Edu-
cación Básica. Ecuador: Ministerio de Educación
y Cultura, EB/PRODEC.
Ministerio de Educación y Cultura, Sistema Na-
cional de Evaluación de la Educación APRENDO,
(1998). Análisis de las pruebas Aprendo 1996 y de
sus Resultados. Lenguaje y Comunicación. Déci-
mo año de Educación Básica. Ecuador: Ministerio
de Educación y Cultura, EB/PRODEC.
Ministerio de Educación y Cultura, Sistema Na-
cional de Evaluación de la Educación APRENDO,
(1998). Análisis de las pruebas Aprendo 1996 y de
sus Resultados. Lenguaje y Comunicación. Sépti-
mo año de Educación Básica. Ecuador: Ministerio
de Educación y Cultura, EB/PRODEC.
Ministerio de Educación y Cultura, Sistema Na-
cional de Evaluación de la Educación APRENDO,
(1998). Análisis de las pruebas Aprendo 1996 y de
sus Resultados. Lenguaje y Comunicación. Tercer
año de Educación Básica. Ecuador: Ministerio de
Educación y Cultura, EB/PRODEC.
APRENDO/Sistema Nacional de Medición de Lo-
gros Académicos, (1998). Segunda Prueba Nacio-
nal “Aprendo 1997”. Resultados Nacionales. Ecua-
dor: Ministerio de Educación y Cultura, EB/
PRODEC.
APRENDO/Sistema Nacional de Medición de Lo-
gros Académicos, (1998). Informe Técnico del De-
sarrollo, Validación y Aplicación de las Pruebas
“Aprendo 1997”. Ecuador: Ministerio de Educa-
ción y Cultura, EB/PRODEC.
Sistema Nacional de Evaluación de la Calidad de
la Educación APRENDO, (1999). Factores Asocia-
dos al Logro Académico (resumen de difusión).
Ecuador: Ministerio de Educación y Cultura, EB/
PRODEC.
Ministerio de Educación y Cultura. Sistema Na-
cional de Medición de Logros Académicos. MEC
- EB/PRODEC, (1999). Aprendo. Información Bá-
sica. Ecuador: Ministerio de Educación y Cultura,
EB/PRODEC.
Sistema Nacional de Evaluación de la Calidad de
la Educación APRENDO, (1999). Resultados Na-
cionales de la Aplicación de las Pruebas APREN-
DO 1998 (Redes CEM del EB/PRODEC). Ecuador:
Ministerio de Educación y Cultura, EB/PRODEC.
Sistema Nacional de Evaluación de la Calidad de
la Educación APRENDO, (2000). Informe de Re-
sultados por Establecimiento Aprendo 2000. Ecua-
dor: Ministerio de Educación y Cultura, EB/
PRODEC.
México
Secretaría de Educación Pública (SEP), (2000). Dis-
tribución de los planteles públicos de educación
primaria y secundaria, según el nivel de aciertos
de sus alumnos en los exámenes de carrera
magisterial. México: SEP/Dirección General de
Evaluación.
Paraguay
Sistema Nacional de Evaluación del Proceso Edu-
cativo (SNEPE), (1997). Primer Informe de Resul-
tados. SEXTO GRADO. Asunción: Ministerio de
Educación y Culto.
Ministerio de Educación y Culto, (1998). Informe
de resultados 1998. Tercer Curso. Asunción: Pro-
grama de Mejoramiento de la Calidad de la Edu-
cación Secundaria MECES-MEC-BIRF.
Sistema Nacional de Evaluación del Proceso Edu-
cativo (SNEPE), (1999). Resultados de las Pruebas
Nacionales. SEXTO CURSO. Asunción: Ministerio
de Educación y Culto.
Perú
Ministerio de Educación, (1999). Boletín CRECER
N
°
1 (octubre), Algunos aspectos de la formación
docente en el Perú. Lima: Ministerio de Educación.
Ministerio de Educación, (2000). Boletín CRECER
N
°
2 (enero), “¿Te gustan las clases de Matemáti-
ca? ¿Y las clases de Lenguaje?”. Lima: Ministerio
de Educación.
Ministerio de Educación, (2000). Boletín CRECER
N
°
3 (abril), “Las tareas escolares”. Lima: Ministe-
rio de Educación.
Ministerio de Educación, (2000). Boletín CRECER
N
°
4 (setiembre), “La escuela y las expectativas de
las madres y los padres”. Lima: Ministerio de Edu-
cación.
Ministerio de Educación, (2000). Boletín CRECER
N
°
5/6 (noviembre), “Resultados de las Pruebas de
Matemática y Lenguaje. ¿Qué aprendimos a partir
de la Evaluación CRECER 1998?”. Lima: Ministe-
rio de Educación.
62
Uruguay
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1996); Material Informativo para Maestros y
Directores. I. Fundamentos. Uruguay: UMRE.
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1996); Evaluación Nacional de Aprendizajes
en Lengua Materna y Matemática. 6tos. años de
Enseñanza Primaria - 1996. Primer Informe de Di-
fusión Pública de Resultados. Uruguay: UMRE.
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1997); Evaluación Nacional de Aprendizajes
en Lengua Materna y Matemática. 6tos. años de
Enseñanza Primaria - 1996. Segundo Informe de
Difusión Pública de Resultados. Uruguay: UMRE.
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1997); Evaluación Nacional de Aprendizajes
en Lengua Materna y Matemática. 6tos. años de
Enseñanza Primaria - 1996. Tercer Informe de Di-
fusión Pública de Resultados. Uruguay: UMRE.
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1998); Evaluación Nacional de Aprendizajes
en Tercer Año de Educación Primaria - 1998. Bo-
letín Informativo para Maestros. Uruguay: UMRE.
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1998); Evaluación Nacional de Aprendizajes
en Tercer Año de Educación Primaria - 1998. Ma-
nual de corrección de la prueba y procesamiento
del cuestionario para madres, padres y tutores.
Uruguay: UMRE.
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1998); Evaluación Nacional de Aprendizajes
en Tercer Año de Educación Primaria - 1998. Ma-
nual para asignar puntajes a la prueba de produc-
ción escrita. Uruguay: UMRE.
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1998); Evaluación Nacional de Aprendizajes
en Tercer Año de Educación Primaria - 1998. Pri-
mer Informe de Devolución de Resultados a las
Escuelas. Uruguay: UMRE.
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1999); Estudio de los Factores Institucionales
y Pedagógicos que Inciden en los Aprendizajes en
Escuelas Primarias de Contextos Sociales
Desfavorecidos en el Uruguay. Uruguay: UMRE.
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1999); Evaluación Nacional de Aprendizajes
en Lengua Materna y Matemática. 6tos. años de
Enseñanza Primaria - 1999. Aportes para la Eva-
luación Autónoma en las Escuelas. Uruguay:
UMRE.
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1999); Evaluación Nacional de Aprendizajes
en Lengua Materna y Matemática. 6tos. años de
Enseñanza Primaria - 1999. Manual de Interpreta-
ción de la Prueba de Lengua Materna. Uruguay:
UMRE.
63
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1999); Evaluación Nacional de Aprendizajes
en Lengua Materna y Matemática. 6tos. años de
Enseñanza Primaria - 1999. Manual de Interpreta-
ción de la Prueba de Matemática. Uruguay: UMRE.
ANEP/Unidad de Medición de Resultados Educa-
tivos, (1999); Evaluación Nacional de Aprendizajes
en Lengua Materna y Matemática. 6tos. años de
Enseñanza Primaria - 1999. Primer Informe. Uru-
guay: UMRE.
ANEP/Unidad de Medición de Resultados Educa-
tivos, (2000); Evaluaciones Nacionales de Apren-
dizajes en Educación Primaria en el Uruguay (1995-
1999). Uruguay: UMRE.
BIBLIOGRAFÍA
BEATON, A., (1999. ). International assessments:
the United States TIMSS experience En: F. Ottobre
(ed.), The role of measurement and evaluation in
education policy. París, UNESCO Publishing,
Educational studies and documents N° 69.
BENVENISTE, L., (2000). La Evaluación del Rendi-
miento Académico y la Construcción de Consen-
sos en Uruguay. Lima: PREAL/GRADE.
CARNOY, M., (2000). School Choice? Or is it
Privatization?. En: Educational Researcher, Vol. 9,
N
°
7, pp. 15-20.
LLACH, J.J., MONTOYA, S. y ROLDÁN, F. (2000).
Educación para Todos. DISTAL, Buenos Aires.
LINN, R. & GRONLUND, N. (2000). Measurement
and Assessment in Teaching. Prentice-Hall, 8ª edi-
ción.
LINN, R., (2000). Assessments and Accountability.
En: Educational Researcher, Vol. 29, N
°
2, pp. 4-
16.
MESSICK, S., (1999). Key Issues. En: F. Ottobre
(ed.), The role of measurement and evaluation in
education policy. París, UNESCO Publishing,
Educational studies and documents N° 69.
MINISTERIO DE EDUCACIÓN, República de Chi-
le (2000). Evaluación de Desempeño Estableci-
mientos Educacionales Subvencionados. SNED
2000-2001. Santiago.
OTTOBRE, F., (ed.) (1999), The role of measurement
and evaluation in education policy. París, UNESCO
Publishing, Educational studies and documents N°
69.
RAVELA, P. (editor), WOLFE, R., VALVERDE, G. Y
ESQUIVEL, J.M., (2000). Los Próximos Pasos: ¿ha-
cia dónde y cómo avanzar en la evaluación de
aprendizajes en América Latina? PREAL/GRADE,
Lima.
SECRETARÍA DE EDUCACIÓN PÚBLICA DE MÉXI-
CO (SEP) - SINDICATO NACIONAL DE TRABAJA-
DORES DE LA EDUCACIÓN (SNTE) (1994). Ca-
rrera Magisterial. Folleto Informativo. Primera Ver-
tiente. SEP, México D.F.
TUIJNMAN, A. y POSTLETHWAITE, N. (editores),
(1994); Monitoring the Standards of Education.
Pergamon, Oxford.
UNESCO/OREALC, (1999). Primer Estudio Inter-
nacional Comparativo sobre Lenguaje, Matemáti-
ca y Factores Asociados en Tercero y Cuarto Gra-
do. UNESCO/OREALC, Santiago.
Ve. A. Ce.Ve. A. Ce.
Ve. A. Ce.Ve. A. Ce.
Ve. A. Ce.
Teléfono: (56-2)2387089 - Fax: (56-2)2389363
E-mail: info@veace.cl
Santiago - Chile
... El ejercicio de interpretación de los resultados de las pruebas Saber 11 de 2016 en las instituciones participantes en el estudio incluyó el análisis de los promedios generales (de todas las asignaturas), una lectura comparativa de los promedios de cada asignatura y del porcentaje de estudiantes de cada institución en los cuatro niveles de desempeño, el análisis de las opiniones sobre la preparación de las pruebas Saber 11 y los procesos de evaluación en la clase de Ciencias Sociales. Desde la perspectiva de Ravela (2006a), conocer las mediciones y comprender qué significan los diferentes tipos de datos que ofrecen los informes nacionales es relevante porque de ellos depende la comprensibilidad de la información para los destinatarios, además, está en juego la utilidad de dicha información en función de las necesidades de los usuarios. ...
... Según la tipología establecida por Wolfe (2006), las pruebas Saber 11 son un examen de evaluación y certificación, producto de la medición de conocimientos y habilidades en las que el reporte de datos se extiende hasta el individuo. Es también una prueba de alto riesgo (Ravela, 2006a), en la medida en que es un examen de acreditación que presentan los estudiantes al finalizar los seis años de educación secundaria, pues sus resultados son utilizados para la selección de los alumnos que desean ingresar a la educación superior, así como para medir la calidad de los colegios, otorgar premios, becas e incentivos económicos. Estas pruebas también tienen una dimensión diagnóstica porque los reportes derivados de ellas brindan información pertinente para el diseño e implementación de planes de mejoramiento. ...
... La inclusión de las opiniones de los alumnos sobre el entrenamiento que reciben para las pruebas Saber 11 y la evaluación de la clase de Ciencias Sociales indica que si bien es importante la lectura de los resultados del examen, es necesario también interpretarlos a la luz de otras variables, como las dimensiones socioeconómicas, las características del profesorado y de la organización escolar y el componente pedagógico y didáctico, pues además de comprensiones más complejas, estaríamos ante información útil para el diseño, ejecución y evaluación de planes de mejoramiento escolar. Según Ravela (2006a) el reto es superar la tendencia que han tenido la mayoría de los informes nacionales en América Latina, de ser extremadamente descriptivos y limitarse a relatar los datos emergentes, sin analizar conexiones con otro tipo de información recogida en la misma prueba o proveniente de otras investigaciones. ...
Article
Full-text available
El objetivo de este artículo es analizar, por un lado, los resultados de las pruebas de Ciencias Sociales del examen de Estado del año 2016 en Colombia y, por el otro, las opiniones de los estudiantes sobre la preparación que reciben para dicha prueba en el marco de los procesos de evaluación de la asignatura. Se utilizó una metodología cuantitativa con información de dos fuentes: el Instituto Colombiano para la Evaluación de la Educación y una encuesta. Los datos se sistematizaron utilizando el programa estadístico Infostad Profesional. Se determinó que, si bien estas pruebas describen el logro de niveles particulares de desempeño de los estudiantes en el área de Ciencias Sociales, es necesario que estos resultados puedan ayudar a comprender aspectos curriculares y prácticas de enseñanza; esto implica un desplazamiento en la pregunta “cuánto saben los estudiantes” a “qué saben” y “qué son capaces de hacer”, y centrar la reflexión en los usos pedagógicos de los resultados de los exámenes.
... Fruto de este proyecto es el documento ¿Cómo presentan sus resultados los sistemas nacionales de evaluación educativa en América Latina? (Ravela, 2001). Uno de los temas abordados, referido a la información producida y difundida por los sistemas nacionales de evaluación, es el de los usos que se pretende se hagan de este tipo de datos y si efectivamente se llevan a la práctica. ...
... Los hallazgos de esta investigación muestran que la mayor parte de los sistemas nacionales de evaluación de los aprendizajes en América Latina son de carácter formativo y su uso es de bajo riesgo, 1 salvo algunas excepciones como Chile y México, 2 que implementaron sistemas cuyos usos eran de alto riesgo. 3 Ambos tipos tienen desventajas, dado que los usos de consecuencias fuertes o alto riesgo pueden generar que los actores educativos dediquen una cantidad excesiva de tiempo a la preparación para las pruebas, reduciendo el currículo (Backhoff y Contreras, 2014, Ravela, 2001; mientras que los usos de bajo riesgo o la ausencia de consecuencias a partir de los resultados de las evaluaciones pueden propiciar poco interés y responsabilidad por los resultados de este tipo de pruebas. En las conclusiones de este trabajo el autor menciona, entre otros aspectos, que es importante realizar investigaciones acerca de los efectos que tiene el uso de las evaluaciones a gran escala para establecer incentivos. ...
... En el segundo nivel se encuentran todos aquellos usos de los resultados de evaluaciones a gran escala que son atribuidos al colectivo escolar. Autores como Ravela (2001) señalan, de manera general, que los resultados de evaluaciones a gran escala pueden contribuir al mejoramiento de las escuelas, aunque no se específica a través de qué medios se lleva a cabo esto. Algunas otras contribuciones llevan a identificar las siguientes categorías en este nivel: ...
Article
Full-text available
Las evaluaciones a gran escala forman parte de los esfuerzos de los sistemas educativos por identificar su situación actual, y, según el caso, aprovechar sus resultados para fines de rendición de cuentas o de mejora pedagógica. Para generar en efecto algún impacto tendiente a la mejora, se requieren procesos de difusión y uso de resultados que aseguren el aprovechamiento de esta información. Este artículo presenta una síntesis de la literatura revisada en el marco de un estudio realizado en Aguascalientes, México, durante 2013, que tuvo como objetivo general, describir los usos que supervisores, directores y docentes hacían de la información derivada de la Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE), vigente en el sistema educativo mexicano precisamente hasta ese año. A partir de esa revisión y habiéndolos utilizado en ese estudio, se proponen cinco ejes que pueden orientar la obtención y análisis de información en investigaciones futuras sobre el tema: difusión de la información producida por las evaluaciones a gran escala; análisis e interpretación de la información; uso de los resultados en tres niveles: prácticas docentes, gestión escolar y supervisión; efectos del uso de resultados y factores asociados al aprovechamiento de la información. Palabras clave: Evaluación educativa; Evaluación del aprendizaje; Evaluaciones estandarizadas; Programa de evaluación; Educación básica; Calidad de la educación. A Proposal of Axes for the Analysis of the Use of Results of Large-Scale Evaluations of Learning by Teachers and PrincipalsLarge-scale assessments are one of the efforts to identify the current situation of the educational systems, and, depending on the case, build on their results for accountability purposes or pedagogical improvement. In order to promote improvement, there is a need to develop and implement specific processes for communicating and using large-scale assessments results. This paper is aimed at presenting a synthesis of the literature reviewed for a study undertaken in Aguascalientes, Mexico, during 2013. The main objective of the study was to describe how the information derived from the Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE) was used by supervisors, headteachers and teachers. ENLACE was a census large-scale in force in the Mexican educational system until 2013. As a result of this literature review, five axes are proposed for guiding the collection and analysis of information in future research: dissemination of information produced by large-scale evaluations; analysis and interpretation of information; use of results in teaching practices, school management and supervision; effects of the use of large-scale assessments results; and, factors associated with the use of information.Keywords: Educational assessment; Learning assessment; Standardized assessment; Program evaluation; Basic education; Quality education.
... Otro uso es la evaluación de programas educativos normales y avanzados (Sánchez, 2007). La expectativa que las instituciones evaluadoras tienen al producir dichos informes es que los resultados que se reportan, además de sus consecuentes interpretaciones, produzcan un impacto favorable, tanto al interior de las escuelas como de las aulas, el cual se haga evidente en las prácticas de enseñanza, así como en las áreas que están a cargo de la planeación de la educación desde fuera de las instituciones, cuyas decisiones afectan a varios o a todos los niveles de los sistemas educativos (Ravela, 2002). Es importante mencionar que cada institución que genera instrumentos de medición del aprendizaje emite sus propios informes, de manera que abundan los modelos. ...
... Con ella se producen los documentos en los que se integra la información pertinente para cada usuario. Dicha información es la que usualmente se ofrece en reportes de algunos exámenes de otras instituciones (SEP, 2012;INEE, 2012;CENEVAL, 2012;INEVAL, 2012;IEE, 2012;UEE, 2012) y la que se menciona en diversas fuentes como necesaria de acuerdo al destinatario (Sánchez, 2007;Ravela, 2002Ravela, , 2003Córdoba, 2006;Nicol y Milligan, 2006;Crooks, 1988). ...
... Con ella se producen los documentos en los que se integra la información pertinente para cada usuario. Dicha información es la que usualmente se ofrece en reportes de algunos exámenes de otras instituciones (SEP, 2012;INEE, 2012;CENEVAL, 2012;INEVAL, 2012;IEE, 2012;UEE, 2012) y la que se menciona en diversas fuentes como necesaria de acuerdo al destinatario (Sánchez, 2007;Ravela, 2002Ravela, , 2003Córdoba, 2006;Nicol y Milligan, 2006;Crooks, 1988). ...
... Cuando los exámenes referidos a un criterio son aplicados a gran escala, los destinatarios de los reportes de resultados pueden ser de dos niveles como se definieron en este estudio en dos niveles, los cuales se especifican en la tabla 1. Tabla 1. Destinatarios de los reportes de resultados de los exámenes de referencia criterial (Ravela, 2002;Amador, 2008;Pélach y Teixidó, 1996). ...
... La información que los agentes han proporcionado, permite corroborar la importancia de los documentos en los que se sintetizan los resultados de los exámenes aplicados por organismos evaluadores, pero sobre todo, permitió un acercamiento a lo que los informantes creen que hace falta para que estos documentos tengan mayor impacto. Del mismo modo, los informantes coinciden con lo que se proponen algunos autores (Wolfe, 2007;Ravela, 2002;2003) sobre la necesidad de información del contexto con la que se pueden realizar conclusiones comparaciones erróneas, así como del conocimiento técnico 8 XII CONGRESO NACIONAL DE INVESTIGACIÓN EDUCATIVA TEMÁTICA 2 Educación inicial y básica que requieren sobre el proceso de elaboración de las evaluaciones y la forma correcta de interpretarlas. ...
Conference Paper
Full-text available
RESUMEN: Los destinatarios de la información que se genera a partir de la aplicación de exámenes al momento de recibirla, se convierten en usuarios de dicha información, la cual tiene la función de servir como herramienta que oriente en la toma de decisiones en los diferentes ámbitos en los que se desempeñan. Los usuarios de la información pueden ser desde autoridades cuyas decisiones impactan a todo el sistema educativo, hasta los propios padres de familia quienes cumplen con otro tipo de tareas en el aprendizaje escolar. Con el presente estudio se pretendió que algunos agentes educativos o usuarios de la información de educación básica-inspectores, asesores técnico pedagógicos, directivos y docentes-del estado de Baja California manifestaran necesidades informativas que no son solventadas con los informes que se les proporcionan. Los hallazgos servirán como insumo para la elaboración de una siguiente versión de un software que analiza datos cuantitativos de exámenes de referencia a un criterio y emite informes de resultados. Además se pretende continuar la indagación de otras necesidades informativas, a fin de aportar nuevos elementos de reflexión.
... En estos casos, la evaluación cumple propósitos informativos. Por otro lado, existen sistemas de evaluación en donde los resultados de las pruebas se utilizan para castigar o incentivar a los actores educativos (high-stakes) (Cizek, 1998;Ravela, 2001). Las consecuencias de los exámenes dependen directamente del uso que se le da a los resultados de las pruebas. ...
... En América Latina la mayoría de los países cuenta actualmente con áreas de evaluación educativa para monitorear el logro de los estudiantes mediante exámenes sin consecuencias (Ravela, 2001;UNESCO, 2000;Wolff, 1998). Con la excepción de los de ingreso a la educación media y superior, los exámenes que se usan para seguir el desempeño de los planteles no tienen consecuencias sobre los estudiantes, los docentes o las escuelas mismas (Treviño, en prensa). 2 Sin embargo, los estandarizados han incrementado Evaluación del aprendizaje de los estudiantes indígenas en América Latina su protagonismo desde el inicio de la década de los noventa, y las condiciones actuales sugieren que tomarán un papel aún más importante en el futuro. ...
Article
Full-text available
This article analyzes, from the point of view of educational opportunities, the problems of using standardized tests to evaluate the learning of indigenous peoples. By combining concepts of crosscultural psychology, anthropology and psychometrics, the article presents the principal factors that would affect inferences made from the results of tests given to indigenous students. Lastly, the limitations of standardized tests are summarized, and some recommendations are provided for circumscribing the inferences based on the results of such tests.
... Las clasificaciones que se han hecho para pruebas estandarizadas (Wolfe, 2006;Ravela, 2006a), y el cuestionario de la prueba Saber 11° en Colombia, nos indica que estamos ante un proceso de clasificación y certificación, en el cual se hace un reporte individual a cada uno de los evaluados. Este reporte incluye, además, una medición de competencias y de habilidades en campos de conocimiento específicos. ...
... Tal y cómo subraya (Wolfe, 2006) esto implica un desplazamiento de que preguntar cuánto sabe los estudiantes, a preguntar qué saben y qué son capaces de hacer. En la actualidad, si bien, podemos contar con una abundante producción escrita entorno a los sistemas nacionales de evaluación, referida a aspectos técnicos, instrumentales, y políticos de los mismo, todavía es muy débil la reflexión que se produce acerca de los factores relacionados con el aprendizaje (Perassi, 2008) No estamos ante un asunto menor, pues desde el punto de (Ravela, 2006a), los críticos del énfasis creciente en los resultados de las pruebas argumentan que otorgar exceso de importancia solo algunas competencias y algunas habilidades distorsionan la educación, en tanto que otros objetivos importantes de la formación de los niños y jóvenes son ignorados porque no son evaluados en los exámenes. La gran importancia que se le está dando a los resultados de los exámenes estandarizados y no tanto a los procesos educativos conducentes a mejores aprendizajes, puede llevar a que se enseñen las cosas específicas y necesarias para pasar las pruebas, en lugar de dominios de conocimientos más generales. ...
Article
Full-text available
El objetivo del artículo es analizar la naturaleza y las características del examen que evalúa el conocimiento de las ciencias sociales en secundaria en Colombia. La metodología utilizada es el análisis documental. La lectura de los documentos fue registrada en tarjetas con información como título, carácter del texto, procedencia, fecha de producción, contenido y orientación. Se pudo establecer que de un examen centrado principalmente en la memorización de contenidos, se pasó a uno en el que es importante el desarrollo de competencias, sin embargo hay críticas respecto a que este se orienta a habilidades y conocimientos evaluados en el Informe PISA, o en los que tienen interés organismos multilaterales, que a los ojos de muchos pretenden afianzar el modelo neoliberal y con ello profundizar las condiciones de pobreza y desigualdad.
... Como se sabe, estas políticas necesitan de la existencia de sistemas nacionales de evaluación de resultados que permitan monitorear periódicamente el estado de la función producción. La orientación hacia estándares y evaluación de resultados ha generado en los últimos años subcampos espe-cializados que producen estudios y alimentan discusiones teóricas y políticas sobre los procedimientos para definir los estándares (Arregui, 2006;Ferrer, 2009;Meckes y Gysling, 2011), sobre las formas de medición y sobre los usos de los resultados de la evaluación (Arregui, 2006;IIPE / UNESCO, 2003;Ravela, 2001;Rivas, 2015). ...
... Más allá de las discusiones de política curricular acerca de la definición de estándares y las también políticas, teóricas y técnicas acerca de cómo medir resultados considerando los múltiples factores asociados al logro académico (Cornejo Chávez et al, 2007;Murillo, 2003;LLECE, 2010), la cuestión más compleja que plantea este modelo, tal vez sea la de las consecuencias que deberían generar resultados académicos alejados de los logros previstos. Esta discusión abre un amplio espectro de opciones cuyos márgenes van desde postular soluciones orientadas a la generación de políticas de responsabilización y/o de recursos humanos -como los sistemas de premios y castigos para docentes, escuelas y/o responsables educativos- (Ravela, 2001), hasta la definición de políticas de apoyo y orientación de recursos para apoyar la mejora de los logros académicos de los estudiantes. ...
... Se sabe también que la variable socioeconómica se asocia con bajos resultados en Matemática y con las expectativas que tiene el estudiante sobre su propio aprendizaje, siendo los de menores recursos los que manifiestan expectativas más bajas sobre sus aprendizajes y obtienen los peores resultados (Barrenechea, 2010;Bos, Ganimian & Vegas, 2013;Carnevale, 2005;Cueto, Guerrero, León, Zapata & Freire, 2013;Ravela, 2002;Treviño, 2006). Sin embargo, es importante observar que las evaluaciones estandarizadas pueden no ser adecuadas para estudiantes indígenas (Nelson-Barber & Trumbull, 2007;Treviño, 2006) al no tomar en cuenta sus conocimientos particulares ni sus modos de pensar. ...
... En la actualidad existen diferentes modalidades de evaluación de las competencias adquiridas durante la etapa escolar (1) , tanto para la propia evaluación académica de las materias asignadas en el año escolar, como para el seguimiento periódico del sistema educativo que realiza el Ministerio de Educación (MINEDU), donde se evalúan los avances en matemáticas, lengua y ciencias, sin embargo, la evaluación de los conocimientos básicos sobre salud (2)(3)(4) , higiene, cuidados corporales y la prevención de enfermedades, no se logran medir con igual precisión ni regularidad, probablemente debido a que no se ha desarrollado aún una herramienta que permita dicha medición. Son múltiples los aprendizajes relacionados con la salud y su mantenimiento, empezando por el reconocimiento elemental del cuerpo humano, la forma y las funciones normales de los órganos y sistemas, su componente psicológico y su relación con el entorno y demás factores determinantes, para finalmente, entender acerca de los cuidados y la prevención de enfermedades que le permiten a la persona llevar una vida saludable (5) . ...
Book
Full-text available
Desde Octubre de 2006, cuando inició la investigación sobre los modelos logísticos presentados en 6 países de Latinoamérica, países que fueron escogidos por presentar un sistema de evaluación y aplicación de pruebas externas, un grupo de investigadores asumió el reto de llevar aquellos resultados obtenidos en ese camino investigativo, a un debate analítico encabezado por docentes y estudiantes comprometidos en el tema de la evaluación. Estos actores conforman actualmente el Grupo de Investigación en Evaluación y Calidad de la Educación, GIECE, de la Universidad de San Buenaventura Cali, el cual contó en esta ocasión con la gran oportunidad de incorporar al equipo en calidad de asesores, a intelectuales de reconocimiento internacional, con amplia experiencia en el tema de la evaluación educativa, quienes participaron directamente en el ejercicio escritural que presentamos en este momento. Frente a la evaluación, el uso de sus resultados y la pertinencia de ambos, a pesar de ser realidades distintas; diferentes países Latinoamericanos coinciden en una crítica común sobre la evaluación, la cual genera cuestionamientos sobre la pertinencia real que tiene sobre la educación de los estudiantes, la formación de los docentes y el mejoramiento de la calidad, y la necesidad de cambios trascendentales en esta dinámica hasta ahora manejada. Sobre esto nos movemos en dos discursos, el discurso de un sistema evaluador que le apuesta a una evaluación con fines de rankeo y selección, o el de aquellos que aparecen con nuevas propuestas en el uso de la evaluación, e introducen conceptos como mejoramiento docente, la prueba sólo como una herramienta de muchas más, incorporadas al propósito de calidad, y el rankeo visto como algo negativo y poco provechoso para la calidad. El propósito de este libro surgió a partir de estos discursos, en necesidad de detenernos ante todo este proceso evaluador, en pro de una escucha de las voces que se despiertan ante este fenómeno, y que tienen una demanda de transformación rápida de la evaluación, que se fundamenta con la palabra y los argumentos, ganados en la vivencia propia del proceso de aquella evaluación de calidad de la educación. Frente a esta demanda de escucha y transformación, sólo nos queda unirnos a esta necesidad, planteando las realidades evaluativas latinoamericanas, con una reflexión frente a esta, y con lo que podríamos llamar como la osadía de tratar de plantear nuevos retos y propuestas en pro de una mejora clara, frente a esta problemática mundial.
Avaliacao do Sistema Educacional Brasileiro
  • M H Guimaraes
• Guimaraes, M.H., (1998). Avaliacao do Sistema Educacional Brasileiro. Tendencias e Perspectivas. Brasilia: MEC/INEP.
Informe Técnico del Desarrollo
Ecuador • APRENDO/Sistema Nacional de Medición de Logros Académicos, (1997). Informe Técnico del Desarrollo, Validación y Aplicación de las Pruebas "Aprendo 1996". Ecuador: Ministerio de Educación y Cultura, EB/PRODEC.