Figura 3 - uploaded by Pedro Ravela
Content may be subject to copyright.
Métricas empleadas por los distintos países para el reporte de resultados 

Métricas empleadas por los distintos países para el reporte de resultados 

Citations

... El ejercicio de interpretación de los resultados de las pruebas Saber 11 de 2016 en las instituciones participantes en el estudio incluyó el análisis de los promedios generales (de todas las asignaturas), una lectura comparativa de los promedios de cada asignatura y del porcentaje de estudiantes de cada institución en los cuatro niveles de desempeño, el análisis de las opiniones sobre la preparación de las pruebas Saber 11 y los procesos de evaluación en la clase de Ciencias Sociales. Desde la perspectiva de Ravela (2006a), conocer las mediciones y comprender qué significan los diferentes tipos de datos que ofrecen los informes nacionales es relevante porque de ellos depende la comprensibilidad de la información para los destinatarios, además, está en juego la utilidad de dicha información en función de las necesidades de los usuarios. ...
... Según la tipología establecida por Wolfe (2006), las pruebas Saber 11 son un examen de evaluación y certificación, producto de la medición de conocimientos y habilidades en las que el reporte de datos se extiende hasta el individuo. Es también una prueba de alto riesgo (Ravela, 2006a), en la medida en que es un examen de acreditación que presentan los estudiantes al finalizar los seis años de educación secundaria, pues sus resultados son utilizados para la selección de los alumnos que desean ingresar a la educación superior, así como para medir la calidad de los colegios, otorgar premios, becas e incentivos económicos. Estas pruebas también tienen una dimensión diagnóstica porque los reportes derivados de ellas brindan información pertinente para el diseño e implementación de planes de mejoramiento. ...
... La inclusión de las opiniones de los alumnos sobre el entrenamiento que reciben para las pruebas Saber 11 y la evaluación de la clase de Ciencias Sociales indica que si bien es importante la lectura de los resultados del examen, es necesario también interpretarlos a la luz de otras variables, como las dimensiones socioeconómicas, las características del profesorado y de la organización escolar y el componente pedagógico y didáctico, pues además de comprensiones más complejas, estaríamos ante información útil para el diseño, ejecución y evaluación de planes de mejoramiento escolar. Según Ravela (2006a) el reto es superar la tendencia que han tenido la mayoría de los informes nacionales en América Latina, de ser extremadamente descriptivos y limitarse a relatar los datos emergentes, sin analizar conexiones con otro tipo de información recogida en la misma prueba o proveniente de otras investigaciones. ...
Article
Full-text available
El objetivo de este artículo es analizar, por un lado, los resultados de las pruebas de Ciencias Sociales del examen de Estado del año 2016 en Colombia y, por el otro, las opiniones de los estudiantes sobre la preparación que reciben para dicha prueba en el marco de los procesos de evaluación de la asignatura. Se utilizó una metodología cuantitativa con información de dos fuentes: el Instituto Colombiano para la Evaluación de la Educación y una encuesta. Los datos se sistematizaron utilizando el programa estadístico Infostad Profesional. Se determinó que, si bien estas pruebas describen el logro de niveles particulares de desempeño de los estudiantes en el área de Ciencias Sociales, es necesario que estos resultados puedan ayudar a comprender aspectos curriculares y prácticas de enseñanza; esto implica un desplazamiento en la pregunta “cuánto saben los estudiantes” a “qué saben” y “qué son capaces de hacer”, y centrar la reflexión en los usos pedagógicos de los resultados de los exámenes.
... En la actualidad existen diferentes modalidades de evaluación de las competencias adquiridas durante la etapa escolar (1) , tanto para la propia evaluación académica de las materias asignadas en el año escolar, como para el seguimiento periódico del sistema educativo que realiza el Ministerio de Educación (MINEDU), donde se evalúan los avances en matemáticas, lengua y ciencias, sin embargo, la evaluación de los conocimientos básicos sobre salud (2)(3)(4) , higiene, cuidados corporales y la prevención de enfermedades, no se logran medir con igual precisión ni regularidad, probablemente debido a que no se ha desarrollado aún una herramienta que permita dicha medición. Son múltiples los aprendizajes relacionados con la salud y su mantenimiento, empezando por el reconocimiento elemental del cuerpo humano, la forma y las funciones normales de los órganos y sistemas, su componente psicológico y su relación con el entorno y demás factores determinantes, para finalmente, entender acerca de los cuidados y la prevención de enfermedades que le permiten a la persona llevar una vida saludable (5) . ...
... Se sabe también que la variable socioeconómica se asocia con bajos resultados en Matemática y con las expectativas que tiene el estudiante sobre su propio aprendizaje, siendo los de menores recursos los que manifiestan expectativas más bajas sobre sus aprendizajes y obtienen los peores resultados (Barrenechea, 2010;Bos, Ganimian & Vegas, 2013;Carnevale, 2005;Cueto, Guerrero, León, Zapata & Freire, 2013;Ravela, 2002;Treviño, 2006). Sin embargo, es importante observar que las evaluaciones estandarizadas pueden no ser adecuadas para estudiantes indígenas (Nelson-Barber & Trumbull, 2007;Treviño, 2006) al no tomar en cuenta sus conocimientos particulares ni sus modos de pensar. ...
... Fruto de este proyecto es el documento ¿Cómo presentan sus resultados los sistemas nacionales de evaluación educativa en América Latina? (Ravela, 2001). Uno de los temas abordados, referido a la información producida y difundida por los sistemas nacionales de evaluación, es el de los usos que se pretende se hagan de este tipo de datos y si efectivamente se llevan a la práctica. ...
... Los hallazgos de esta investigación muestran que la mayor parte de los sistemas nacionales de evaluación de los aprendizajes en América Latina son de carácter formativo y su uso es de bajo riesgo, 1 salvo algunas excepciones como Chile y México, 2 que implementaron sistemas cuyos usos eran de alto riesgo. 3 Ambos tipos tienen desventajas, dado que los usos de consecuencias fuertes o alto riesgo pueden generar que los actores educativos dediquen una cantidad excesiva de tiempo a la preparación para las pruebas, reduciendo el currículo (Backhoff y Contreras, 2014, Ravela, 2001; mientras que los usos de bajo riesgo o la ausencia de consecuencias a partir de los resultados de las evaluaciones pueden propiciar poco interés y responsabilidad por los resultados de este tipo de pruebas. En las conclusiones de este trabajo el autor menciona, entre otros aspectos, que es importante realizar investigaciones acerca de los efectos que tiene el uso de las evaluaciones a gran escala para establecer incentivos. ...
... En el segundo nivel se encuentran todos aquellos usos de los resultados de evaluaciones a gran escala que son atribuidos al colectivo escolar. Autores como Ravela (2001) señalan, de manera general, que los resultados de evaluaciones a gran escala pueden contribuir al mejoramiento de las escuelas, aunque no se específica a través de qué medios se lleva a cabo esto. Algunas otras contribuciones llevan a identificar las siguientes categorías en este nivel: ...
Article
Full-text available
Las evaluaciones a gran escala forman parte de los esfuerzos de los sistemas educativos por identificar su situación actual, y, según el caso, aprovechar sus resultados para fines de rendición de cuentas o de mejora pedagógica. Para generar en efecto algún impacto tendiente a la mejora, se requieren procesos de difusión y uso de resultados que aseguren el aprovechamiento de esta información. Este artículo presenta una síntesis de la literatura revisada en el marco de un estudio realizado en Aguascalientes, México, durante 2013, que tuvo como objetivo general, describir los usos que supervisores, directores y docentes hacían de la información derivada de la Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE), vigente en el sistema educativo mexicano precisamente hasta ese año. A partir de esa revisión y habiéndolos utilizado en ese estudio, se proponen cinco ejes que pueden orientar la obtención y análisis de información en investigaciones futuras sobre el tema: difusión de la información producida por las evaluaciones a gran escala; análisis e interpretación de la información; uso de los resultados en tres niveles: prácticas docentes, gestión escolar y supervisión; efectos del uso de resultados y factores asociados al aprovechamiento de la información. Palabras clave: Evaluación educativa; Evaluación del aprendizaje; Evaluaciones estandarizadas; Programa de evaluación; Educación básica; Calidad de la educación. A Proposal of Axes for the Analysis of the Use of Results of Large-Scale Evaluations of Learning by Teachers and PrincipalsLarge-scale assessments are one of the efforts to identify the current situation of the educational systems, and, depending on the case, build on their results for accountability purposes or pedagogical improvement. In order to promote improvement, there is a need to develop and implement specific processes for communicating and using large-scale assessments results. This paper is aimed at presenting a synthesis of the literature reviewed for a study undertaken in Aguascalientes, Mexico, during 2013. The main objective of the study was to describe how the information derived from the Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE) was used by supervisors, headteachers and teachers. ENLACE was a census large-scale in force in the Mexican educational system until 2013. As a result of this literature review, five axes are proposed for guiding the collection and analysis of information in future research: dissemination of information produced by large-scale evaluations; analysis and interpretation of information; use of results in teaching practices, school management and supervision; effects of the use of large-scale assessments results; and, factors associated with the use of information.Keywords: Educational assessment; Learning assessment; Standardized assessment; Program evaluation; Basic education; Quality education.
... Las clasificaciones que se han hecho para pruebas estandarizadas (Wolfe, 2006;Ravela, 2006a), y el cuestionario de la prueba Saber 11° en Colombia, nos indica que estamos ante un proceso de clasificación y certificación, en el cual se hace un reporte individual a cada uno de los evaluados. Este reporte incluye, además, una medición de competencias y de habilidades en campos de conocimiento específicos. ...
... Tal y cómo subraya (Wolfe, 2006) esto implica un desplazamiento de que preguntar cuánto sabe los estudiantes, a preguntar qué saben y qué son capaces de hacer. En la actualidad, si bien, podemos contar con una abundante producción escrita entorno a los sistemas nacionales de evaluación, referida a aspectos técnicos, instrumentales, y políticos de los mismo, todavía es muy débil la reflexión que se produce acerca de los factores relacionados con el aprendizaje (Perassi, 2008) No estamos ante un asunto menor, pues desde el punto de (Ravela, 2006a), los críticos del énfasis creciente en los resultados de las pruebas argumentan que otorgar exceso de importancia solo algunas competencias y algunas habilidades distorsionan la educación, en tanto que otros objetivos importantes de la formación de los niños y jóvenes son ignorados porque no son evaluados en los exámenes. La gran importancia que se le está dando a los resultados de los exámenes estandarizados y no tanto a los procesos educativos conducentes a mejores aprendizajes, puede llevar a que se enseñen las cosas específicas y necesarias para pasar las pruebas, en lugar de dominios de conocimientos más generales. ...
Article
Full-text available
El objetivo del artículo es analizar la naturaleza y las características del examen que evalúa el conocimiento de las ciencias sociales en secundaria en Colombia. La metodología utilizada es el análisis documental. La lectura de los documentos fue registrada en tarjetas con información como título, carácter del texto, procedencia, fecha de producción, contenido y orientación. Se pudo establecer que de un examen centrado principalmente en la memorización de contenidos, se pasó a uno en el que es importante el desarrollo de competencias, sin embargo hay críticas respecto a que este se orienta a habilidades y conocimientos evaluados en el Informe PISA, o en los que tienen interés organismos multilaterales, que a los ojos de muchos pretenden afianzar el modelo neoliberal y con ello profundizar las condiciones de pobreza y desigualdad.
... De igual forma, es posible formarse una buena idea del desempeño de los alumnos ante los diferentes contenidos específicos que evalúan las pruebas. Las métricas utilizadas (particularmente el porcentaje de alumnos que logran los niveles de desempeño establecidos) satisfacen en mayor grado las expectativas sociales en materia de información derivada de las evaluaciones y pueden tener mayor impacto sobre los docentes, al darles " una señal acerca de qué es lo que se espera que todos los alumnos sepan y sean capaces de hacer al cabo de cada grado o ciclo de enseñanza " (Ravela, 2002) y, qué es lo que saben y son capaces de hacer a la luz de los resultados efectivamente obtenidos. Así, en el contexto de este artículo son de particular interés los resultados por nivel de logro y estrato escolar ya que son más informativos que los promedios y dejan ver en forma más clara los desafíos globales que enfrenta hoy en día el sistema educativo mexicano para lograr una educación más eficaz. ...
Article
Full-text available
Este artículo sistematiza información producida por las evaluaciones de la calidad del sistema educativo mexicano realizadas por el Instituto Nacional para la Evaluación de la Educación entre 2005 y 2007. Aunque estas evaluaciones cubren varias áreas de contenido, aquí se da cuenta específicamente de los resultados de aprendizaje en Matemáticas en evaluaciones realizadas en el tercer grado de la educación preescolar, los grados 3º y 6º de primaria y el 3º de secundaria; la decisión de enfocar esta área de contenido se basa en dos razones: la mayor importancia relativa de la escuela en la explicación de las diferencias de logro escolar en el caso de las Matemáticas, y la menor atención de que ha sido objeto por parte de las políticas educativas en México, en comparación con otras áreas de formación. Los resultados ponen de manifiesto que la educación mexicana está lejos de lograr para la mayoría de sus educandos, niveles de logro satisfactorios. Muestran también, la enorme desigualdad del desempeño entre las principales modalidades de prestación del servicio educativo y la urgencia de políticas encaminadas a asegurar la equidad en la educación que brinda el Estado.Palabras clave: Evaluación de aprendizajes, evaluación de la calidad de la educación, educación básica. This article compiles and organizes information resulting from evaluations carried out by the Instituto Nacional para la Evaluación de la Educación. It gathers studies related to quality in education withinthe Mexican Educational System from 2005 to 2007. Amongst the different content areas reviewed, attention is drawn to the results obtained in Mathematics in pre-elementary children, 3rd and 6th grade elementary students, and with 3rd year secondary students. Choosing this content area is based on two facts: the relative great importance given to the differences attained in Mathematics, and the small attention paid to this reality from the Mexican Instructional Policies, when compared to other content areas. Evidence showed that Mexican educational instruction is far from satisfactory for the vast majority of the learners. Findings also confirmed inequality in the performance between the most important types of educational instruction and the urgent need of policies that would assure equity in the instruction provided by the government.Keywords: Evaluation of learnings, evaluation of the quality of the education, basic education.
... En especial, destacar el uso de rankings. Como práctica evaluativa para la comunicación de resultados ha sido rechazada por muchos especialistas en evaluación (Martínez-Rizo, 2015;Martínez-Rizo, 2016;Ravela, 2002Ravela, , 2003..) ¿Por qué? Hay varias razones. ...
Article
In this paper the aim is to conduct a comprehensive analysis of PISA as international assessment program. In ad di tion , methodological characteristics of the metrical processes underlying the instruments used in the project are also analyzed: achievement tests and questionnaires context. The strengths and weaknesses of the project in various areas are identified: from design and validation of the project as international assessment program, its uses and modes of communication of results to the metric characteristics of their instruments. They propose alternatives to optimize the use of the project in general and in particular the countries involved. It is concluded that this is a project that, for methodological quality and socio-political impact is valuable, although it has different aspects that could be improved - both as program evaluation, and educati onal measurements - fundamentals of measurement so that he could provide information higher quality and that could guide decisions for improvement.
... Como se sabe, estas políticas necesitan de la existencia de sistemas nacionales de evaluación de resultados que permitan monitorear periódicamente el estado de la función producción. La orientación hacia estándares y evaluación de resultados ha generado en los últimos años subcampos espe-cializados que producen estudios y alimentan discusiones teóricas y políticas sobre los procedimientos para definir los estándares (Arregui, 2006;Ferrer, 2009;Meckes y Gysling, 2011), sobre las formas de medición y sobre los usos de los resultados de la evaluación (Arregui, 2006;IIPE / UNESCO, 2003;Ravela, 2001;Rivas, 2015). ...
... Más allá de las discusiones de política curricular acerca de la definición de estándares y las también políticas, teóricas y técnicas acerca de cómo medir resultados considerando los múltiples factores asociados al logro académico (Cornejo Chávez et al, 2007;Murillo, 2003;LLECE, 2010), la cuestión más compleja que plantea este modelo, tal vez sea la de las consecuencias que deberían generar resultados académicos alejados de los logros previstos. Esta discusión abre un amplio espectro de opciones cuyos márgenes van desde postular soluciones orientadas a la generación de políticas de responsabilización y/o de recursos humanos -como los sistemas de premios y castigos para docentes, escuelas y/o responsables educativos- (Ravela, 2001), hasta la definición de políticas de apoyo y orientación de recursos para apoyar la mejora de los logros académicos de los estudiantes. ...
... Los estudios deRavela (2001), quien compara los modos en que los sistemas nacionales de evaluación educativa presentan sus resultados en América Latina, y de TianaFerrer (1997), quien ensaya sobre el tratamiento y los usos de la información proveniente de este tipo de operativos, han sido los insumos principales a la hora de establecer las dimensiones de análisis, que fueron las siguientes: la métrica de presentación de los resultados, el nivel de desagregación con que se los presenta, la inclusión de información metodológica relativa a la validez y precisión de los datos presentados, la presentación de información en clave comparada y el análisis de los factores asociados al aprendizaje. ...
Article
Full-text available
This study analyzes the production and publication of statistical data on education by the National Direction for Information and Educational Quality Assessment, the main national public agent in charge of it. After reviewing the historical origins of the Direction, the article presents the dimension on which it collects information, identifying some existing challenges and gaps. It then studies the whole set of publications of the Direction from the perspective of access to information, and outlines the main findings of the research work. As a conclusion, it identifies the existence of a long way to go, especially in what relates to making available the information to the general public. In this way, the study provides key elements needed for the construction of a diagnosis on the production of information on education in Argentina.
... Otro uso es la evaluación de programas educativos normales y avanzados (Sánchez, 2007). La expectativa que las instituciones evaluadoras tienen al producir dichos informes es que los resultados que se reportan, además de sus consecuentes interpretaciones, produzcan un impacto favorable, tanto al interior de las escuelas como de las aulas, el cual se haga evidente en las prácticas de enseñanza, así como en las áreas que están a cargo de la planeación de la educación desde fuera de las instituciones, cuyas decisiones afectan a varios o a todos los niveles de los sistemas educativos (Ravela, 2002). Es importante mencionar que cada institución que genera instrumentos de medición del aprendizaje emite sus propios informes, de manera que abundan los modelos. ...
... Con ella se producen los documentos en los que se integra la información pertinente para cada usuario. Dicha información es la que usualmente se ofrece en reportes de algunos exámenes de otras instituciones (SEP, 2012;INEE, 2012;CENEVAL, 2012;INEVAL, 2012;IEE, 2012;UEE, 2012) y la que se menciona en diversas fuentes como necesaria de acuerdo al destinatario (Sánchez, 2007;Ravela, 2002Ravela, , 2003Córdoba, 2006;Nicol y Milligan, 2006;Crooks, 1988). ...
... Con ella se producen los documentos en los que se integra la información pertinente para cada usuario. Dicha información es la que usualmente se ofrece en reportes de algunos exámenes de otras instituciones (SEP, 2012;INEE, 2012;CENEVAL, 2012;INEVAL, 2012;IEE, 2012;UEE, 2012) y la que se menciona en diversas fuentes como necesaria de acuerdo al destinatario (Sánchez, 2007;Ravela, 2002Ravela, , 2003Córdoba, 2006;Nicol y Milligan, 2006;Crooks, 1988). ...