ArticlePDF Available

Hacia un marco analítico y metodológico para la evaluación del mejoramiento educativo en escuelas chilenas

Authors:

Abstract and Figures

This paper presents the results of a study that aimed to develop a methodological approach to evaluate improvement process results in Chilean Schools. To this objective, the multicriteria analysis methodology Analytical Hierarchical Process AHP was applied. This is a tool that identifies criteria for the evaluation of a phenomenon considering the identification and the discussion of experts. In this case, the experts consulted were teachers, school principals, technical advisors and scholars, who discussed and analyzed the characteristics of school improvement in Chilean Schools. As a result of the investigation was possible to develop a hierarchical matrix with evaluation criteria, validated by experts, and propose indicators and information resources that allowed to implementing the evaluation process. Finally, an analysis of the results of the research, weakness and projections for this methodology implementation in different contexts was made.
Content may be subject to copyright.
HACIA UN MARCO ANALÍTICO Y
METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS
CHILENAS1
Luis Felipe De la Vega2
RESUMEN
En este trabajo se presentan los resultados de una investigación que tuvo como objetivo el
desarrollo de una aproximación metodológica que permitiera evaluar la presencia de atributos
de mejoramiento educativo en las escuelas chilenas. Para ello, se aplicó la metodología de análisis
multicriterio Método Analítico Jerárquico (Analytical Hierarchical Process, AHP), una herramienta
que busca identificar criterios para la evaluación de un determinado fenómeno, a partir de la
identificación y discusión de expertos. En este caso, los expertos consultados fueron docentes,
directores de establecimientos, asesores técnico–educativo y académicos, quienes discutieron y
analizaron los elementos que caracterizarían a una escuela chilena que está desarrollando procesos
de mejoramiento. Como resultado de la investigación se pudo elaborar una matriz jerárquica de
criterios de evaluación, validada por los expertos, y una propuesta de indicadores y recursos de
información que permitirían implementar el proceso evaluativo. Finalmente, se realizó un análisis
de los resultados obtenidos en la investigación y se identificaron debilidades y proyecciones para
su implementación en diferentes contextos socioeducativos.
Palabras clave: mejoramiento educativo, evaluación educativa, investigación evaluativa, calidad
de la educación.
TOWARDS AN ANALYTICAL AND METHODOLOGICAL
FRAMEWORK FOR THE SCHOOL IMPROVEMENT ASSESSMENT
IN CHILEAN SCHOOLS
ABSTRACT
This paper presents the results of a study that aimed to develop a methodological approach to evaluate
improvement process results in Chilean Schools. To this objective, the multicriteria analysis methodology
Analytical Hierarchical Process AHP was applied. This is a tool that identifies criteria for the evaluation
of a phenomenon considering the identification and the discussion of experts. In this case, the experts
consulted were teachers, school principals, technical advisors and scholars, who discussed and analyzed
the characteristics of school improvement in Chilean Schools. As a result of the investigation was possible
to develop a hierarchical matrix with evaluation criteria, validated by experts, and propose indicators and
information resources that allowed to implementing the evaluation process. Finally, an analysis of the results
of the research, weakness and projections for this methodology implementation in different contexts was made.
Keywords: educational improvement, educational assessment, evaluation research, quality of education.
1 Este estudio ha sido financiado por la Convocatoria de apoyo a la investigación en educación
2013 del CNED.
2 Facultad de Educación, Pontificia Universidad Católica de Chile, Santiago, Chile. Contacto:
ldelaveg@uc.cl
CALIDAD EN LA EDUCACIÓN no 42
, julio
2015 • pp. 61-91
62 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
1. La evaluación de las escuelas y el mejoramiento
educativo
De la intensidad de la discusión acerca de la educación pública
en Chile es clara la necesidad de contar con un sistema educativo
capaz de combinar de manera exitosa las necesidades de calidad y
equidad (Bellei, Valenzuela y De los Ríos, 2010; Martinic, 2010). El
Estado chileno ha generado progresivamente sistemas y mecanismos
con los que espera avanzar hacia ese objetivo. Uno de los desafíos
que ha tenido mayor relevancia a nivel de sistema educativo es la
incorporación de la evaluación, entendida como mecanismo que
favorece el mejoramiento de la acción y los resultados.
Durante los últimos 15 años ha sido posible observar en
Chile la profundización en la centralidad del desempeño de las
instituciones y actores educativos como objeto fundamental de
análisis, y la existencia de incentivos asociados al desempeño, en
tanto mecanismo movilizador del mejoramiento (Weinstein & Muñoz,
2012). Este camino se corona con la Ley 20.529, que define un Sistema
Nacional de Aseguramiento de la Calidad de la Educación Escolar,
recientemente implementado.
Frente a la opción de evaluación considerada por la
institucionalidad educativa chilena, y atendiendo el doble desafío de
propender a la calidad y equidad de la educación, se vuelve central
la discusión acerca de las estrategias que se utilizan para evaluar el
cumplimiento de los objetivos educativos de las escuelas, su aporte
a las metas del sistema y, sobre todo, al mejoramiento de la escuelas.
Esta investigación tuvo como propósito el diseño de un modelo
que permitiera la evaluación del desempeño de las escuelas chilenas,
considerando la presencia de atributos de mejoramiento educativo
en ellas. A través de este ejercicio se buscó reconocer la complejidad
de los procesos de mejoramiento y la relevancia de considerarlos
a la hora de analizar el desempeño de una escuela. Es importante
mencionar que el presente artículo da cuenta de los resultados de
la primera etapa del trabajo investigativo, orientado hacia el diseño
de la propuesta metodológica de la evaluación de desempeño. La
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 63
segunda etapa buscará evaluar la propuesta, a partir del estudio de
las fortalezas y debilidades metodológicas de su implementación. Por
esta razón, el ámbito de análisis relacionado con este último proceso
no forma parte del presente reporte.
2. Mejoramiento educativo: dimensiones relevantes y
desafíos para la evaluación de un proceso complejo
El concepto de mejoramiento educativo ha favorecido el interés en
el cambio en educación, entendido como un proceso que involucra
a las personas e instituciones que participan de su implementación,
preguntándose acerca de qué tiene que ocurrir para modificar
favorablemente un escenario educativo, considerando variables
externas e internas a la escuela, materiales y simbólicas (Fullan, 1982,
2002; Murillo, 2003; Hopkins, 2009).
Existe consenso respecto de que los procesos de mejoramiento
debieran tener como foco la relación entre enseñanza y aprendizaje
(Fullan, 2002; Hopkins, 2009; Levin, 2009). Elmore (2010)
denomina a esta relación núcleo pedagógico, el cual está compuesto
por la interacción dentro del aula entre el docente, el estudiante y
los contenidos. Las dinámicas de esa interacción se relacionarían
directamente con el nivel de aprendizaje y la calidad educativa. Así,
lo central del mejoramiento redunda en lo que ocurre en la sala de
clases, lo que releva el rol de los profesionales de la escuela y su
vínculo de aprendizaje con los estudiantes.
Junto con lo anterior, Levin (2009) indica que este proceso
implica la organización en torno a un propósito moral, es decir, a una
meta que tiene una dimensión simbólica y a la vez normativa. Esta
idea apunta a que el mejoramiento educativo se puede desarrollar en
la medida en que hay finalidades que están más allá de lo meramente
técnico y de las obligaciones que las escuelas deben cumplir.
Las transformaciones del funcionamiento de la escuela y
la dinámica del núcleo pedagógico favorecen el mejoramiento
cuando cuentan, además, con una condición de sustentabilidad o
mejoramiento continuo (Hargreaves y Fink, 2006). En esa línea,
64 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
Murillo y Krichesky (2012) sostienen que la literatura acerca del
mejoramiento escolar ha ido consolidando la idea de que este ocurre
a través de fases no lineales, porque las decisiones presentes en
algunos casos ayudan a avanzar, mientras que en otras, provocan
retrocesos.
Se puede decir que existe consenso en relación con la estructura
central del mejoramiento educativo, recientemente señalada. Junto
con ello, sus autores referenciales también tienden a concordar
respecto de las debilidades o desafíos para su desarrollo y su logro.
Tal vez el mayor de estos sea asumir la complejidad de los escenarios
en que se implementa este proceso, manteniendo el foco en el objeto
de mejoramiento (Chrispeels & González, 2006; Bogotch, Mirón &
Biesta, 2007). Por su parte, Hallinger & Heck (2011) y Datnow &
Park (2004) señalan que las estrategias de mejoramiento operan en
escenarios complejos y contextos socioculturalmente diferenciados,
por lo que se requiere de análisis multinivel que incluya a los
distintos actores e instituciones involucrados y a sus relaciones, las
características de la escuela (tamaño, composición, características
socioeconómicas), de las políticas o programas cuya implementación
se estudia (Anderson, Mascall, Stiegelbauer y Park, 2012).
Teniendo en consideración este fenómeno, Bourke & McGee
(2012) señalan que la lógica de la comprensión del proceso de
mejoramiento educativo implica asumir que, pese a que se puede
observar que este sigue un patrón o tránsito por etapas, también hay
un conjunto amplio de elementos que hacen de este proceso algo
complejo e impredecible.
3. La evaluación del desempeño de las escuelas y los
desafíos por vincularla al mejoramiento educativo
Tal como se ha enunciado, el mejoramiento educativo es un proceso
complejo de desarrollar y evaluar. Por esta razón, la evaluación de
las escuelas y su desempeño es un área que cuenta con múltiples
acercamientos y perspectivas y es objeto de intenso debate (OECD,
2013).
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 65
En relación con su uso para las políticas públicas y la toma de
decisiones en particular, se ha observado un tránsito desde el uso de
indicadores globales de resultados –tales como los test de aprendizaje
estandarizados– hacia la consideración de otros insumos, mecanismos
de aproximación al trabajo y desempeño escolar, e indicadores de
funcionamiento y resultados de las escuelas (Schwatrz, Hamilton,
Stecher & Steele, 2011; Hargreaves, 2012).
El cambio mencionado ha buscado favorecer reflexiones
evaluativas que, por un lado sean más justas y que, por otro,
describan con mayor detalle las condiciones y características donde
se desarrolle el proceso educativo (Froemel, 2003; Thomas, 2010;
Shwartz, Hamilton, Stecher y Steele, 2011). Junto con ello, se han
constatado también importantes perjuicios relacionados con la toma
de decisiones basadas en uno o pocos indicadores (Dale & Robertson,
2007), lo que ha conducido a algunos países a cambiar de estrategia
de evaluación (Ng, 2012).
De acuerdo con la OECD (2013), la evaluación de una escuela
debiera involucrar procesos relevantes tales como enseñanza-
aprendizaje, liderazgo, administración, clima y gestión de los recursos
humanos. Es decir, se ha ido avanzando hacia la consideración de los
procesos de mejoramiento educativo en la evaluación. Esta situación
implica la necesidad de asumir el levantamiento de información
de carácter procesual. Además, se vuelve relevante considerar que
los establecimientos educacionales están en un piso distinto al
mejoramiento. Junto con ello, tampoco mejoran de una manera
uniforme, lo que depende del contexto y de la etapa de desarrollo de
la escuela en ese proceso (Barber, 2010; Hopkins, 2009).
Por las razones descritas, una evaluación que se oriente a
reconocer y a juzgar el mejoramiento educativo, necesariamente
obligará a observar procesos, ampliar las fuentes de información y sus
métodos de recolección, de manera de brindar la flexibilidad necesaria
para evaluar de manera completa y justa este fenómeno. El desarrollo
de la investigación y propuestas en esta materia han permitido abrir
un camino de desarrollo en el ámbito de la evaluación, pero este se
encuentra lejos aún de completarse. A continuación, se identificará un
66 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
conjunto de desafíos que las propuestas metodológicas de evaluación
del desempeño de las escuelas debieran tener en consideración, para
recoger la perspectiva del mejoramiento educativo.
4. Consideraciones para una evaluación de
desempeño de escuelas vinculada a la complejidad
del proceso de mejoramiento
Asumiendo los elementos discutidos anteriormente, en primer lugar
una evaluación del proceso de mejoramiento educativo debiera
considerar, tal como indica el propio Levin (2007), la condición
sistémica del cambio, es decir, hay un conjunto de elementos
que deben combinarse positivamente entre sí para avanzar en el
mejoramiento educativo. En la misma línea, Loogma, Tafel-Viia &
Marik (2012) señalan que el mejoramiento educativo no es un proceso
lineal, porque normalmente la idea y características de aquello que
se busca transformar sufren modificaciones durante el proceso y
terminan ocurriendo situaciones diferentes a las planificadas. Esto
implica que, junto con el proceso, será necesario observar la presencia
de determinados indicadores o atributos clave para constatar la
presencia de mejoramiento independiente de las vías por las que se
produjo.
MacBeath (2011) explica que en relación con la condición
de mejoramiento no hay definiciones únicas, debido a que este se
puede considerar como una variable independiente o dependiente, es
decir, podría ser el origen o el resultado de iniciativas o procesos de
reforma. Además, su contenido va a estar directamente relacionado
con el actor educativo en el que se enfoca.
Esta situación implica considerar que la mejora incluye la
presencia de transformaciones generadas “desde dentro” de la
escuela, relacionadas con el desarrollo de capacidades. Sin embargo,
este proceso es apoyado y fomentado “desde fuera”, tarea que
realizan las políticas educativas y otros organismos. Los atributos del
mejoramiento están, entonces, distribuidos en las diferentes capas
del sistema educativo considerando una perspectiva multinivel,
debido a que implica a estudiantes, padres, docentes, funcionarios
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 67
de la educación, la comunidad, el distrito (o el nivel intermedio) e
incluso la cultura.
Como contrapartida, el proceso de mejoramiento ocurre en
el marco de un contexto específico de dicho sistema, por lo que
su evaluación debiera tener también en cuenta este fenómeno,
comprendiendo que las políticas educativas y el contexto afectarán
diferenciadamente las tareas más cercanas del centro del proceso.
En relación con la importancia del contexto en la evaluación,
Guhn (2009) señala que se ha hecho necesario que las diferencias
contextuales y culturales deban estudiarse en profundidad, para
poder incorporar esa información en la supervisión de los procesos de
implementación reales. El contexto entonces debiera también tenerse
en cuenta en la evaluación del proceso de mejoramiento.
Pese a la demanda y a la necesidad de diversificar el espectro
de observación del mejoramiento hacia otros eslabones del sistema
y el contexto escolar, es importante constatar como contrapartida la
idea de que este proceso cuenta con atributos que son relativamente
estables. Así, Hallinger & Heck (2011) analizan un conjunto de
elementos que pueden considerarse de manera fundamental en
esta materia, indicando que existe un énfasis en aspectos referidos
al cambio organizacional y transformaciones en la cultura de las
escuelas. Otros dos aspectos relevantes de estudio son el liderazgo
educativo y el cambio en las prácticas pedagógicas. También lo es la
combinación de estos elementos, dentro de un contexto específico. Por
último, este modelo de análisis del mejoramiento educativo se cierra
con la variable tiempo, pues se comprende que estos procesos son
de carácter longitudinal. De esta manera, una evaluación del proceso
de mejoramiento debe ser flexible, pero a la vez no debe olvidar una
base de atributos mínimos que lo componen de manera regular.
Estos elementos constitutivos del mejoramiento pueden
consolidarse bajo la idea fundamental de desarrollo de capacidades.
Para Harris (2012) la principal característica de este concepto está
dada por el hecho de que los actores inviertan su energía en hacer
cosas diferentes, aprender nuevas destrezas y generar prácticas más
68 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
efectivas. La construcción de capacidades debe ser sistémica, es
decir, debe incluir a los diferentes actores y escenarios, para generar
una infraestructura que permita cambiar prácticas profesionales.
De acuerdo con lo que afirma Harris, el proceso de desarrollo de
capacidades puede potenciarse desde afuera y desde adentro. En
ambos casos, el elemento clave para que ello ocurra es la colaboración.
Teniendo en consideración los aspectos mencionados de esta
revisión bibliográfica, y asumiendo los desafíos de profundizar en la
investigación del mejoramiento educativo, desde esta investigación
se consideró que la evaluación de desempeño de las escuelas debiera
contemplar:
a. Múltiples niveles y dimensiones involucradas en el proceso.
b. Vinculación con el contexto en que se implementa.
c. Diversas fuentes e instrumentos para captar la complejidad.
Junto con lo anterior, bajo la lógica del desarrollo de
capacidades, parece ser necesario que se incluya la autoevaluación,
como recurso relevante para la utilidad del proceso de evaluación
hacia las comunidades que participan de este. De esta forma, el juicio
evaluativo es construido a través de la combinación de una mirada
externa e interna, como una apuesta para brindar sentido a sus
resultados. Así, la estructura y resultados de la evaluación debieran
convertirse en un insumo que sea útil para que las escuelas puedan
fortalecer sus procesos de mejoramiento.
Finalmente, considerando lo mencionado por MacBeath
(2011), en cuanto a su condición de variable independiente o
dependiente, esta propuesta se abrió a la posibilidad de no excluir
información tanto de procesos como de resultados educativos de la
escuela, debido a que en ambos casos se trata de atributos que ayudan
a identificar la presencia de los procesos de mejoramiento.
5. Metodología: elaborando un marco analítico para
evaluar los procesos de mejoramiento
Esta investigación buscó avanzar hacia la evaluación de atributos
del mejoramiento educativo en escuelas chilenas, a través de la
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 69
identificación, definición y valoración de las dimensiones y variables
que caracterizan este proceso. Para alcanzar este objetivo, se
construyó un modelo de análisis a partir del consenso entre actores
clave, expertos en este proceso y no únicamente de la recolección
de sus opiniones. En este artículo, tal como fue definido al inicio,
se abordará el proceso de diseño del modelo de evaluación y de su
operacionalización teórica.
En línea con el concepto de mejoramiento educativo, se
identificaron cinco tipos de expertos en este proceso, esperando
reconocer y aprovechar diferentes tipos de conocimiento en relación
con el fenómeno de estudio. Los tipos de expertos se asociaron a
procesos centrales referidos al mejoramiento:
a. Protagonizar el mejoramiento educativo, es decir, trabajar
directamente en los procesos de enseñanza y aprendizaje
(docentes).
b. Gestionar el mejoramiento educativo, a partir de la organización
del trabajo educativo en la escuela (equipo directivo).
c. Apoyar el mejoramiento educativo, recogiendo la experiencia de
los asesores educativos de las escuelas.
d. Estudiar el mejoramiento educativo, lo que implica considerar
la reflexión proveniente de investigadores que estudien este
fenómeno.
e. Incidir políticamente en el mejoramiento educativo, considerando
a quienes están cerca de la toma de decisiones en el ámbito de las
políticas educativas.
Se consideraron, combinaron y sintetizaron estos cinco saberes
en el modelo de evaluación a través de la metodología Proceso
Analítico Jerárquico (AHP, por sus siglas en inglés) (Saaty, 1997).
El AHP tiene por objeto sintetizar un conjunto de factores y valores
en un modelo tipo árbol que, de manera sistémica, componen un
determinado concepto u objeto de evaluación. Su estructura se basa
en la descomposición de estructuras complejas en sus componentes
de manera jerárquica. Para ello, se asignan valores numéricos a
las definiciones y valoraciones realizadas por los actores expertos,
ayudando a definir la importancia relativa de cada componente en la
70 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
explicación del fenómeno. La metodología considera el cumplimiento
de tres principios: construcción de jerarquía, asignación de prioridades
y consistencia lógica.
La construcción de la jerarquía implica la elaboración del
modelo general de evaluación del objeto y su descomposición
en dimensiones y criterios. Este proceso se desarrolla con la
participación de los actores expertos, que normalmente tienen
discursos y valoraciones disímiles. Por esto, se requiere el logro de
consensos fundamentales entre ellos, satisfaciendo un conjunto de
requerimientos de validez, asociados a cuatro axiomas: reciprocidad,
homogeneidad, dependencia y expectativas (Saaty, 1994). El segundo
principio –la asignación de prioridades– implica pedir a los expertos
que asignen juicios al comparar pares de elementos (llamados
“criterios” o “subcriterios”) semejantes en cada nivel de una jerarquía,
en relación con un criterio del nivel inmediatamente superior. La
pregunta clave que deberá responderse es “¿Cuánto más importante
o preferible es un criterio sobre otro del mismo nivel, respecto del
criterio del nivel inmediatamente superior?”. A partir de dichas
prioridades se define una escala, cuyos valores se registran en una
matriz cuadrada. El vector propio principal de la matriz representa la
síntesis de los juicios de los expertos, que a su vez permite obtener las
prioridades de los criterios o subcriterios que conforman la estructura
jerárquica, considerando un nivel tolerable de inconsistencia entre las
valoraciones. Por último, el tercer principio del AHP es la consistencia
lógica, la que tiene relación con el grado de dispersión de los juicios
de valor emitidos por los diferentes actores y el cumplimiento de
parámetros lógicos de organización de las prioridades. Para ello, el
AHP provee una teoría para revisar la inconsistencia de estos juicios,
la que no debe superar el 10% (Saaty, 1997). El siguiente esquema
describe la estructura evaluativa con la metodología AHP.
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 71
Figura 1: Estructura jerárquica de la metodología multicriterio, AHP
6. Método AHP aplicado al mejoramiento educativo
Considerando la metodología descrita, a continuación se describe el
diseño implementado en esta investigación.
En primer lugar, se construyó un documento base de la discusión
acerca del mejoramiento educativo a nivel de establecimientos
educacionales, a partir de la revisión de la literatura nacional e
internacional. Este documento fue discutido de manera separada por
los siguientes cuatro grupos de expertos ya identificados: docentes,
directivos, asesores técnico-educativos (ATE) e investigadores.
Los participantes fueron escogidos a través de la siguiente
metodología. En el caso de los directores y docentes, se les escogió
considerando que su establecimiento –siendo municipal o particular
subvencionado– haya tenido dos alzas continuas en su promedio
SIMCE de Lenguaje y Comunicación en los últimos tres años. Respecto
de las ATE, se seleccionó a instituciones que brindaran asesoría a nivel
nacional con sostenedores que administren sobre 20 establecimientos
y que contaran con una presencia de, al menos, cinco años en asesoría,
que les permitiera identificar un conocimiento de diferentes grupos de
escuela. Finalmente, en relación con los investigadores se realizó una
revisión de los grupos e instituciones que tenían en marcha procesos
indagatorios referidos al mejoramiento educativo en el momento de
la investigación, y que provinieran de diferentes instituciones. Todos
los participantes estaban localizados en la Región Metropolitana.
Una primera etapa del trabajo de campo consistió en la
realización de focus group con los cuatro grupos mencionados. A ellos
Criterios Estratégicos
Subcriterios
Subcriterios Terminales
Objetivo Estratégico
Objetivo
Estratégico
Criterios
Estratégicos
Subcriterios
Subcriterios
Terminales
72 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
se les entregó el documento base y se les pidió que –una vez leído
el documento– fueran identificando y describiendo cuáles de los
elementos descritos –u otros– caracterizan a una escuela chilena que
está mejorando educativamente y de qué forma ocurre ello. Al final
de la sesión, se presentó una gráfica que sintetizaba los principales
elementos surgidos en la discusión para la validación de los asistentes.
La información recopilada en los focus group fue sistematizada y
analizada. Luego, se avanzó hacia su síntesis en una primera propuesta
de matriz jerárquica AHP, que permitiera incorporar los cuatro
resultados obtenidos. Para avanzar en este proceso fue importante
consignar que entre los grupos de expertos se observaron importantes
semejanzas en cuanto a la identificación de criterios que caracterizaban
el mejoramiento educativo y su valoración. De hecho, no se observaron
grandes contradicciones en esta materia entre los participantes.
La segunda etapa del trabajo se inició con la validación de la
estructura jerárquica. Para ello, se planificó una reunión individual
con un representante de cada grupo de expertos, quien actuaría
como “vocero” de su grupo, validando la propuesta de matriz según
la discusión establecida en los focus group.
La tercera etapa de trabajo consistió en el desarrollo de un taller
en el que participaron los mismos voceros, más un representante de la
institucionalidad educativa (Agencia de Calidad de la Educación). Este
representante se incluyó en esta etapa porque la metodología indica que
la estructura jerárquica también debe tener un criterio de factibilidad
de aplicación, vinculada con quienes están en la toma de decisiones,
a fin de que estos opinen si es posible que la metodología se aplique.
En esta jornada se realizaron las siguientes acciones: validar la
estructura jerárquica, cumpliendo con los cuatro axiomas definidos
por el método y establecer las prioridades entre los criterios
identificados. Esta tarea se realizó con el apoyo de un software
especializado para la metodología AHP, denominado Expert Choice.
De esta forma, se contó con la estructura jerárquica definitiva que
da cuenta de la presencia de procesos de mejoramiento en escuelas
chilenas, de acuerdo con los expertos.
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 73
Finalmente, la cuarta parte del proceso consistió en que, sobre
la base de los acuerdos alcanzados en el momento anterior, se realizó
la definición de los indicadores que permitirán el levantamiento de
información respecto de los atributos de mejoramiento educativo
descritos por cada criterio terminal de la estructura jerárquica.
Posteriormente, con base en los resultados recién descritos, se
realizó el diseño de los instrumentos de recolección de información
y/o la identificación de datos secundarios que permitirán levantar
los antecedentes para informar a cada indicador de la estructura
jerárquica. Luego, esos instrumentos fueron sometidos a una
evaluación de validez de contenido. Para ello, se les solicitó a dos
jueces expertos analizar el instrumental generado, produciendo con
ellos ciclos iterativos que permitieron lograr el estándar de calidad
idóneo en cuanto a validez.
La primera etapa de esta investigación, cuyos resultados se
reportan a continuación, finalizó con la última acción mencionada.
De esta forma, se detallará en seguida tanto la estructura del modelo
evaluativo, como la propuesta metodológica para su implementación
y la discusión de sus fortalezas y debilidades desde un punto de vista
teórico, previamente a su aplicación en escuelas.
7. Estructura jerárquica para la evaluación de atributos
del mejoramiento educativo
El resultado del proceso descrito fue una matriz jerárquica que
desglosa en criterios el objetivo de medir la presencia de atributos de
mejoramiento educativo en escuelas chilenas. Esta matriz se describe
a continuación, junto con el valor de prioridad que les asignaron los
expertos.
La matriz se organiza en tres criterios estratégicos, de los que se
desprende un conjunto de subcriterios o atributos del mejoramiento
educativo. Estos tres criterios son:
a. Impulsos externos al mejoramiento, es decir, la forma en que la
escuela utiliza y aprovecha insumos y recursos provenientes de
74 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
la política educativa y otros agentes.
b. Gestión del sostenedor orientada al mejoramiento, lo que implica
la eficiencia de la gestión del sostenedor y su liderazgo pedagógico.
c. Movilización interna del mejoramiento, es decir, de qué forma la
escuela es capaz de definir y asumir un proceso de cambio que
tenga sentido con su historia, desafíos y necesidades.
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 75
Figura 2: Estructura jerárquica de resultados de procesos de mejoramiento en escuelas chilenas (panorámica general)
Criterios
estratégicos
Subcriterios
Criterios
terminales
Impulsos externos al
mejoramiento (L: ,145) Gestión del sostenedor
orientada al
mejoramiento (L: ,331)
Goal: Evaluar el grado en
que se encuentran presentes
procesos de mejoramiento
educativo en escuelas
Gestión de
recursos (L: ,400)
Gestión de
recursos
(L: ,400)
Integración de la
asesoría
(L: ,181)
Sentido de la
asesoría
(L: ,244)
Ecacia de la
asesoría
(L: ,244)
Dominio de la
demanda
(L: ,332)
Uso estratégico
del SIMCE
(L: ,250)
Uso de recursos
SEP
(L: ,500)
Aprovechamiento
de la
scalización
(L: ,250)
Incorporación de
políticas educativas
(L: ,698)
Agilidad y
eciencia en
el uso de los
recursos (L: , 450)
Disposición en el
servicio (L: , 550)
Aportes de las
políticas locales
(L: , 251)
Monitoreo de la
escuela (L: , 581)
Gestión de redes
(L: , 168)
Liderazgo
pedagógico
(L: ,600)
Apropiación de la
estrategia
(L: ,410)
Procesos y
prácticas
(L: ,179)
Relevancia
práctica del PEI
(L: ,500)
Sistenibilidad
(L: ,500)
Normalización
(L: ,545) Director
(L: ,600)
Equipo directivo
(L: ,400)
Condiciones
técnicas de UTP
(L: ,598)
Capacidades
profesionales de
los docentes
(L: ,402)
Capacidad para
abandonar
contingencias
(L: ,273)
Data de
incorporación
de los cambios
(L: ,182)
Procesos de
autoevaluación
(L: ,474)
Liderazgo del
equipo directivo
(L: ,316)
Trayectoria de
resultados en
SIMCE
(L: ,474)
Capacidad
profesional Técnico
pedagógico
(L: ,211)
Procesos de
rendición de
cuentas
(L: ,211)
Estructuración
del trabajo
(L: ,316)
Movilización interna
del mejoramiento
(L: ,524)
Funcionamiento y condiciones
de los equipos y sus integrantes
(L: ,410)
76 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
Figura 3: Estructura jerárquica. Criterio estratégico “Impulsos externos al
mejoramiento”
Figura 4: Estructura jerárquica. Criterio estratégico “Gestión del sostenedor
orientada al mejoramiento”
Impulsos externos
al mejoramiento
(L: ,145)
Uso de recursos
SEP
(L: ,500)
Aprovechamiento
de la scalización
(L: ,250)
Uso estratégico del
SIMCE
(L: ,250)
Integración de la
asesoría
(L: ,181)
Sentido de la
asesoría
(L: ,244)
Ecacia de la
asesoría
(L: ,244)
Dominio de la
demanda
(L: ,332)
Incorporación del
trabajo de ATE
(L: ,302)
Gestión del sostenedor
orientada al mejoramiento
(L: ,145)
Agilidad y eciencia en
el uso de los recursos
(L: ,450)
Disposición en
el servicio
(L: ,550)
Gestión del recurso
(L: ,400)
Aporte a las políticas
locales
(L: ,251)
Monitoreo de la
escuela
(L: ,581)
Gestión de redes
(L: ,168)
Liderazgo
pedagógico
(L: ,600)
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 77
Figura 5: Estructura jerárquica. Criterio estratégico “Movilización interna del mejoramiento”
Movilización interna
del mejoramiento
(L: ,524)
Procesos y prácticas
(L: ,179)
Funcionamiento y
condiciones de los
equipos y sus integrantes
(L: ,410)
Apropiación de la
estrategia (L: ,410)
Relevancia práctica del
PEI (L: ,500)
Sostenibilidad (L: ,500) Procesos de
autoevaluación (L: ,474) Trayectoria de
resultados en SIMCE
(L: ,474)
Capacidad profesional
Técnico pedagógica
(L: ,211)
Trayectoria del equipo
directivo (L: ,316)
Capacidades
profesionales de los
docentes (L: ,402)
Director (L: ,600)
Equipo directivo (L: ,400)
Normalización (L: ,545) Procesos de rendición
de cuentas (L: ,211)
Capacidad para
abordar contingencias
(L: ,273)
Estructuración del
trabajo (L: ,316)
Data de incorporación
de los cambios (L: ,182)
78 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
8. Descripción de resultados del diseño del modelo
jerárquico para la evaluación
Tal como puede observarse en las figuras presentadas, de cada uno de
los tres criterios estratégicos se desglosó un conjunto de subcriterios y
criterios terminales o indicadores. Estos recogen diferentes procesos,
prácticas y resultados que fueron reconocidos como atributos de una
escuela que se encuentra en un proceso de mejoramiento. Los expertos
entregaron mayor relevancia al tercer criterio estratégico (Movilización
interna del mejoramiento), por lo que dotaron a sus atributos de una
mayor ponderación en la evaluación. Posteriormente, se calificó en
segundo lugar al criterio de Aporte del sostenedor y finalmente a los
Impulsos externos al mejoramiento.
En la misma línea, en el proceso realizado se destacó con
claridad el concepto de liderazgo pedagógico, como componente
central de conducción de los procesos de cambio en la escuela.
Este factor es el único que se menciona en dos ocasiones (a nivel
de sostenedor y dentro de la escuela). Junto con ello, se observó un
consenso en que el liderazgo es más bien un atributo o función de
las instituciones educativas y que este descansa más allá de la figura
de su director. Esto implica considerar la relevancia del análisis de la
distribución del liderazgo, a la hora de evaluar las características de
los procesos de mejoramiento (Harris & Spillane, 2008).
Junto con lo anterior, se identifican en las políticas educativas
insumos muy importantes para dar impulso a los procesos de
mejoramiento, y se reconoce que ellos gatillan cambios, pero que
el protagonismo para que se realicen recae sobre todo en la escuela.
Si se revisa en detalle el conjunto de subcriterios que dan
cuenta de la estructura jerárquica, los componentes de los procesos
de mejoramiento son fundamentalmente de dos tipos: el primero se
refiere a condiciones de funcionamiento de la escuela y apunta a la
estructura que soporta los procesos de mejoramiento (normalización
en la escuela, gestión eficiente de los recursos, o estructuración
del trabajo, entre otros). Por su parte, el segundo tipo alude al
desarrollo de competencias individuales, colectivas y organizacionales
(enseñanza, procesos de autoevaluación o uso de información).
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 79
Teniendo en consideración las expectativas definidas para esta
propuesta y la estructura jerárquica recién presentada, la evaluación
de los atributos de mejoramiento educativo en las escuelas buscará
constatar la presencia de los distintos indicadores que lo componen.
Bajo esta lógica, una escuela podrá contar con una mayor o menor
presencia de procesos de mejoramiento en relación con otras escuelas,
considerando un continuo entre 0 (sin presencia de atributos de
mejoramiento) y 1 (con total presencia de estos atributos). Por su
parte, esta estructura también servirá para evaluar este resultado en
distintos momentos del tiempo, lo que favorecerá el reconocimiento
de mejoramiento o empeoramiento de la presencia de atributos de
mejoramiento de la escuela.
Es decir, la lógica de la evaluación no identifica por ahora un
estándar de logro, sino que su resultado tiene relevancia en relación
con el resultado obtenido por otra escuela, o por ella misma, en otro
momento del tiempo.
9. Diseño de indicadores e instrumentos de
recolección de información e identificación de datos
secundarios
Con posterioridad a la validación de la estructura jerárquica para
evaluar la presencia de atributos de mejoramiento, se avanzó hacia
la última etapa del trabajo, correspondiente a la identificación de los
indicadores necesarios para implementar una evaluación de cada
uno de los criterios terminales de la estructura jerárquica, así como
del reconocimiento de la información necesaria para los indicadores.
Cada uno de estos indicadores fue validado por cada vocero
experto, en una reunión personalizada, recogiendo e incorporando los
cambios y sugerencias emitidos por estos. Todo el proceso descrito
fue apoyado y validado por una académica experta en la metodología
AHP.
Teniendo en consideración las definiciones realizadas en la
sección conceptual de este trabajo, el diseño de los indicadores para
la evaluación de atributos de mejoramiento en los establecimientos
80 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
educacionales buscó favorecer una mirada amplia y diversa
respecto de los atributos del mejoramiento educativo, para contar
con un panorama más justo acerca del trabajo que se lleva a cabo
en los establecimientos educacionales. De esta forma, para cada
criterio terminal se irá justificando la decisión de la metodología e
instrumento que se aplicará para la evaluación, considerando criterios
metodológicos, educacionales y prácticos.
La siguiente tabla sintetiza las definiciones realizadas en materia
de recolección de información para cada indicador desprendido de
la matriz jerárquica.
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 81
Tabla 1: Indicadores, instrumento de recolección de información y datos secundarios
Criterio terminal Indicador Instrumento de evaluación
Uso estratégico del
SIMCE.
Porcentaje de acciones de análisis de resultados de SIMCE y de su vínculo con estrategias
de mejoramiento de la gestión y la enseñanza.
Entrevista con rúbrica a equipo directivo, triangulada
con entrevista a actores clave del entorno.
Uso de recursos SEP. Priorización del gasto SEP en PME (tipo de gastos priorizados en el PME para el uso de la
SEP).
Análisis del PME.
Ejecución presupuestaria PME al nal del año. Análisis del PME.
Uso de scalización para
mejoramiento.
Presencia y ejecución de procesos y procedimientos de prevención y corrección de
observaciones de Supereduc (cumplimiento de normativa educacional).
Entrevista con rúbrica a equipo directivo, triangulada
con información Supereduc.
Integración de la
asesoría.
Capacidad de la asesoría de integrarse a procesos de trabajo cotidianos de la escuela. Cuestionario a equipo directivo.
Sentido de la asesoría. Capacidad de la asesoría de abordar expectativas u objetivos relevantes para la institución. Cuestionario a equipo directivo.
Ecacia de la asesoría. Grado de ecacia de la asesoría (nivel de logro de los objetivos de la asesoría). Cuestionario a equipo directivo.
Dominio de la demanda. Relación entre necesidades de la escuela y el tipo de asesoría que recibió. Análisis del PME.
Agilidad en la gestión de
recursos (sostenedor).
Percepción de agilidad en la gestión de recursos hacia la escuela (sostenedor). Cuestionario a equipo directivo.
Disposición de servicio
(sostenedor).
Percepción de disposición en el servicio hacia la escuela (sostenedor). Cuestionario a equipo directivo.
Aporte de las políticas
locales (sostenedor).
Nivel de aporte de las políticas locales al desarrollo de las escuelas. Entrevista con rúbrica al sostenedor, triangulada con
entrevista a actores clave del entorno.
82 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
Monitoreo de las escuelas. Nivel de monitoreo del cumplimiento de las políticas del sostenedor, del proyecto
educativo y de objetivos de aprendizaje en las escuelas (sostenedor).
Entrevista con rúbrica al sostenedor, triangulada con
entrevista a actores clave del entorno.
Gestión de redes. Nivel de desarrollo de redes de apoyo de otras instituciones a las escuelas
(sostenedor).
Entrevista con rúbrica al sostenedor, triangulada con
entrevista a actores clave del entorno.
Apropiación de la estrategia. Presencia del PEI en PME. Análisis comparado de PEI y PME.
Normalización. Grado de normalización de la escuela. Observación externa con pauta.
Capacidad para abordar
contingencias.
Índice de capacidad para abordar contingencias (incorporación de procesos y prácticas
para dar prioridad al cumplimiento del proyecto educativo, por sobre emergencias).
Análisis autodiagnóstico PME.
Noción de trayectoria. Grado de incorporación del aprendizaje de la gestión escolar de años anteriores en
prácticas actuales de mejoramiento.
Entrevista con rúbrica a equipo directivo, triangulada
con entrevista con actores clave del entorno.
Procesos de autoevaluación. Índice de dinámica de autoevaluación (incorporación e institucionalización de prácticas
de autoevaluación en la escuela)
Análisis autodiagnóstico PME, triangulado con
entrevista con actores clave del entorno.
Procesos de rendición de
cuentas.
Nivel de presencia de procesos de rendición de cuenta dentro de la escuela. Encuesta a personal de la escuela, triangulada con
entrevista con actores clave del entorno.
Estructuración del trabajo. Índice de estructuración de prácticas de la escuela (grado en que en las escuelas
existen deniciones de tarea y claridad de los procedimientos para ejecutarlas).
Análisis autodiagnóstico PME, triangulado con
entrevista con actores clave del entorno.
Liderazgo del director. Nivel de liderazgo del director (presencia de componentes de liderazgo en la escuela). Encuesta a personal de la escuela, triangulada con
entrevista con actores clave del entorno.
Liderazgo del equipo directivo. Nivel de liderazgo del equipo directivo. Encuesta a personal de la escuela, triangulada con
entrevista con actores clave del entorno.
Condiciones técnico-
pedagógicas de la escuela.
Nivel del trabajo técnico-pedagógico de la escuela (presencia de componentes de
procesos técnico-pedagógicos de calidad).
Encuesta a personal de la escuela, triangulada con
entrevista con actores clave del entorno.
Capacidades profesionales de
los docentes.
Promedio de resultados en evaluación docente. Análisis evaluación docente.
Trayectoria de resultados
SIMCE.
Índice de trayectoria de resultados considerando GSE. Resultados SIMCE en los últimos tres años,
considerando GSE.
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 83
10. La incorporación del contexto en la evaluación
Thrupp (1998) es un investigador que en las últimas décadas se
ha destacado por poner en cuestionamiento las limitaciones de
la no consideración del contexto social en el análisis del logro de
las escuelas. Según indica, no es posible escindir a la escuela de
su contexto, porque es este el que define fundamentalmente sus
características y condiciones de trabajo.
En otro texto, Thrupp y Lupton (2006) profundizan en
esa reflexión, a través del uso de evidencia de investigaciones que
describen y demuestran el impacto del contexto social en los procesos
y resultados de los estudiantes, incluso entre escuelas de similar nivel
socioeconómico. Estas afirmaciones son una base para reconocer
y definir la manera en que el contexto debiera ser considerado en
la evaluación del mejoramiento educativo. Al respecto, Thomas
(2010) estima que es pertinente que el juicio sobre el mejoramiento
de los resultados esté acompañado por antecedentes tales como el
tiempo, procesos desarrollados en la escuela, la composición de
este en términos del tipo de alumnos que la integran y el contexto
socioeconómico en que se desarrolla el trabajo de la escuela. Sin
embargo, según señala el propio Thrupp y sus colegas (Thrupp,
Lupton & Brown, 2007), no se trata de llegar a esperar que cada
contexto sea un mundo diferente, imposible de comparar, sino más
bien aceptar que hay comunidades o grupos que son socialmente
desventajados y que es necesario reconocer esto, tanto en la
investigación, como a nivel social y político.
Teniendo estos elementos en cuenta y considerando los
resultados del modelo de evaluación descritos, se propone que la matriz
jerárquica establezca diferente ponderación general de acuerdo con dos
variables principales: grado de vulnerabilidad socioeconómica y estado
de desarrollo educativo de la escuela. De esta forma, la valoración de
atributos de mejoramiento debiera reconocer aspectos que hacen más
difícil el avance en el logro de una evaluación positiva o favorable.
Sin embargo, la definición recién establecida podría haberse
hecho sin contar con los resultados de esta investigación. Por esta
Monitoreo de las escuelas. Nivel de monitoreo del cumplimiento de las políticas del sostenedor, del proyecto
educativo y de objetivos de aprendizaje en las escuelas (sostenedor).
Entrevista con rúbrica al sostenedor, triangulada con
entrevista a actores clave del entorno.
Gestión de redes. Nivel de desarrollo de redes de apoyo de otras instituciones a las escuelas
(sostenedor).
Entrevista con rúbrica al sostenedor, triangulada con
entrevista a actores clave del entorno.
Apropiación de la estrategia. Presencia del PEI en PME. Análisis comparado de PEI y PME.
Normalización. Grado de normalización de la escuela. Observación externa con pauta.
Capacidad para abordar
contingencias.
Índice de capacidad para abordar contingencias (incorporación de procesos y prácticas
para dar prioridad al cumplimiento del proyecto educativo, por sobre emergencias).
Análisis autodiagnóstico PME.
Noción de trayectoria. Grado de incorporación del aprendizaje de la gestión escolar de años anteriores en
prácticas actuales de mejoramiento.
Entrevista con rúbrica a equipo directivo, triangulada
con entrevista con actores clave del entorno.
Procesos de autoevaluación. Índice de dinámica de autoevaluación (incorporación e institucionalización de prácticas
de autoevaluación en la escuela)
Análisis autodiagnóstico PME, triangulado con
entrevista con actores clave del entorno.
Procesos de rendición de
cuentas.
Nivel de presencia de procesos de rendición de cuenta dentro de la escuela. Encuesta a personal de la escuela, triangulada con
entrevista con actores clave del entorno.
Estructuración del trabajo. Índice de estructuración de prácticas de la escuela (grado en que en las escuelas
existen deniciones de tarea y claridad de los procedimientos para ejecutarlas).
Análisis autodiagnóstico PME, triangulado con
entrevista con actores clave del entorno.
Liderazgo del director. Nivel de liderazgo del director (presencia de componentes de liderazgo en la escuela). Encuesta a personal de la escuela, triangulada con
entrevista con actores clave del entorno.
Liderazgo del equipo directivo. Nivel de liderazgo del equipo directivo. Encuesta a personal de la escuela, triangulada con
entrevista con actores clave del entorno.
Condiciones técnico-
pedagógicas de la escuela.
Nivel del trabajo técnico-pedagógico de la escuela (presencia de componentes de
procesos técnico-pedagógicos de calidad).
Encuesta a personal de la escuela, triangulada con
entrevista con actores clave del entorno.
Capacidades profesionales de
los docentes.
Promedio de resultados en evaluación docente. Análisis evaluación docente.
Trayectoria de resultados
SIMCE.
Índice de trayectoria de resultados considerando GSE. Resultados SIMCE en los últimos tres años,
considerando GSE.
84 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
razón, y teniendo en cuenta el foco del mejoramiento en el núcleo
pedagógico y los resultados de la matriz consensuada por los expertos,
se propone que las variables más estrechamente asociadas al núcleo
pedagógico tengan una ponderación diferenciada, dependiendo del
grado de vulnerabilidad socioeconómica –dada la composición de la
escuela– y su nivel de desarrollo durante su proceso de mejoramiento.
Así, los indicadores correspondientes al criterio estratégico de
“Movilización interna del mejoramiento” serían los que tendrían
esta ponderación diferenciada (en este caso de menor valor en la
medida en que aumente el grado de vulnerabilidad socioeconómica),
que reconozca la mayor dificultad de las escuelas que dificultades
socioeconómica mayores y mejor desarrollo educativo. La única
excepción se hace en el caso de indicador “Normalización”, debido a
que corresponde a la existencia de procesos básicos de funcionamiento
de la escuela.
11. Discusión
Este artículo ha buscado destacar de manera concreta las potencialidades
que una innovación metodológica puede prestar al análisis del
mejoramiento educativo. Se considera que la experiencia que estudia
esta investigación es innovadora, debido a que tiene como objetivo
que se reconozcan de manera amplia diferentes tipos de atributos
del mejoramiento educativo para llevar a cabo evaluaciones más
justas. Además, estos atributos tuvieron una expresión concreta en
instrumentos de recolección de información, identificación de datos
o la combinación de ambos, como estrategias concretas de abordar la
evaluación. Es decir, no hubo indicadores que no pudiesen traducirse
en algún mecanismo que permitiera su evaluación, pese a que es
importante reconocer que algunos de ellos son de compleja aplicación.
Junto con esto, la técnica de recolección de información
para el diseño del modelo de evaluación no incluyó únicamente el
levantamiento de información de parte de actores, sino que consideró
la tarea de que estos tomen acuerdos concretos en relación con los
componentes de la estructura jerárquica y la relevancia relativa de
cada uno de sus componentes. El ejercicio de búsqueda de consenso
es el que explica que se haya optado por un número de integrantes
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 85
algo más acotado que si se hubiese esperado únicamente recoger
información proporcionada por estos participantes. De acuerdo con
los resultados obtenidos, puede concluirse que la apuesta por lograr
consensos evaluativos fue exitosa.
Se considera que en general la apuesta metodológica descrita
favoreció el cumplimiento de la etapa relatada en este artículo. En
primer lugar, ha sido posible vislumbrar, luego de la implementación
de la investigación y el levantamiento de los criterios de evaluación,
la presencia de aspectos comunes entre el escenario chileno y la
investigación referida al mejoramiento educativo en la investigación
educacional, especialmente la relevancia de la apropiación de estos
procesos de parte de la escuela. Con ello se confirma la importancia
de privilegiar las características de los procesos internos de los
establecimientos educacionales a la hora de evaluar su desempeño.
Al mismo tiempo, ha sido posible reconocer elementos
propios de la realidad chilena en la identificación de procesos de
mejoramiento. Aquí resulta relevante la identificación de la labor del
sostenedor como factor clave para la implementación de procesos de
mejoramiento, reconociendo aspectos de gestión de recursos y sobre
todo de liderazgo pedagógico.
La investigación permitió constatar de manera teórica la
importancia de contextualizar el uso de estos indicadores en la
evaluación. En la discusión de los expertos se destacó que el conjunto de
indicadores debiera considerar el contexto social en que se encuentra la
escuela, como un factor ponderador de los resultados de la evaluación.
Además, el uso de la revisión bibliográfica permitió desarrollar
una propuesta concreta de corrección en la estructura jerárquica,
considerando el grado de vulnerabilidad de la escuela y su grado de
desarrollo educativo. Debido a las características de la investigación
desarrollada, no fue posible identificar ni valorar en qué medida
cuantitativa la estructura jerárquica de evaluación debiera adaptarse
a las diferencias del contexto en el que opera la institución educativa.
Este elemento se considera una limitación de la investigación
que hace necesario el ejercicio de aplicar la metodología definida,
86 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
para poder valorar de manera clara en qué medida se incorpora este
importante factor en el análisis.
En otro ámbito de análisis, la comparación de los estándares
indicativos que utiliza la Agencia de Calidad de la Educación en sus
visitas de evaluación, respecto de los resultados de esta investigación
muestra intersecciones, pero también elementos que no son comunes.
Esta situación implica un amplio margen de desarrollo para incorporar
los atributos de mejoramiento en la evaluación de escuelas chilenas.
Los resultados de la aplicación de la propuesta de evaluación también
pueden ayudar a los procesos de autoevaluación y reflexión que
dicha agencia propone a los establecimientos y favorecer la toma de
decisiones para la mejora.
De la revisión ex post del diseño de los indicadores e
instrumentos ha sido posible identificar un conjunto de aspectos
que en la metodología diseñada no favorecen el logro completo del
análisis de resultados de procesos de mejoramiento y que debieran ser
estudiados con detalle para avanzar en su resolución. Estos elementos
se relacionan con el levantamiento de información cualitativa que
favorezca la identificación más fina de procesos involucrados en
algunos de los criterios terminales que han sido diseñados.
En concreto, algunos criterios terminales, junto con los
instrumentos diseñados, podrían ser complementados si es que
se incluyen elementos adicionales de registro o sistematización de
información. Ejemplo de ello son el ámbito de uso de los resultados
del SIMCE o la fiscalización de la Superintendencia, por un lado, y
elementos relacionados con la instalación de determinadas prácticas
dentro de las escuelas, por otro. En este tipo de criterios terminales
se ha sugerido generar información complementaria que permita una
mayor comprensión de los fenómenos, más allá de la identificación
de la presencia o ausencia de atributos.
Considerando lo anterior, se vislumbra un área de mejoramiento
para la propuesta desarrollada, orientada a la tarea de generar
instrumentos de carácter cualitativo para complementar algunos de
los indicadores. Sin embargo, es necesario señalar que antes de ello es
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 87
necesario desarrollar una primera aplicación del instrumento, donde
sea posible constatar esta limitación u otra.
Es útil recalcar a modo de reflexión que los instrumentos
de evaluación, sobre todo de fenómenos complejos como el
mejoramiento educativo, son objetos en desarrollo que requieren de
una revisión permanente y colectiva, de manera de ser periódicamente
perfeccionados sobre la base de la evidencia empírica de su aplicación.
Además, por su misma naturaleza, son construcciones en las que
difícilmente se logra consenso completo y que están expuestas a
la identificación de debilidades o carencias. Todos estos aspectos
son importantes desafíos para el desarrollo de este mecanismo de
evaluación y para otros en general.
Finalmente, se debe señalar que las limitaciones descritas se
convierten en tareas que debieran ser consideradas en la segunda
etapa de este programa de investigación. Esta tendrá como objetivo
la validación empírica de la propuesta metodológica que ha sido
diseñada, a través de su aplicación en establecimientos educacionales
de diferente contexto social y educativo, siguiendo la propuesta
para considerar diferenciadamente el contexto en la evaluación. El
análisis de los resultados de la aplicación permitirá profundizar en el
modelo, clasificando sus variables desde un punto de vista empírico,
identificando su condición de variable independiente, dependiente o
moderadora del mejoramiento educativo.
Junto con ello, será el momento para evaluar la idoneidad de
las definiciones de instrumentos de recolección de información y/o
datos que se consideraron en esta primera versión del trabajo. Por
último, se espera además avanzar en un mecanismo productivo de
devolución de la información a los establecimientos educacionales
que participen del proceso y que les permitan extraer información o
sugerencias para la implementación de estrategias de mejoramiento.
88 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
Referencias
Anderson, S., Mascall, B., Stiegelbauer, S. & Park, J. (2012). No one way:
differentiating school district leadership and support for school
improvement. Journal of Educational Change, 13, 403- 430.
Barber, M. (2010). How government, professions and citizens combine to drive
successful educational change. En A. Hargreaves, A. Lieberman, M.
Fullan, D. Hopkins (Eds.), Second international handbook of educational
change (pp. 261 - 278). Dordrecht Heidelberg Londres, Nueva York:
Springer Science+Business Media.
Bellei, C., Valenzuela, J. P. y De los Ríos, D. (2010). Segregación escolar en
Chile. En S. M. y G. Elacqua (Eds.), Fin de ciclo: cambios en la gobernanza
del sistema educativo (pp. 209- 229). Santiago: Facultad de Educación,
Pontificia Universidad Católica de Chile y Oficina Regional para
América Latina y el Caribe Unesco.
Bogotch, I., Mirón, L. & Biesta, G. (2007). “Effective for what; effective for
whom?” Two questions SESI should not ignore. En T. Townsend (Ed.),
International Handbook of School Effectiveness and Improvement (pp. 93-
110). New York: Springer.
Bourke, R. & Mc Gee, A. (2012). The challenge of change: using activity
theory to understand a cultural innovation. Journal of Educational
Change, 13, 217–233.
Chrispeels, J. & González, M. (2006). The challenge of systemic change in
complex educational systems. A district model to scale up reform. En A.
Harris & J. Chrispeels (Eds.), Improving schools and educational systems.
International perspectives (pp. 242 - 263). Nueva York: Routledge.
Dale, R. & Robertson, S. (2007). Beyond methodological ‘isms’ in comparative
education in an era of globalization. En A. Kazamias & R. Cowan (Eds.)
Handbook on Comparative Education. Netherlands: Springer.
Datnow, A. & Park, V. (2004). Conceptualizing policy implementation: Large-
scale reform in an era of complexity. En G. Sykes, & P. Schneider (Eds.),
Handbook of educational policy research. Nueva York: American
Educational Research Association.
Datnow, A. (2012). Collaboration and contrived collegiality: Revisiting
Hargreaves in the age of accountability. Journal of Educational Change,
12, 147- 158.
Elmore, R. (2010). Mejorando la escuela desde la sala de clases. (C. Santa Cruz,
Trans.). Santiago: Fundación Chile, Fundación CAP.
Froemel, J. (2003). Evaluación de la calidad de la educación con equidad:
el modelo de valor agregado. Persona y Sociedad, XVII(1), 165-178.
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 89
Fullan, M. (1982). The meaning of educational change. Nueva York: Teachers
College Press.
Fullan, M. (2002). Los nuevos significados del cambio en la educación. Barcelona:
Octaedro.
Fullan, M. (2010). Positive pressure. En A. Hargreaves, A. Lieberman, M.
Fullan & D. Hopkins (Eds.), Second international handbook of educational
change (pp. 119-130). Dordrecht: Springer Science+Business Media.
Fullan, M. & Hargreaves, A. (2013). Professional capital: transforming teaching
in every school. Nueva York: Teachers College Press.
Guhn, M. (2009). Insights from successful and unsuccessful implementations
of school reforms programs. Journal of Educational Change, 10, 337–363.
Hallinger, P. & Heck, R. (2011). Exploring the journey of school improvement:
Classifying and analyzing patterns of change in school improvement
processes and learning outcomes, school effectiveness and school
improvement. International Journal of Research, Policy and Practice,
22(1), 1-27.
Hamilton, L., Stecher, B. & Yuan, K. (2012). Standards-based accountability
in the United States: lessons learned and future directions. Educational
Inquiry, 3(2), 149-170.
Hargreaves, A. (2003). Enseñar en la sociedad del conocimiento. Barcelona:
Octaedro.
Hargreaves, A. (2010). Change from without: Lessons from other countries,
systems, and sectors. En A. Hargreaves, A. Lieberman, M. Fullan &
D. Hopkins (Eds.), Second international handbook of educational change
(pp. 105-117). Dordrecht: Springer Science+Business Media.
Hargreaves, A. (2012). Singapore: The fourth way in action? Educational
Research for Policy and Practice, 11(1), 7-17. http://dx.doc.org/ 10.1007/
s10671-011-9125-6
Hargreaves, A. y Fink, D. (2006). Estrategias de cambio y mejora en educación
caracterizadas por su relevancia, difusión y continuidad en el tiempo.
Revista de Educación, 339, 43-58.
Harris, A. & Spillane, J. (2008). Distributed leadership through the looking
glass. Management in Education, 22(1), 31–34.
Harris, A. (2010). Improving schools in challenging context. En A. Hargreaves,
A. Lieberman, M. Fullan & D. Hopkins (Eds.), Second International
Handbook of Educational Change (pp. 105-117). Dordrecht: Springer
Science+Business Media.
90 HACIA UN MARCO ANALÍTICO Y METODOLÓGICO PARA LA EVALUACIÓN DEL
MEJORAMIENTO EDUCATIVO EN ESCUELAS CHILENAS - L. De la Vega
Harris, A. (2012). Liderazgo y desarrollo de capacidades en la escuela. (C. Santa
Cruz, Trans.). Santiago: Fundación Chile, Fundación CAP.
Hopkins, D. (2009). Hacia una buena escuela: experiencias y lecciones. (C. Santa
Cruz, Trans.). Santiago: Fundación Chile, Fundación CAP.
Hopkins, D. (2010). Every school a great school – realizing the potential of
system leadership. En A. Hargreaves, A. Lieberman, M. Fullan & D.
Hopkins (Eds.), Second international handbook of educational change (pp.
741-764). Dordrecht: Springer Science+Business Media.
Levin, B. (2007). Sustainable, large-scale education renewal. Journal of
Educational Change, 8, 323-336.
Levin, B. (2009). Does politics help or hinder education change? Journal of
Educational Change, 10, 69- 72.
Loogma, K., Tafel-Viia, K. & Marik, M. (2012). Conceptualizing educational
changes: A social innovation approach. Journal of Educational Change.
http://dx.doi.org/0.1007/s10833-012-9205-2
Martinic, S.; Elacqua, G. (Eds.) (2010). ¿Fin de ciclo? Cambios de gobernanza
en el sistema educativo. Santiago. Unesco- P. Universidad Católica
de Chile.
Mcbeath, J. (2011). Liderar el aprendizaje dentro y fuera de la escuela (C. Santa
Cruz, Trans.). Santiago: Fundación Chile, Fundación CAP.
Mourshed, M., Chijioke, C. & Barber, M. (2010). How the world’s most improved
school systems keep getting better. En M. Mourshed, C. Chijioke, & M.
Barber (Eds.) How the world’s most improved school systems keep getting
better. Londres: McKinsey and Company.
Murillo, F. (2003). El movimiento teórico-práctico de mejora en la escuela.
Algunas lecciones aprendidas para transformar los centros docentes.
REICE, 1(2), 1- 22.
Murillo, F. y Krichesky, G. (2012). El proceso de cambio escolar. Una guía para
impulsar y sostener la mejora de las escuelas. Revista Iberoamericana
sobre Calidad, Eficacia y Cambio en Educación, 10(1), Pp. 27- 43.
Ng, P. T. (2012). An examination on school accountability from the perspective
of Singapore school leaders. Educational Research Policy and Practice,
12 (2), 121-131.
Organisation for Economic Co-operation and Development, OECD. (2013).
Synergies for better learning. An international perspective on evaluation
and assessment. OCDE Reviews of Evaluation and Assessment in Education.
Paris: OECD Publishing.
CALIDAD EN LA EDUCACIÓN no 42, julio 2015 91
Shwartz, H., Hamilton, L., Stecher, B. & Steele, J. (2011). Expanded measures
of school performance. RAND Corporation. Preparado por Sandler
Foundation. Recuperado de http://www.rand.org/pubs/technical_
reports/TR968.html
Saaty, T. (1994). Fundamentals of decision making and priority theory with the
Analytic Hierarchy Process. Pittsburgh: RWS Publications.
Saaty, T. (1997). Toma de decisiones para líderes. El Proceso Analítico Jerárquico, la
toma de decisiones en un mundo complejo. Pittsburgh: RWS Publications.
San Martín, E. y Carrasco, A. (2012). Clasificación de escuelas en la nueva
institucionalidad educativa: contribución de los modelos de valor
agregado para una responsabilización justa. Temas de la Agenda Pública
del Centro de Políticas Públicas de la Universidad Católica de Chile, Nº 53.
Thomas, S. (2010). Assessment and the evaluation of institutional effectiveness.
International Encyclopedia of Education, 3, 172- 180.
Thrupp, M. (1998). The art of possible: Organizing and managing high and low
socioeconomic schools. Journal of Education Policy, 12(2), Pp. 197-219.
Thrupp, M. & Lupton, R. (2006). Taking school context more seriously: the
social justice challenge. Journal of Educational Studies, 54(3), 308-328.
Thrupp, M., Lupton, R. & Brown, C. (2007). Pursuing the contextualization
agenda: Recent progress and future prospects. En T. Townsend (Ed.),
International handbook of school effectiveness and improvement (pp. 111-
126). Dordrecht: Springer.
Vásquez, J, & Darling-Hammond, L. (2008). Accountability Texas-Style: The
progress and learning of urban minority students in a high-stakes testing
context. Educational Evaluation and Policy Analysis, 30(2), 75-110.
Weinstein, J. y Muñoz, G. (Eds.) (2012) ¿Qué sabemos de los directores de
escuela en Chile? Santiago: CEPPE- Fundación Chile.
Recibido: 10/12/2014
Aceptado: 26/04/2015
Article
Full-text available
Resumen El objetivo del trabajo es presentar un modelo para determinar la calidad de procesos de e-learning para Instituciones de Educación Superior en Colombia. El modelo posee una estructura de interoperabilidad que permite la reutilización de materiales y metodologías, brindando medios tecnológicos para el desarrollo de ambientes adecuados de aprendizaje. Se considera también en la propuesta la adopción y adaptación de modelos de referencia, procesos de autoevaluación y regulación que integra estándares internacionales de calidad, con la política y legislación Colombiana. Finalmente, se incluye una marca de calidad que certifica procesos y productos, teniendo en cuenta características institucionales y contextuales. El modelo se validó en veintidós universidades colombianas, para las que se estableció un diagnóstico a través de encuestas, entrevistas y observación de campo. El estudio muestra la ausencia de criterios unificados o modelos para abordar procesos educativos virtuales. Abstract The aim of the paper is to present the model to determine the quality of e-learning processes in higher education institutions in Colombia. The model has a structure of interoperability that allows the reuse of materials, methods and learning environments, providing technology for the development of appropriate learning environments. The proposal also considers the adoption and adaptation of reference models, processes of self-evaluation and regulations that meet international quality standards and Colombian law. Finally, a quality seal that certifies processes and products, taking into account institutional and contextual features. The model was validated in twenty two Colombian universities, for which a diagnosis through surveys, interviews and field data. The study shows the absence of unified criteria or models to address educational virtual processes.
Article
Full-text available
No hay alternativas, en Educación, si no se avanza, se retrocede. Posiblemente uno de los peores pecados de la educación es la autocomplacencia: quien crea que ya lo hace bien, que no necesita mejorar, está en el camino para hacerlo mal y cada vez peor. Aprender sobre el proceso de cambio escolar implica comprender su complejidad, conocer las etapas que lo componen y saber anticiparse a las resistencias que genera. Este artículo pretende ofrecer una serie de pautas que permitan entender, en un sentido pragmático, cómo iniciar un proceso de cambio escolar que sea sostenible a lo largo del tiempo y, en esa dirección, qué elementos o dimensiones deben contemplarse para que resulte especialmente eficaz.
Article
Full-text available
Standards-based accountability (SBA) has been a primary driver of education policy in the United States for several decades. Although definitions of SBA vary, it typically includes standards that indicate what students are expected to know and be able to do, measures of student attainment of the standards, targets for performance on those measures, and a set of consequences for schools or educations based on performance. Research on SBA indicates that these policies have led to some of the consequences its advocates had hoped to achieve, such as an emphasis on equity and alignment of curriculum within and across grade levels, but that it has also produced some less desirable outcomes. This article summarizes the research on SBA in three areas: quality of standards, ways in which SBA has shaped educators’ practices, and effects on student achievement. The article identifies lessons learned from the implication of SBA in the United States and provides guidance for developing SBA systems that could promote beneficial outcomes for students.
Article
Full-text available
This article explains how an inservice teacher education organisation in New Zealand embarked on a cultural innovation to challenge and build bicultural pedagogies, policies and practices. To understand the process and the impact of a three-year cultural innovation both intended and unintended changes need to be explored. Using a framework of second generation cultural historical activity theory, the article examines the individual and institutional changes, exposing both tensions and learning. Key successful factors included establishing a clearly recognized purpose, widening individual and group involvement, and creating flexibility to build a strong platform to support the innovation. However, tensions were created when externally imposed factors such as changes in government policy and re-prioritization of funding were introduced. The external tensions challenged the internal organisational structures and stability, which in turn affected the cultural innovation and destabilised the change process.
Article
This article reviews research that examines institutional effectiveness and the methods used to define and measure effectiveness and improvement. The problems of raw league tables are discussed as well as the need for alternative approaches, such as value-added methods, to assess and evaluate institutional effectiveness. Key questions concerning data collection, statistical analysis, and how data and evidence are used by different stakeholders for different purposes are also addressed. To illustrate the complex issues related to measuring effectiveness, selected evidence is drawn from a range of studies in the UK and internationally, focusing mainly on schools where much the research has been conducted. The article concludes by emphasizing that the way practitioners use data to reflect on past performance and to inform and evaluate their current policy and practice is a crucial aspect in understanding how schools and other educational institutions improve.
Article
The intention of the authors in this article is to contribute to the discussion concerning educational change by implementing the concept of social innovation. We argue that the application of the concept of social innovation makes it possible to better understand the process of implementation as well as sustainability and the social impact of educational changes. In the article, an integrated model of social innovation has been constructed and applied in conceptualising two consequent radical educational changes accompanying the post-communist changes in Estonia. As a result, the authors conclude that the concept of social innovation provides a promising framework, which facilitates the understanding and analysis of radical educational change. The social innovation approach is useful in identifying the different levels of change and assessing how deep the changes have been. However, in education systems in neo-liberal countries, where competition is one of the basic values, educational changes, even though becoming part of the everyday practices of actors, may redistribute power, rather than having an empowering effect for the majority of the main actors.
Article
This article examines findings from a qualitative investigation of how school district administrators in four mid to large sized urban school districts (10,000–50,000) identify and address differences in school performance. The analysis explores the interaction between district policies and actions that centralize and standardize expectations for teaching, learning, and leadership, and those that lead to the differentiation of district support to schools depending upon their identified needs. The findings demonstrate variability in district orientation and capacity to understand school needs to improve performance, as well as in district strategies for actually differentiating support to schools. Differentiated assistance can focus both on strengthening implementation of district expectations in order to improve school performance, and on supporting experimentation with non-standard solutions to performance challenges that are not solvable through use of established programs and practices.