Content uploaded by José Caraballo-Cueto
Author content
All content in this area was uploaded by José Caraballo-Cueto on Aug 13, 2020
Content may be subject to copyright.
APROVECHAMIENTO ACADÉMICO Y EL
CIERRE DE ESCUELAS EN PUERTO RICO
José Caraballo Cueto, PhD
Catedrático Asociado
Director, Centro de Información Censal
Universidad de Puerto Rico
ii
RESUMEN EJECUTIVO
En la literatura relacionada hay evidencia mixta sobre las consecuencias que el cierre de escuelas
en distintas jurisdicciones ha tenido sobre el aprovechamiento académico, pero la mayoría de los
artículos académicos señalan que hay efectos perjudiciales para los estudiantes. En el caso de
Puerto Rico se cerraron el 34% de sus escuelas en el periodo 2017 a 2019, lo que lo convertiría en
el cierre de escuela más intenso que se haya estudiado (que sepamos). En particular, en el año
académico 2018-2019 se cerraron 255 escuelas y en el año escolar 2017-2018 cerraron 183
escuelas. Hubo 58,606 estudiantes desplazados, de los cuales 2,616 atravesaron más de un cierre
de escuelas. La Junta de Control Fiscal recomendó el cierre de escuelas haciendo conjeturas sobre
su efecto positivo sobre la calidad educativa y la ex Secretaria de Educación justificó dicho cierre
por las economías fiscales que necesitaba. Sin embargo, del año fiscal 2017 al año fiscal 2020 el
gasto estatal en el funcionamiento de las escuelas disminuyó $34.5 millones, mientras partidas
como la del mantenimiento de las escuelas aumentaron por $311.7 millones en el mismo periodo,
en parte para darle servicios a las escuelas cerradas. En este proceso no mediaron consultas con
las comunidades previas al cierre y el personal docente no fue seleccionado en base al mérito sino
a su antigüedad en el Departamento de Educación (DE). El 78% de los estudiantes del sistema
público están debajo del nivel de pobreza, pero los estudiantes desplazados tenían en general una
incidencia de pobreza mayor.
Aprovechando la disponibilidad de datos a nivel de estudiantes, en este trabajo se utilizan métodos
de inferencia causal y se encuentra que esta consolidación abarcadora tuvo efectos negativos en el
aprovechamiento académico de los estudiantes desplazados. Para este ejercicio se utilizó los
resultados de las pruebas que toman los estudiantes en los grados tercero, cuarto, quinto, sexto,
séptimo, octavo y undécimos que estén en la corriente regular del sistema público. Luego de parear
los estudiantes en base a distintas características observables tales como la edad, el sexo, el nivel
de pobreza y la calidad de la escuela receptora, entre otras, se revela que los estudiantes que
atravesaron un cierre de escuelas tuvieron entre 0.035 y 0.0404 mayor probabilidad de obtener una
puntuación más baja en las pruebas META que los estudiantes no desplazados. A pesar de que el
aprovechamiento académico promedio de todos los estudiantes ha caído desde 2017 hasta 2019,
el desempeño estudiantil en las pruebas estandarizadas META bajó más de un año a otro para los
estudiantes desplazados que para los estudiantes no desplazados. Este resultado negativo se
mantuvo bajo distintas especificaciones del modelo. Luego de dos años, todavía los estudiantes
desplazados continuaban mostrando una baja mayor en su desempeño académico que sus
contrapartes no desplazados.
Se recomienda considerar la reapertura de algunos planteles. La reducción en la población
estudiantil puede permitir que los tamaños de las clases sean más pequeños, permitiendo que el
docente puede individualizar más la instrucción y así mejorar el aprovechamiento académico. Esto
permitiría atender mejor la amplia diversidad funcional de los estudiantes en el sistema público
donde el 17% está diagnosticado con problemas específicos de aprendizaje. Esta reapertura
también contribuiría a la resiliencia del sistema público ante la aparición continua de desastres
naturales en Puerto Rico.
iii
iv
TABLE DE CONTENIDO
Resumen Ejecutivo ...........................................................................................................................ii
Introducción .................................................................................................................................... 1
Trasfondo ........................................................................................................................................ 1
¿Por qué el cierre de escuelas? .................................................................................................. 1
Revisión Literaria ......................................................................................................................... 3
Datos ............................................................................................................................................... 5
Metodología .................................................................................................................................... 8
Resultados ....................................................................................................................................... 9
Conclusiones y Recomendaciones de Política Pública .................................................................. 11
Referencias .................................................................................................................................... 13
Apéndice Técnico .......................................................................................................................... 15
1
INTRODUCCIÓN
El cierre de escuelas ha acaparado la atención pública en Puerto Rico, impactando a cientos de
comunidades escolares. De acuerdo a los datos que obtuvimos a nivel de estudiantes
directamente del Departamento de Educación, encontramos que en el año académico 2018-2019
se cerraron 255 escuelas y en el año escolar 2017-2018 cerraron 183 escuelas.1 Al final del año
fiscal 2017 hubo 1,292 escuelas en el sistema público, por lo que la reducción de 2017 a 2019 fue
de 34%. A pesar de que hay un vacío amplio de información sobre el impacto de estos cierres
sobre el aprovechamiento académico, el plan fiscal del gobierno central de 2018 planeaba el
cierre de 300 escuelas adicionales, alegando que, “Tightening its system will give PRDE (Puerto
Rico Departmento of Education) the flexibility and funding to focus on improving the quality of
education provided” (p. 54).2
¿Mejoraron los indicadores de aprovechamiento académico con el cierre de escuelas? Esta es la
pregunta que esta investigación abordará.
Se alega que el Departamento de Educación no responde a las necesidades de miles de
estudiantes que pertenecen a la corriente de educación especial (Cordovés Avilés, 2017). Esta
situación se puede agravar al tener grupos de estudiantes relativamente grandes que no
permitan individualizar con algunos de estos estudiantes, contrario a lo recomendado
(Tomlinson, 2004). Si el cierre de escuelas parece querer preservar ese número relativamente
alto de estudiantes, el cual el plan fiscal establece en una maestra por cada 25 estudiantes de
escuela elemental y 30 de cuarto grado en adelantes (p. 56), entonces puede representar la
continuación o agravamiento del bajo aprovechamiento académico de gran parte de estos
estudiantes. Además, un cierre de escuelas atropellado que no toma en consideración la falta de
transportación pública en el país, que no seleccione el mejor personal al dejarse regir por el
principio de antigüedad (maestros más productivos mejoran la calidad de la enseñanza según
O’sullivan (2007) y que no considera los problemas asociados a la integración, puede exacerbar
aún más el bajo aprovechamiento académico que ya se observaba en muchas escuelas públicas
del país.
TRASFONDO
¿POR QUÉ EL CIERRE DE ESCUELAS?
La razón principal para el cierre de escuelas en Puerto Rico fue las economías que supuestamente
generaría. Según la prensa de Puerto Rico, el 1 de febrero de 2018 la secretaria de educación de
1 http://abretuescuela.org/
2 http://www.aafaf.pr.gov/assets/fiscal-plan-pr-fy2020-draft-03-10-2019.pdf
2
entonces dijo que: "Todo me limita en cuanto a la cantidad de escuelas que puedo tener. El dinero
no da, tengo que buscar maneras de encontrar unas economías", sostuvo Keleher.3
El cierre de escuelas, ¿trajo economías al presupuesto del Departamento de Educación? Del año
fiscal 2017 al año fiscal 2020 el gasto estatal en el funcionamiento de las escuelas disminuyó
$34.5 millones, como se muestra en el Gráfico 1. Esto representa una disminución del 2.1%. Sin
embargo, partidas como la del mantenimiento de las escuelas aumentó por $311.7 millones en
el mismo periodo, en parte para darle servicios a las escuelas cerradas y a las escuelas afectadas
por el Huracán María.
Hay un aspecto de proporcionalidad que merece atención. El cierre de escuelas aparenta ser
desproporcionado de acuerdo a Hinojosa et al. (2019): de 2006 a 2017 se redujo la población de
5-19 años en un 31% mientras que se cerraron el 43% de las escuelas entre 2006 y 2018. Ambos
autores señalan que el 65% de los cierres de escuela ocurrió en las zonas rurales. En esas áreas
es donde la transportación pública está menos disponible.
Gráfico 1. Presupuesto fondos estatales al DE, 2017-2018
Nota: Para los años 2017-2019 se utiliza el presupuesto gastado y en 2020 se utilizó el presupuesto aprobado ya que
al momento de redactar no había terminado el año fiscal 2020.
Fuente: Cálculos del autor basado en el Presupuesto Consolidado del Gobierno de Puerto Rico (2016-2020)4
3https://www.elnuevodia.com/noticias/locales/nota/educacioninicialaevaluacionparacerrar300
escuelas-2395099/
4http://www.presupuesto.pr.gov/Recomendado2019-
2020/Tablas%20estadisticas%202/(6)%20PRESUPUESTO%20DEL%20FONDO%20GENERAL%20P
OR%20AGENCIA%20AF%202017-2020.pdf
0
50000
100000
150000
200000
250000
300000
350000
400000
0
200000
400000
600000
800000
1000000
1200000
1400000
1600000
1800000
2017 2018 2019 2020
$1,000s
Años Fiscales
Gastos Escuelas de
Comunidad
Mantenimiento (derecha)
3
Hay señalamientos de que en el proceso del cierre de escuelas no mediaron consultas con la
comunidad antes de los cierres.5 Mas, el oficialismo dijo en abril de 2018 que estaba dispuesto a
dialogar luego de que habían ocurrido los cierres.6 Esto contrasta con el caso de Milwaukee
donde las posibles escuelas a cerrar se anunciaban en el mes de diciembre de cada año, se recibía
retroalimentación de la comunidad escolar y la decisión final la tomaban en el mes de marzo
siguiente (Larsen, 2014).
REVISIÓN LITERARIA
Al momento de realizar este análisis no se encontró literatura en revistas académicas sobre el
impacto académico del cierre de escuelas en Puerto Rico. La única referencia encontrada sobre
el impacto del cierre en el aprovechamiento académico en Puerto Rico se recoge en un informe
de ABRE (2019). En el mismo se dice que:
"Las consolidaciones y cambios aparentan mejorar el perfil de estudiantes en muchas
escuelas. Eso quiere decir que estudiantes sobresalientes pasaron a escuelas con bajo
aprovechamiento académico, resultando en un mejor perfil de estudiantes. En términos
generales, el promedio de proficiencia (sic) mejoró y la dispersión disminuyó a nivel de
sistema, aunque gran parte de esto se reflejó a nivel elemental." (p. 34)
En la literatura internacional hay varios artículos académicos sobre la relación del cierre de
escuelas y el aprovechamiento académico. Hay casos de estudios dentro de Estados Unidos,
donde se han cerrado varias escuelas porque la matrícula bajó (Larsen, 2014), por leyes como No
Child Left Behind de 2001 que ordenaba el cierre de escuelas con desempeño bajo, y por
desastres naturales (Sacerdote 2008). En otros países esta política de cierre de escuelas no
aparenta haberse aplicado con la misma intensidad que se ha aplicado en Estados Unidos
(Murphy y Meyers 2007; Spreng 2005). Sin embargo, el cierre de escuelas de Puerto Rico podría
ser uno de los más intensos ya que en las jurisdicciones estudiadas recientemente en la literatura
no se encontró que cerrasen más de 438 escuelas en un periodo de tres años como en Puerto
Rico. Por ejemplo, en Michigan cerraron 246 escuelas entre 2006 y 2009 (Brummet, 2012),
representando el 8.4% de las escuelas en el distrito. En West Virginia cerraron 300 escuelas entre
1990 y principios de 2000 (Bard et al., 2006).
De la Torre y Gwynne (2009) encontraron que la mayoría de los estudiantes desplazados por
escuelas cerradas en Chicago se matricularon en escuelas receptoras que tenían en promedio un
menor aprovechamiento académico. Estos autores también hallaron que los estudiantes se
5https://www.elnuevodia.com/noticias/locales/nota/padrescuestionanelimpactoquetendralasc
onsolidacionesdeescuelas-2415194/
6https://www.elnuevodia.com/noticias/locales/nota/rosselloestudiaraalternativasalcierredeesc
uelas-2415448/
4
perjudicaron en las materias de matemáticas y lectura un año antes del cierre de escuela, pero
un año después convergían al aprovechamiento académico esperado para su nivel. Larsen (2020)
identificó que en Milwaukee cerraron 33 escuelas y algunos estudiantes desplazados convergían
al aprovechamiento esperado mientras otros no. Notó que las consecuencias persistían en el
largo plazo, impactando la propensión para graduarse o para entrar a la universidad.
Rumberger y Larson (1998) encontraron -después de controlar por la ejecución anterior y el
trasfondo familiar del estudiantado desplazado- que la “movilidad”, definida como una
transferencia no promocional de escuela, constituye un factor de riesgo que reduce las
probabilidades de graduación. Rumberger (2003) diferencia entre transferencias estratégicas,
que son para mejorar el aprovechamiento, de las impuestas -que son reactivas y conllevan
estigmas sobre los estudiantes desplazados-.
Engberg et al. (2012) y Brummet (2012) hallaron que los estudiantes desplazados se perjudican
sustancialmente en su aprovechamiento académico, a menos que vayan a una escuela de mejor
calidad. Sin embargo, De la Torre y Gwynne (2009) informan que en Chicago solo un 6% pudo
matricularse en escuelas sobresalientes y que estudiantes desplazados eran más propensos a
cambiarse de escuelas nuevamente. Brummet (2012) también observó cómo varios estudiantes
eran desplazados en más de una ocasión en Michigan. Quizás no hay muchas escuelas accesibles
de alta calidad, ya sea por la distancia o por la matrícula limitada de estas escuelas (Dillon, 2008).
Un aspecto a evaluar en esta investigación es si las escuelas cerradas tenían un mejor
rendimiento que las receptoras.
Kirshner et al. (2010) encontraron que el cierre de escuelas en Jefferson en Riverside agravó los
retos educativos que ya enfrentaban los estudiantes desplazados antes de los cierres y que los
estudiantes desplazados se sentían más desconectados de la comunidad escolar en las escuelas
receptoras.
Kim y Sunderman (2004) estudiaron la relación entre estudiantes desplazados y la pobreza de los
distritos escolares impactados. Por lo que proponen un sistema de transportación subsidiado
para las familias pobres impactadas. Esto concuerda con el análisis de Hinojosa y Meléndez
(2019) donde se subraya la limitación que puede representar la distancia para los estudiantes
desplazados, especialmente en las zonas rurales de Puerto Rico.
En términos metodológicos, la mayoría de estos artículos citados aquí utilizan modelos
estadísticos robustos que persiguen probar causalidad. Por ejemplo, Larsen (2020) utiliza el
modelo de diferencias en diferencias para estimar el impacto del cierre de escuelas sobre
estudiantes de escuela superior vis-a-vis los estudiantes que no fueron desplazados. Kirshner et
al. (2010) especificaron modelos multiniveles de trayectorias individuales descontinuadas para
explicar las tasas de graduación, tasas de deserción y las puntuaciones en pruebas
estandarizadas.
De la Torre y Gwynne (2009) aplicaron un modelo de pareo llamado Propensity Score Matching
para comparar las escuelas elementales de los estudiantes desplazados con los no desplazados y
así identificar lo que hubiese ocurrido si la escuela no cerraba. Luego, aplican un modelo
5
jerárquico de tres niveles para estimar las trayectorias de aprendizaje de los estudiantes. Una
identificación metodológica parecida es utilizada en este artículo, como se indica en la sección 4
debajo.
DATOS
Los datos utilizados en esta investigación son observaciones a nivel de cada estudiante presente
en el sistema de información estudiantil del Departamento de Educación (DE). En particular, para
este estudio pudimos observar el desempeño de los estudiantes a lo largo de tres años. La
variable dependiente son los resultados en las pruebas estandarizadas META (medición y
evaluación para la transformación educativa) que toman los estudiantes en los grados: tercero,
cuarto, quinto, sexto, séptimo, octavo y undécimos que estén en la corriente regular del sistema
público. Es decir, no se incluyen los estudiantes de los salones a tiempo completo de la educación
especial (también conocidos como “salones contenidos”), donde se atienden a estudiantes con
condiciones severas tales como daño cerebral por trauma o retardo mental. Por eso nuestra base
de datos se redujo a 77,204 estudiantes que son los que tenían resultados en las pruebas META.
El DE clasifica los resultados de las pruebas META en unas escalas ordinales: pre-básico, básico,
proficiente y avanzado. En este artículo se les otorga una cifra cardinal a esas escalas de uno, dos,
tres y cuatro, respectivamente. Las pruebas META se dividen en cuatro áreas: matemáticas,
ciencias, español e inglés. Para esta investigacion, se promediaron esas asignaciones cardinales
a las escalas obtenidas por materia, para crear un índice de aprovechamiento académico por
estudiante.
Al 25% de los estudiantes en esta base de datos son desplazados (i.e. le cerraron su escuela), ya
sea durante en el año fiscal 2017 o 2018. En ese sentido, los hallazgos a obtenerse son
conservadores ya que el cierre de escuelas total fue mayor al que se observa en este subconjunto
de datos que, de nuevo, excluye estudiantes que no tenían que tomar la prueba META (e.g. por
el grado en el que cursaban) o no las tomaron por otras razones (e.g. por ser desertores). Hay
2,616 estudiantes identificados que se vieron afectados por más de un cierre de escuela.
El 98.4% de les estudiantes escogió la categoría de puertorriqueño en la pregunta de etno-racial
que hace el DE, como se muestra en la Tabla 1. Dada la limitación presentada con ese tipo de
pregunta, no se incluye esta variable como covariado en el análisis de regresión.
El 51% del estudiantado eran niñas y no se observó desproporción en los subgrupos de
estudiantes desplazados. Por otro lado, 16.6% de les estudiantes que tomaron las pruebas META
tuvo problemas específicos de aprendizaje. Ya que esto es un factor que puede intervenir con el
resultado en pruebas estandarizadas, esta variable se incluye como variable control en una de
las especificaciones de los modelos estadísticos.
6
Tabla 1. Estadísticas Descriptivas de Variables de Interés
Variables
Promedio
Desviación
Estándar
Promedio
Desplazados
Promedio
No
Desplazados
Observaciones
Edad
11.43
1.34
11.2
11.5
77,204
Proporción Desplazados
0.25
0.43
77,204
Promedio en META
2019
2.20
0.77
2.18
2.21
77,204
Promedio en META 2018
2.41
0.825
2.49
2.38
77,204
Promedio en META 2017
2.62
0.85
2.77
2.57
77,204
Proporción de estudiantes
2019 con puntuación
personal menor que su
escuela
actual
0.688
0.669
Proporción de estudiantes
2019 con puntuación
personal mayor que su
escuela a
ctual
0.312
0.331
Proporción de Féminas
0.512
0.50
0.52
0.513
77,204
Proporción puertorriqueñ
os
0.984
0.124
0.983
0.985
77,204
Proporción de estudiantes
con problemas específicos
de aprendizaje
0.166
0.37
0.176
0.163
77,204
Número de miembros en la
familia
3.86
1.13
3.88
3.86
77,204
Proporción de estudiantes
en regiones educativas con
bajo desempeño
académico
0.26
0.44
0.24
0.27
77,204
Proporción de pobres
0.78
0.415
0.807
0.77
77,204
Nota: Los años se refieren al periodo fiscal que termina en junio. Solo observaciones válidas con todas las entradas
disponibles son mostradas.
Fuente: Cálculos del autor basado en Departamento de Educación (2020)
El o la estudiante promedio convive con 3.86 de familiares en su hogar y el 26% del estudiantado
pertenece a regiones educativas de San Juan y Humacao, regiones que en general obtienen un
7
aprovechamiento académico más bajo que en otras regiones. Estas son dos variables que
también se utilizarán en el análisis estadístico.
El 78% de los estudiantes del sistema público están debajo del nivel de pobreza, pero los
estudiantes desplazados tenían en general una incidencia de pobreza de 0.037 puntos
porcentuales más que los no desplazados. Esto es un hallazgo importante ya que es probable que
estos estudiantes desplazados tengan menos probabilidades de conseguir transportación o de
tener recursos que lo apoyaran en la integración hacia la escuela receptora. De hecho, en el
Gráfico 1 se observa que la tasa de cierre de escuelas por cada 100,000 habitantes menores fue
mayor que en la zona sur, centro y oeste de Puerto Rico: las regiones que justamente el ingreso
mediano por hogar es menor.
Gráfico 2. Distribución municipal de tasas de cierre e ingreso mediano por hogar, 2018
Tasa de Cierre por cada 100,000 habitantes menores de 18 años
Mediana de Ingresos por Hogar
Fuentes: Cálculos del autor basados en Estimados Poblaciones y Encuesta del Negociado del
Censo (2018)
Otra característica que cabe destacar es que el 68.8% de los estudiantes desplazados fue a una
escuela que en promedio tenía un menor aprovechamiento académico que la alcanzada por los
estudiantes desplazados en el año anterior. Sin embargo, el 66.9% de los no desplazados también
estuvo matriculado en una escuela donde el aprovechamiento académico promedio de la escuela
8
fue menor al que obtuvo el estudiante en el año académico anterior. Esta similitud puede ser el
resultado de la tendencia a la baja en el aprovechamiento académico promedio durante el
periodo 2017-2020. Estos factores se toman en cuenta en el método de identificación, como se
detalla en la sección 4.
El aprovechamiento académico promedio de todos los estudiantes ha caído desde 2017 hasta
2019, tanto para estudiantes desplazados como para los no desplazados. En el caso de los
estudiantes desplazados la caída fue peor: de 2017 a 2019 la puntuación promedio de los
desplazados cayó por 0.23 puntos más que en los no desplazados. De hecho, la baja en el
aprovechamiento académico de los desplazados hizo que en 2019, por primera vez en esta base
de datos, obtuviesen un promedio menor que los que no atravesaron cierres de escuelas.
¿Se puede establecer, entonces, que el cierre de escuela causó una baja en el aprovechamiento
académico de los estudiantes desplazados? Como puede haber otros factores influenciando el
aprovechamiento, en la próxima sección se presenta una metodología que permite comparar
estudiantes con características observables similares para poder concluir si el cambio de escuela
realmente tuvo un impacto o no.
METODOLOGÍA
Distintas especificaciones del método Pareo en el Puntaje de Propensión (en inglés, Propensity
Score Matching o PSM) son aplicados en esta investigación para probar la presencia de
causalidad, si hubiese alguna. PSM es un método estadístico que permite descubrir si los
estudiantes que atravesaron el cierre de escuelas obtuvieron una puntuación menor, luego de
considerar las características observables de los estudiantes. En el apéndice técnico se describe
el modelo a utilizarse.
Se realizaron tres grupos de estimaciones y dentro de cada grupo se especifican tres tipos de
PSM. La variable dependiente en los primeros dos grupos es si el estudiante experimentó o no
una baja en su puntuación promedio en las pruebas META en el año 2019 en comparación al año
2018. En el primer grupo se incluye como elemento a considerar en el pareo una variable binaria
que controle por el posible impacto que puede tener para un estudiante desplazado el tener que
matricularse en una escuela con menor aprovechamiento académico. Esta variable es igual a
uno si estudiante está en una escuela que en el año anterior tuvo un desempeño promedio en
las pruebas META más bajo que promedio de ese estudiante. De lo contrario, es igual a cero. Las
otras variables controles en este primer grupo son edad, sexo y si el estudiante estuvo o no por
debajo niveles de pobreza. No se incluye una lista exhaustiva de variables controles ya que no se
recomienda para este tipo de análisis.
En el segundo grupo se añade como variable control binaria si la puntuación promedio en las
pruebas META de las escuelas de los estudiantes fue mayor en 2019 a la que obtuvo un
estudiante cualquiera en 2018. Las otras variables controles en este segundo grupo son edad,
sexo y si el estudiante estuvo o no por debajo niveles de pobreza.
En el tercer grupo la variable dependiente es si hubo baja o no en el desempeño del estudiante
en las pruebas META del año fiscal 2017 a 2019 y las variables controles son el sexo, la edad, el
9
número de miembros en la familia del estudiante (para controlar el papel potencial de que los
padres y madres tengan menos tiempo para estudiar con cada hijo de una familia numerosa), si
el estudiante estuvo por debajo del nivel de pobreza, si tuvo problemas específicos de
aprendizaje y si es de regiones educativas con puntuaciones tradicionalmente bajas.
De esta forma, no se busca explicar si los estudiantes salen mejor que otros en términos
absolutos ni medir el aprovechamiento académico total de cada estudiante, sino se busca medir
si cada uno de los estudiantes salió peor o no con respecto a su propio desempeño en el periodo
anterior. Es decir, esta investigacion se enfoca en el cambio o diferencia interanual de cada
estudiante en las pruebas META. De modo que si todos los años hay factores ajenos que afectan
la puntuación promedio obtenida en las pruebas META con respecto al verdadero
aprovechamiento académico (e.g. estudiantes se esfuerzan poco en hacerla), esos factores no
afectan significativamente esta investigación en tanto es difícil establecer que hay variaciones
interanuales en esos factores ajenos que se puedan reflejar en el promedio de todos los
estudiantes.
RESULTADOS
En la Tabla 2 se muestra el pareo de estudiantes que tienen características similares en términos
de edad, sexo, nivel de pobreza y si estuvieron en una escuela cuyo promedio de
aprovechamiento durante el año anterior fue menor al aprovechamiento actual del estudiante i.
Luego de parear estos estudiantes en base a esas características, se revela que los estudiantes
que atravesaron un cierre de escuelas tuvieron entre 0.035 y 0.0404 mayor probabilidad de
obtener una puntuación más baja en las pruebas META que los estudiantes no desplazados. Es
decir, estos modelos apuntan a que el cierre de escuelas causó una disminución en el
aprovechamiento académico de los estudiantes desplazados, aun después de controlar por el
factor de que fueron a una escuela donde la puntación en las pruebas META era menor.
Tabla 2. Resultados del PSM, 2018 a 2019
Variable
Dependiente:
Modelo 1 (average
treatment effect on the
treated): Logit
Modelo 2 (average
treatment effect): Logit
Modelo 3
(average treatment effect on
the treated): Probit
Bajó puntuación
en METAS
Covariados: edad, sexo, por
debajo niveles de pobreza,
promedio de escuela actual
es menor al promedio de
escuela donde estuvo el año
pasado
Covariados: edad, sexo,
por debajo niveles de
pobreza, promedio de
escuela actual es menor al
promedio de escuela
donde estuvo el año
pasado
Covariados: edad, sexo, por
debajo niveles de pobreza,
promedio de escuela actual es
menor al promedio de escuela
donde estuvo el año pasado
Desplazados vs.
No Desplazados
0.0403***
(.00
49
)
0.035***
(.00
25
)
0.0404***
(.00
49
)
n
19,338
77,204
19,338
10
Nota: El número de observaciones solo considera las observaciones pareadas Los errores estándares robustos se
encuentran entre paréntesis. *** indica que el estimado fue estadísticamente significativo al 99%.
Fuente: Cálculos del autor basado en Departamento de Educación (2020)
Estos resultados contrastan con los hallazgos realizados por ABRE (2019). La diferencia emerge a
que en aquí se utilizan datos a nivel de estudiantes mientras ABRE (2019) utiliza datos a nivel de
escuela. Como los estudiantes desplazados tenían en promedio mejor aprovechamiento
académico que los no desplazados, era de esperarse que la puntuación promedio de la escuela
receptora en las pruebas META subiese al recibir a los desplazados en una especie de analogía al
sesgo por la selección propia que se trabaja en estadísticas. Es decir, al utilizar datos a nivel de
estudiante se puede percibir si realmente hubo impacto o no sobre el aprovechamiento
académico promedio a raíz del cierre de escuelas.
¿Qué ocurrió con los estudiantes desplazados que fueron a escuela receptoras donde el
aprovechamiento académico promedio fue mayor que en la escuela cerrada donde estuvo el año
anterior? La respuesta a esta pregunta contribuiría a corroborar lo que la literatura relacionada
apunta sobre el efecto del cierre de escuela puede ser positivo si la estudiante desplazadado va
a una escuela con mayor aprovechamiento (Engberg et al., 2012; Brummet, 2012).
Tabla 3. Resultados del PSM, 2018 a 2019
Variable
Dependiente:
Modelo 1 (average
treatment effect on the
treated): Logit
Modelo 2 (average
treatment effect): Logit
Modelo 3
(average treatment effect on
the treated): Probit
Bajó puntuación
en METAS
Covariados: edad, sexo, por
debajo niveles de pobreza,
promedio de escuela actual
es mayor al promedio de
escuela donde estuvo el año
pasado
Covariados: edad, sexo, por
debajo niveles de pobreza,
promedio de escuela actual
es mayor al promedio de
escuela donde estuvo el año
pasado
Covariados: edad, sexo, por
debajo niveles de pobreza,
promedio de escuela actual es
mayor al promedio de
escuela donde estuvo el año
pasado
Desplazados vs.
No Desplazados
0.038***
(.00
5
)
0.037***
(.00
25
)
0.04***
(.0009)
n
19,338
77,204
19,338
Nota: El número de observaciones solo considera las observaciones pareadas. Los errores estándares robustos se
encuentran entre paréntesis. *** indica que el estimado fue estadísticamente significativo al 99%.
Fuente: Cálculos del autor basado en Departamento de Educación (2020)
Los estudiantes que atravesaron un cierre escolar hace dos años, ¿convergieron al
aprovechamiento académico que tenían hace dos años? Hay literatura como De la Torre y
Gwynne (2009) que encuentra que las notas de los estudiantes de escuelas cerradas en Chicago
11
convergían al aprendizaje esperado un año después del cierre. Sin embargo, en la Tabla 4 se
ilustran los resultados de las tres especificaciones del modelo PSM y apunta a que los estudiantes
desplazados en el año fiscal 2017, todavía dos años después continuaban con una probabilidad
de entre 5.5% y 6.5% de salir peor en las pruebas META al compararse con sus contrapartes que
no sufrieron cierres. Es decir, cuando se comparan estudiantes similares en términos de edad,
sexo, nivel de pobreza, problemas específicos de aprendizaje, número de miembros en su familia
y región educativa, se continúa observando que el cierre de escuelas causó que los estudiantes
desplazados hace dos años obtuvieran puntuaciones más bajas que el resto. Esto apunta a
resultados robustos o invariantes a la identificación del modelo.
Una posible explicación puede ser que la integración a la nueva escuela no fue óptima, lo que ha
ocurrido en otras jurisdicciones (Kirshner et al. 2010). Si se hubiese mediado consultas con las
comunidades para auscultar cuales escuelas realmente ameritaban un cierre como se hizo en
Milwaukee (Larsen, 2014) y se hubiese seguido el principio del mérito a la hora de seleccionar al
personal que sobreviviría el cierre (no en base al principio de antigüedad o “seniority”), quizás la
integración hubiese sido mejor.
Tabla 4. Resultados del PSM, 2017 a 2019
Variable
Dependiente:
Modelo 1 (average
treatment effect on the
treated): Logit
Modelo 2 (average
treatment effect): Logit
Modelo 3
(average treatment effect on
the treated): Probit
Bajó puntuación
en METAS
Covariados: edad, sexo, por
debajo niveles de pobreza,
problemas específicos de
aprendizaje, número de
miembros en la familia,
región educativa baja.
Covariados: edad, sexo,
por debajo niveles de
pobreza, problemas
específicos de aprendizaje,
número de miembros en la
familia, región educativa
baj
a.
Covariados: edad, sexo, por
debajo niveles de pobreza,
problemas específicos de
aprendizaje, número de
miembros en la familia, región
educativa baja.
Desplazados vs.
No Desplazados
0.062***
(.00
7
)
0.065***
(.0024)
0.055***
(.00
7
)
n
8,929
8,929
8
,929
Nota: El número de observaciones solo considera las observaciones pareadas Los errores estándares robustos se
encuentran entre paréntesis. *** indica que el estimado fue estadísticamente significativo al 99%.
Fuente: Cálculos del autor basado en Departamento de Educación (2020)
CONCLUSIONES Y RECOMENDACIONES DE POLÍTICA PÚBLICA
12
En apenas tres años Puerto Rico atravesó uno de los cierres de escuelas más intensos a nivel
mundial. Se pensó que consolidando escuelas se podrían generar economías a la vez que se
mejoraba el aprovechamiento académico. Sin embargo, al momento no se ha examinado esa
relación con el rigor estadístico moderno. Este estudio tomó ventaja de contar con datos a nivel
de estudiantes durante el periodo 2017-2019 para evaluar la posible asociación entre
consolidación y aprovechamiento académico.
Se encontró que el cierre de escuelas impactó negativamente el aprovechamiento académico de
los estudiantes desplazados. Este hallazgo resultó consistente luego de parear los estudiantes en
base a una serie de características observables tales como el sexo, la edad, el nivel de pobreza,
los logros académicos de la escuela receptora vs. la clausurada, número de miembros de su
familia, si presentaban problemas específicos de aprendizaje y la región educativa. Incluso luego
de dos años del cierre, todavía los estudiantes impactados obtuvieron resultados
significativamente más bajos que sus contrapartes no afectados por el cierre.
Ya que el cierre de escuelas tampoco parece haber cumplido su cometido de generar economías
significativas, la reapertura de algunos planteles debe volver a considerarse. La reducción en la
población estudiantil puede permitir que los tamaños de las clases sean más pequeños,
permitiendo que el docente puede individualizar más la instrucción y así mejorar el
aprovechamiento académico, especialmente dada la amplia diversidad funcional de los
estudiantes en el sistema público. Además, dada la aparición continua de desastres naturales en
Puerto Rico, la disponibilidad de más planteles puede permitir que los estudiantes desplazados
por una escuela devastada por un desastre natural o una epidemia contagiosa, puedan
compartirse con una mayor cantidad de instalaciones o facilitar el distanciamiento físico que se
recomienda para una pandemia como el COVID-19. Para esto recomendamos que las
comunidades que entiendan que su escuela debe reabrirse, sometan una solicitud de reapertura
de planteles donde expongan los criterios específicos por los cuales deben abrirse y el DE
considere seriamente los méritos de cada solicitud.
El mérito debe ser el criterio para seleccionar al nuevo personal docente en esa posible
reapertura de escuelas y en futuros cierres. El principio de antigüedad o la numeración en la lista
de acervo de candidatos como criterio para reclutamiento no necesariamente obra en garantizar
que el aprovechamiento académico de los estudiantes sea óptimo. En el caso de los directores
escolares, se puede imitar el reglamento de la Universidad de Puerto Rico donde los candidatos
a rectores se deben nominar por sí mismos, luego un comité de la comunidad universitaria escoge
una corta terna de esos candidatos y la alta administración escoge el rector o rectora de esa
terna. Aunque ha habido incidentes donde no se sigue ese reglamento en la universidad, el
mecanismo redactado es uno que contribuiría a optimizar la selección del liderato.
Ya que la puntuación promedio de las pruebas estandarizadas en el sistema público de Puerto
Rico se ha reducido en los últimos tres años, se recomienda que los currículos escolares se alineen
mejor con las pruebas META y que sea compulsorio el que los docentes incluyan el resultado en
las pruebas META como parte de las notas de su curso, para incentivar una mejor ejecución. En
el pasado ha habido iniciativas a estos fines, pero no se han implantado totalmente. Hay quien
teme que esto pueda penalizar al estudiante con rezagos académicos que no puede obtener
13
buenas puntuaciones en las pruebas META hasta tanto subsane sus rezagos, pero es altamente
probable que esos mismos rezagos lleven a ese tipo de estudiante a obtener notas bajas en las
notas escolares, por lo que no hay un efecto negativo nuevo. En la actualidad los estudiantes
tienen pocos incentivos para esforzarse en las pruebas META.
La integración de los padres en la vida académica es fundamental para el aprovechamiento
académico de los hijos e hijas. Dicha integración se puede ampliar si la búsqueda de las notas y
la participación de los padres en la asamblea anual se convierte en requisito para participar de
programas como el plan de salud público. En la actualidad se requiere la verificación de la
asistencia de los estudiantes a la escuela para que la familia pueda participar de dicho plan de
salud, pero no se requiere la participación de los padres en la vida estudiantil. Este requisito
puede ir acompañado de nueva legislación que cree una licencia de dos horas para que los padres
y madres puedan participar de estas actividades escolares sin afectar su estabilidad laboral.
Este análisis puede ser significativo para otras jurisdicciones que se estén planteando un cierre
masivo de escuelas. Futuros estudios pueden evaluar el impacto posible que puede tener un
desastre natural sobre el aprovechamiento académico, verificando los hallazgos obtenidos por
investigaciones realizadas en jurisdicciones como New Orleans luego del Huracán Katrina.
Asimismo, se puede evaluar si un cierre que incluya la selección del personal con mejor mérito y
con medidas que faciliten la integración puede llevar a otros resultados que los hallados en este
análisis. Tal enfoque excede los alcances de este estudio.
REFERENCIAS
ABRE (2019). “Perfil de las Escuelas de Puerto Rico”. Recuperadado en:
https://abretuescuela.org/data_analysis.pdf
Bard, J., Gardener, C., y Wieland, R. (2006). Rural School Consolidation: History, Research
Summary, Conclusions, and Recommendations. Rural Educator, 27(2), 40-48.
Brummet, Q. (2014). The effect of school closings on student achievement. Journal of Public
Economics, 119, 108-124.
Cordovés Aviles, J. (2017). La crisis fiscal y su impacto en la educación especial (EE): ¿Se
puede evitar un desastre en los servicios? Recuperado en:
http://www.iniprodeh.org/RevistaDerechosHumanosVol8.pdf
De la Torre, M., y Gwynne, J. (2009). When Schools Close: Effects on Displaced Students in
Chicago Public Schools. Research Report. Consortium on Chicago School Research.
1313 East 60th Street, Chicago, IL 60637.
Dillon, E. (2008). Plotting School Choice: The challenges of crossing district lines.
Washington D.C: Education Sector Reports.
14
Engberg, J., Gill, B., Zamarro, G., y Zimmer, R. (2012). Closing schools in a shrinking district:
Do student outcomes depend on which schools are closed? Journal of Urban
Economics, 71(2), 189-203.
Hinojosa, J., Meléndez, E., y Severino Pietri, K. (2019). Population Decline And School Closure
in Puerto Rico. Centro RB2019-01.
Imbens, G. W. (2004) Nonparametric estimation of average treatment effects under exogeneity: A
review. Review of Economics and Statistics. 86(1), 4‒29.
Kim, J., y Sunderman, G. (2004). Does NCLB provide good choices for students in low
performing schools? Cambridge, MA: The Civil Rights Project at Harvard University.
Kirshner, B., Gaertner, M., & Pozzoboni, K. (2010). Tracing transitions: The effect of high
school closure on displaced students. Educational evaluation and policy analysis, 32(3),
407-429.
Larsen, M. F. (2020). Does closing schools close doors? The effect of high school closings on
achievement and attainment. Economics of Education Review, 76, 101980.
Moffitt, R. A. (2004) Introduction to the symposium on the econometrics of matching. Review
of Economics and Statistics. 86(1), 1‒3.
Murphy, J., y Meyers, C. (2007). Turning around Failing Schools: Leadership lessons from
the organizational sciences. Corwin Press.
Ñopo, H. (2008). Matching as a tool to decompose wage gaps. The Review of Economics and
Statistics, 90(2), 290-299.
O'sullivan, A. (2007). Urban economics. Boston, MA: McGraw-Hill/Irwin.
Rumberger, R. W. (2003). The causes and consequences of student mobility. The Journal of
Negro Education, 72(1), 6–21.
Rumberger, R. W., y Larson, K. A. (1998). Student mobility and the increased risk of high
school dropout. American Journal of Education, 107, 1–35.
Sacerdote, B. (2008). When the saints come marching in: Effects of Hurricanes Katrina and Rita
on student evacuees (No. w14385). National Bureau of Economic Research.
Sekhon, J. S. (2008). Multivariate and propensity score matching software with automated
balance optimization: the matching package for R. Journal of Statistical Software.
Spreng, C. (2005). Policy Options for Interventions in Failing Schools. Rand Corporation.
Tomlinson, C. (2001). How to differentiate instruction in mixed-ability classrooms (2nd ed.).
Alexandria, VA: Association for Supervision and Curriculum Development.
15
APÉNDICE TÉCNICO
Según Ñopo (2008), PSM excede los modelos que se basan en ecuaciones lineales. PSM es una
técnica de estimación en la que se crea un conjunto de características, suponiendo que sean
exógenas al modelo o no se vean afectadas por el análisis del tratamiento que se va a llevar a
cabo. En este enfoque se comparan dos unidades de estudio, estudiantes tratados y no tratados,
asignando características similares a cada individuo de modo que sólo difieren en la característica
principal, que en nuestro estudio es si atravesó o no un cierre de escuela (Imbens, 2004; Moffitt,
2004). En particular, la puntuación de propensión p(x) puede definirse como,
𝑝(𝑥)≡ Pr{𝐷 = 1|𝑋 = 𝑥}∀𝑥 ∈ 𝑋
, 𝑑𝑜𝑛𝑑𝑒 𝑌
⊥ 𝐷|𝑝(𝑋) (1)
donde D es el indicador del tratamiento (atravesó un cierre de escuela) recibido por el o la
estudiante i, X es el conjunto de características de pretratamiento (diferencias relevantes entre
estudiantes), y 𝑋
es el grupo no tratado. Se aprovechó que el conjunto de datos incluye aspectos
socioeconómicos para incluir en X las siguientes variables: edad), sexo (para controlar por
disparidades asociadas al género) y una variable binaria indicando si los estudiantes estuvieron
por debajo del nivel de pobreza o no. Es decir, PSM es la probabilidad condicional del tratamiento
dado un vector de covariados.
Los tres tipos de PSM especificados para cada grupo son: 1. los efectos medios del tratamiento
promedian la diferencia entre los resultados observados y potenciales de cada estudiante y
parean cada sujeto con al menos otro sujeto (en el lenguaje estadístico, se parea con su “vecino”
más cercano); 2. los efectos medios del tratamiento sobre los tratados usando el modelo logit, y
3. los efectos medios del tratamiento sobre los tratados usando el modelo probit. La combinación
de resultados que apuntan en la misma dirección puede proporcionar la base para conclusiones
relativamente sólidas.
Dado el gran número de observaciones en la base de datos, los amarres en el pareo (“ties”) no
considerarán que hay observaciones tratadas que pueden parearse con más de una observación
controlada. Esto permite correr los pareos sin requerir el uso de una súper computadora.
Siguiendo el artículo de Sekhon (2008), el primer paso antes de realizar el PSM es corroborar las
propiedades de balanceo. Por ende, se verificó que antes y después del pareo no hubiese
desbalances estadísticos entre los dos grupos de interés usando el algoritmo estocástico derivado
por Sekhon (2008). Esto demuestra que el diseño de este modelo de causalidad es adecuado.
