ArticlePDF Available

Validez de constructo de un instrumento para evaluar la retroalimentación asertiva en la formación inicial del profesorado

Authors:

Abstract

La retroalimentación en el proceso de evaluación cobró mayor relevancia en las prácticas docentes durante la pandemia de COVID-19. El objetivo del presente estudio fue realizar un análisis de la validez de constructo y confiabilidad del instrumento «Rúbrica Analítica Socioformativa para la Evaluación de la Retroalimentación Asertiva» (RASERA). El instrumento se aplicó a una muestra de 525 discentes de escuelas normales en México. Para el análisis de validez de constructo se empleó el análisis factorial exploratorio y confirmatorio, y el análisis de confiabilidad se efectuó mediante el Alfa de Cronbach. Los resultados del primer análisis mostraron la conformación de dos factores; el primero se denominó Ejecución de la retroalimentación asertiva y el segundo Representatividad de la retroalimentación asertiva. Ambos factores explicaron más 65 % de la varianza y en donde se encuentran incorporados todos los ítems con cargas factoriales significativas (CF>0.50). Por su parte, el AFC reveló un buen ajuste de este modelo (Razón χ2/gl: 2.284; GFI: 0.909; RMSAE: 0.068; RMR: 0.035; CFI: 0.966; TLI: 0.955). Se especifica que, para cada factor, la varianza media extraída y la confiabilidad compuesta fue pertinente (VME>0.50 y CC>0.70) y cada ítem manifestó una carga factorial estandarizada adecuada (CFE>0.50). Concerniente al análisis de confiabilidad, se obtuvieron valores óptimos por factor (Alfa de Cronbach y Omega de McDonald>0.85). Se concluye que el dispositivo RASERA posee propiedades psicométricas adecuadas.
583
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
Resumen:
La retroalimentación en el proceso de eva-
luación cobró mayor relevancia en las prácticas
docentes durante la pandemia de COVID-19. El
objetivo del presente estudio fue realizar un aná-
lisis de la validez de constructo y confiabilidad del
instrumento «Rúbrica Analítica Socioformativa
para la Evaluación de la Retroalimentación Aser-
tiva» (RASERA). El instrumento se aplicó a una
muestra de 525 discentes de escuelas normales
en México. Para el análisis de validez de cons-
tructo se empleó el análisis factorial exploratorio
y confirmatorio, y el análisis de confiabilidad se
efectuó mediante el Alfa de Cronbach. Los resul-
tados del primer análisis mostraron la confor-
mación de dos factores; el primero se denominó
Ejecución de la retroalimentación asertiva y el
segundo Representatividad de la retroalimenta-
ción asertiva. Ambos factores explicaron más 65
% de la varianza y en donde se encuentran in-
corporados todos los ítems con cargas factoriales
significativas (CF>0.50). Por su parte, el AFC re-
veló un buen ajuste de este modelo (Razón χ2/gl:
2.284; GFI: 0.909; RMSAE: 0.068; RMR: 0.035;
CFI: 0.966; TLI: 0.955). Se especifica que, para
cada factor, la varianza media extraída y la con-
fiabilidad compuesta fue pertinente (VME>0.50
y CC>0.70) y cada ítem manifestó una carga fac-
torial estandarizada adecuada (CFE>0.50). Con-
cerniente al análisis de confiabilidad, se obtuvie-
ron valores óptimos por factor (Alfa de Cronbach
y Omega de McDonald>0.85). Se concluye que el
dispositivo RASERA posee propiedades psicomé-
tricas adecuadas.
Validez de constructo de un instrumento para
evaluar la retroalimentación asertiva en la
formación inicial del profesorado
Construct validity of an instrument to assess assertive
feedback in initial teacher training
María de la Luz BERLANGA RAMÍREZ.
Profesora-Investigadora. Escuela Normal Superior del Estado de Coahuila
(mtra.luzberlangarmz@gmail.com).
Dr. Luis Gibran JUÁREZ HERNÁNDEZ.
P
rofesor-Investigador. Centro Universitario CIFE (luisgibrancife@gmail.com).
María de la Luz BERLANGA RAMÍREZ y Luis Gibran JUÁREZ HERNÁNDEZ
Fecha de recepción de la versión definitiva de este artículo: 23-06-2022.
Cómo citar este artículo: Berlanga Ramírez, M. L. y Juárez Hernández, L. G. (2022). Validez de constructo de un
instrumento para evaluar la retroalimentación asertiva en la formación inicial del profesorado | Construct validity of
an instrument to assess assertive feedback in initial teacher training. Revista Española de Pedagogía, 80 (283), 583-600.
https://doi.org/10.22550/REP80-3-2022-08
https://revistadepedagogia.org/ ISSN: 0034-9461 (Impreso), 2174-0909 (Online)
Validez de constructo de un instrumento para
evaluar la retroalimentación asertiva en la
formación…
María de la Luz BERLANGA RAMÍREZ y Luis Gibran JUÁREZ HERNÁNDEZ
584
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
Descriptores: análisis factorial, asertividad,
evaluación, formación del profesado, retroali-
mentación, validación.
Abstract:
Feedback in the evaluation process has
become more important in teaching practice
since the start of the Covid-19 pandemic. The
aim of the present study is to analyse the con-
struct validity and reliability of the Socioform-
ative Analytical Rubric for the Assessment of
Assertive Feedback (RASERA). This instru-
ment was applied to a sample of 525 students
from normal schools in Mexico. Exploratory
and confirmatory factor analysis were used
to analyse its construct validity. Its reliabil-
ity was analysed using Cronbach’s alpha.
The results of the first analysis revealed the
formation of two factors; the first, we called
execution of assertive feedback and the sec-
ond, representativeness of assertive feedback.
These two factors explained more than 65% of
the variance and all of the items with signifi-
cant factor loadings were found in them (FL >
0.50). For its part, the CFA revealed a good fit
of this model (Ratio χ2/df: 2.284; GFI: 0.909;
RMSEA: 0.068; RMR: 0.035; CFI: 0.966; TLI:
0.955). For each factor, the average variance
extracted, and the composite reliability were
pertinent (AVE > 0.50 and CR > 0.70) and
each item showed an adequate standardised
factor load (SFL > 0.50). The reliability anal-
ysis gave optimal factor values (Cronbach’s
alpha and McDonald’s omega > 0.85). We con-
clude that the RASERA instrument has ade-
quate psychometric properties.
Keywords: factor analysis, assertiveness, eva-
luation, teacher training, feedback, validation.
1. Introducción
La investigación educativa enfocada a la
evaluación ha sido estudiada en varias aris-
tas: su evolución, definida mediante los mo-
delos de evaluación, su aplicación y su meto-
dología. Durante la pandemia de COVID-19,
los estudios se han centrado en la retroali-
mentación resultante de la evaluación en
educación virtual (Castro et al., 2020; Mi-
guel, 2020; Temesio et al., 2021) debido a su
trascendencia en la toma de decisiones por
el docente para el logro de los aprendizajes
en el discente. García-Jiménez (2015) conci-
be a la retroalimentación como la informa-
ción pertinente al discente para percatarse
de su progreso de aprendizaje, cobre con-
ciencia de ello y tome decisiones acerca de
cuáles estrategias metacognitivas aplicará
con la finalidad de mejorar su desempeño
al perfeccionar la evidencia de aprendiza-
je. Asimismo, se han descrito diversos tipos
de retroalimentación: retroactiva-proactiva,
intrínseca-extrínseca, correctiva-orientado-
ra, asertiva, específica-general, centrada en
el contenido, en el producto, en el proceso de
la tarea, en la autorregulación y en la propia
persona, valorativa, descriptiva y devoluti-
va, prescriptiva, informativa, confrontativa,
catártica, catalítica y de apoyo, evaluati-
va-descriptiva y negativa-positiva (Berlanga
y Juárez, 2020a).
De las señaladas, se destaca la retro-
alimentación asertiva, que consiste en la
585
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
Validez de constructo de un instrumento para evaluar la retroalimentación asertiva en la formación…
evaluación del desempeño del discente de
manera consecuente, respetuosa y cordial
durante todo el proceso de aprendizaje y
se otorga de forma oportuna para la rea-
lización de las mejoras correspondientes
(Berlanga y Juárez, 2020b). Esta nueva
propuesta de retroalimentación tiene su
génesis en la evaluación socioformativa,
conformada por una etapa de diagnosis, de
valoración permanente y de retroalimenta-
ción, cuyo objetivo reside en el logro de las
metas establecidas mediante el desarrollo
del talento del discente (Tobón, 2017).
Por otro lado, Sadler (1989) plantea
la importancia de involucrar al discente
en la retroalimentación al disponer de la
información obtenida para la mejora de
su actuación. En la misma línea, Bordas
y Cabrera (2001) refieren a la evaluación
formadora y la disciernen de la formativa
debido a que la retroalimentación surge de
la iniciativa y reflexión del discente.
Ante ello, la retroalimentación aserti-
va responde a lo indicado en la evaluación
formadora y, a su vez, se derivan varios
beneficios al ejecutarla como son propiciar
la autoevaluación y autorregulación del
aprendizaje, porque el discente toma un
rol más activo, capaz de liderarla, puesto
que origina mecanismos metacognitivos.
Asimismo, facilita la evaluación consen-
suada y participativa, así como también
la calidad de la información que orienta al
discente para mejorar su aprendizaje (Ber-
langa y Juárez, 2020a). Al adicionar aser-
tividad a la retroalimentación, otras de las
ventajas es que el docente genera un clima
del aula positivo, por lo que influye en dar-
le una base sólida e integral al discente en
su formación (Monje et al., 2009; Triana y
Velásquez, 2014).
Para implementar la retroalimentación
asertiva, Tobón (2013) establece los linea-
mientos requeridos. El primero consiste en
que debe brindarse durante la realización
de la evidencia y de forma inmediata; el
segundo indica que conviene empezar por
destacar los logros y aspectos positivos,
con la finalidad de acentuar la motivación,
como lo subrayan Mejia y Pasek de Pinto
(2017). Otros de los preceptos son que el
docente oriente al discente con argumen-
tación y respeto, otorgándole al mismo
tiempo la oportunidad de realizar las me-
joras, para evitar que la retroalimentación
se quede como una serie de consejos.
Berlanga y Juárez (2020a) afirman que
al asociar la retroalimentación asertiva
con la proalimentación (García-Jiménez,
2015) se establece un proceso sistemático
y óptimo para la evaluación del aprendi-
zaje. Sin embargo, es conveniente agregar
las etapas del Modelo de retroalimenta-
ción para el aprendizaje propuestas por
Quezada y Salinas (2021): alfabetización,
significación, construcción, contrastación,
reelaboración y visualización.
La retroalimentación asertiva se com-
prende desde las perspectivas como acto
dialógico y acto sostenible. La primera
perspectiva se deriva por la interacción en-
tre el docente y el discente; mientras que
la segunda es porque al unirla con la proa-
limentación, se busca mejorar la evidencia
actual y prospectar las necesidades de los
futuros aprendizajes (Quezada y Salinas,
2021).
María de la Luz BERLANGA RAMÍREZ y Luis Gibran JUÁREZ HERNÁNDEZ
586
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
A pesar de la significancia de la retro-
alimentación en el ámbito educativo, se
advirtió que existen diversos instrumen-
tos para examinar la retroalimentación
en educación superior; sin embargo, los
aportes para evaluar la retroalimentación
asertiva son nulos. En atención a lo an-
terior, Berlanga y Juárez (2020a) propu-
sieron el instrumento «Rúbrica Analítica
Socioformativa para la Evaluación de la
Retroalimentación Asertiva» para la for-
mación del profesado (RASERA), la cual
permite analizarla desde varios aspectos:
su enfoque, ejecución y representatividad
en la formación inicial de docentes. Asi-
mismo, se obtienen datos que brindan in-
formación para mejorar la actuación del
docente en el momento de evaluar, por
ejemplo, conocer el grado de asertividad
en el proceso de evaluación, dado que, si se
da de forma respetuosa y cordial, es más
fácil que el discente se sienta en confian-
za para externar sus dudas, confusiones
o inquietudes y posteriormente, él mismo
ser capaz de liderar su retroalimentación
(Tobón, 2017); identificar otros tipos de
retroalimentación en las prácticas docen-
tes y distinguir los rasgos que tienen en
común y en los que disciernen con la re-
troalimentación asertiva (Tunstall y Gi-
pps, 1996; Torrance y Pryor, 1998; Randa-
ll y Thornton, 2005; Hattie y Timperley,
2007; Farahman y Masoud, 2011; Evans,
2013; Jonsson, 2013; García, 2015; Con-
treras y Zuñiga, 2019).
De igual manera, conocer las circuns-
tancias en las que se otorga con el pro-
pósito de reconocer cuáles son las que
facilitan u obstaculizan su realización
(Wiggins, 2011; Padilla y Gil, 2008; Wi-
liam, 2011; Martínez-Rizo, 2013; Gar-
cía-Jiménez, 2015; López y Osorio, 2016).
Al describir, analizar y evaluar un proceso
de evaluación como es la retroalimenta-
ción en la práctica docente, se suscita la
metaevaluación, elemento clave del enfo-
que socioformativo que consiste en revi-
sar el proceso de la evaluación y sus efec-
tos (Díaz, 2001).
El instrumento comprende los aspectos
del enfoque, ejecución y representativi-
dad de la retroalimentación asertiva. Está
integrado por 16 ítems y se construyó en
el formato de una rúbrica analítica socio-
formativa, denotando que para cada ítem
existen niveles de actuación y cada uno
de estos se constituye de un descriptor. Al
respecto, las rúbricas analíticas sociofor-
mativa son dispositivos que facilitan una
evaluación minuciosa del desempeño del
individuo en la solución de un conflicto a
resolver en un determinado contexto. De
acuerdo con la evaluación socioformativa,
los niveles que conforman la progresión
de las competencias en grados van desde
el básico hasta el más complejo. Conexo
a los descriptores constituyen los rasgos
específicos y cualitativos de la actuación
a evaluar en cada dominio. Para estos ele-
mentos se fundamentó en la taxonomía so-
cioformativa, que comprende un conjunto
de acciones centradas en atender los retos
de la sociedad del conocimiento, por lo que
también se consideraron los niveles de ac-
tuación del enfoque socioformativo: pre-
formal, receptivo, resolutivo, autónomo y
estratégico (Tobón, 2017).
Cabe indicar que, posterior a su dise-
ño, la rúbrica se sometió a un proceso de
587
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
Validez de constructo de un instrumento para evaluar la retroalimentación asertiva en la formación…
revisión de expertos y juicio de expertos,
mediante el cual se denotó su validez de
facie y validez de contenido (Berlanga y
Juárez, 2020a). A través de este proce-
so, se afirma que los elementos del ins-
trumento son pertenecientes, relevantes,
pertinentes y representativos del atributo
o constructo objetivo (Connell et al., 2018;
Koller et al., 2017). Carvajal et al. (2011)
apuntan que evaluar las propiedades psi-
cométricas de un instrumento es un cri-
terio esencial para determinar la calidad
de su medición, de ellas destaca la validez
de constructo, la cual ha sido considera-
da como el principal tipo de validez (Pé-
rez-Gil et al., 2000; Messick, 1980), ya que
determina la vinculación del instrumento
entre la teoría y la conceptualización que
apoyan al constructo y también se verifica
si la estructura del instrumento reprodu-
ce realmente la del constructo planteado
(Lagunes-Córdoba, 2017). Esta propiedad
se define como la validación integral que
«subsume la relevancia y representativi-
dad de los contenidos, así como las rela-
ciones con los criterios, ya que ambas dan
significado a las puntuaciones de los test»
(Martínez, 1995, p. 335). Por su parte, la
confiabilidad hace referencia a su capaci-
dad de obtener mediciones con error mí-
nimo (Jabrayilov et al., 2016).
De tal modo que, resultado de la sig-
nificancia y relevancia de las propiedades
psicométricas expuestas, el objetivo del
presente fue efectuar el análisis de validez
de constructo y confiabilidad del instru-
mento Rúbrica Analítica Socioformativa
para la Evaluación de la Retroalimenta-
ción Asertiva (RASERA) proporcionada
por docentes en formación del profesado.
2. Material y métodos
2.1. Tipo de estudio
Se realizó un estudio instrumental que
comprende el desarrollo de instrumentos
y análisis de las propiedades psicométricas
de un instrumento (Ato et al., 2013).
2.2. Procedimiento
El estudio de validez y confiabilidad del
instrumento se llevó a cabo mediante las
siguientes fases:
1. Instrumento. La RASERA (Berlan-
ga y Juárez, 2020a) se compone de
16 ítems, que integran aspectos del
enfoque, ejecución y representativi-
dad de la retroalimentación. En una
primera etapa, la rúbrica fue sujeta
de validación de facie mediante la
revisión por expertos, validación de
contenido por juicio de expertos, y
se realizó un pilotaje del instrumen-
to mediante el cual se ejecutó un
análisis inicial de la confiabilidad y
adecuación del instrumento a la po-
blación objetivo (Berlanga y Juárez,
2020a). Por lo tanto, se especifica
que el instrumento fue validado en
términos de facie y contenido, y me-
diante el pilotaje se determinó que
la comprensión de instrucciones e
ítems fue óptima. En este pilotaje,
la confiabilidad fue óptima (Alfa de
Cronbach: 0.906; IC al 95 %: 0.818 ±
0.963) (Berlanga y Juárez, 2020a).
Después del proceso de revisión, juicio de
expertos y aplicación de la prueba piloto, el
instrumento RASERA quedó como se expo-
ne en la Tabla 1 (Berlanga y Juárez, 2020a).
María de la Luz BERLANGA RAMÍREZ y Luis Gibran JUÁREZ HERNÁNDEZ
588
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
2. Selección de la muestra poblacional
para la aplicación del instrumento. El
instrumento se aplicó en escuelas nor-
males del estado de Coahuila, México.
La aplicación del dispositivo se dirigió
a discentes normalistas de semestres
en curso y de manera imprevista, por
lo que se puede señalar que fue a tra-
vés del muestreo no probalístico —ac-
cidental. Se obtuvo un total de 525
encuestados, los cuales provienen de
la Escuela Normal Preescolar, Bene-
mérita Escuela Normal de Coahuila,
Escuela Normal Superior, Escuela
Normal Regional de Especialización
y Escuela Normal de Educación Físi-
ca. La muestra se constituyó de 77.5
% de mujeres y 22.5 % de hombres,
con una edad promedio de 26.95 años
y con un promedio de años de estu-
dio de 2.8 % en educación normal.
En lo que concierne a la procedencia
de la muestra, se advierte que 390
discentes radican en el municipio de
Saltillo del estado de Coahuila, 135 en
otros municipios del mismo estado, a
excepción de 4 discentes que radican
en ciudades de otros estados de la Re-
pública Mexicana debido al intercam-
bio estudiantil existente en algunas
escuelas normales del país. A la par
de la aplicación de la rúbrica, se aplicó
Tabla 1. Rúbrica Analítica Socioformativa para la Evaluación de la
Retroalimentación Asertiva (RASERA).
Ítem
¿Cuál es la finalidad de la retroalimentación otorgada por el docente?
¿En qué se centra la retroalimentación recibida?
El docente, ¿qué tipo de retroalimentación brinda?
¿Es oportuno el tiempo en que se recibe la retroalimentación de acuerdo con el nivel de
complejidad de la evidencia de aprendizaje evaluada?
¿Con qué frecuencia se otorga la retroalimentación?
¿Se origina la retroalimentación con base en algún instrumento de evaluación?
¿Qué información brinda la retroalimentación del docente?
¿Se realiza el proceso de la retroalimentación para propiciar la autorregulación?
El docente, ¿plantea metas de evaluación?
El docente, ¿establece normas de evaluación?
¿Cómo es la comunicación del docente durante la retroalimentación?
¿Cuál es la disposición del docente cuando un alumno está inconforme con la evaluación o
tiene dudas?
Cuando el docente me brinda la retroalimentación, ¿cuál es mi función?
Como alumno, ¿qué utilidad le doy a la retroalimentación proporcionada por el docente?
Como alumno, ¿cuál es la relevancia que le otorgo a la retroalimentación?
La retroalimentación, ¿es significativa para mi formación normalista?
Fuente: Berlanga y Juárez (2020a).
589
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
Validez de constructo de un instrumento para evaluar la retroalimentación asertiva en la formación…
el instrumento «Cuestionario de sa-
tisfacción con el instrumento» (CIFE,
2018), cuya finalidad consistió en eva-
luar la asequibilidad del instrumento.
Para el cumplimiento de los criterios
éticos de la investigación, a los parti-
cipantes se les explicó el objetivo del
instrumento, aplicando el consenti-
miento informado y la protección de
los datos personales (Ley General de
Protección de Datos Personales en
Posesión de Sujetos Obligados, 2017).
3. Análisis de validez de constructo y
confiabilidad. De manera inicial, se
analizó el ajuste de los ítems a la dis-
tribución normal mediante el cálculo
de la asimetría y curtosis; se consideró
que si algún ítem presentaba un valor
superior a ± 2 era sujeto de elimina-
ción (Bollen y Long, 1993). Igualmen-
te, se examinó la correlación ítem-test
con el objeto de identificar si los ítems
presentaban un valor inferior a 0.20
o superior a 0.90, y se optó por su eli-
minación (Tabachnick y Fidell, 2001).
A posteriori, la muestra se dividió en dos
partes iguales para efectuar una validación
cruzada (Brown, 2015). La primera de ellas
fue analizada mediante el análisis factorial
exploratorio y la segunda a través del aná-
lisis factorial confirmatorio. Resulta impor-
tante precisar que el mecanismo para la divi-
sión de la muestra fue mediante un proceso
de aleatorización, que se utiliza para evitar
algún sesgo o patrón, empleando números
aleatorios mediante una hoja de cálculo elec-
trónica. Para proceder con el análisis facto-
rial exploratorio, se verificó la pertinencia
de los datos mediante el índice de KMO y
prueba de Barlett (Howard, 2016; Yong y
Pearce, 2013). Subsecuente a la verificación
ajuste de los ítems a la distribución normal,
se procedió con el análisis factorial explora-
torio, seleccionando el método de máxima
verosimilitud (Howard, 2016; Yong y Pear-
ce, 2013). El número de factores a retener
se asienta en la regla de Gutman-Kaiser,
gráfico de sedimentación, varianza explica-
da y criterio del promedio de valores propios
(Henson y Roberts, 2006). Consecutivo al
análisis de la matriz factorial, si se presen-
taba complejidad factorial, se efectuó la ro-
tación de la matriz mediante el algoritmo de
mayor conveniencia.
Afín a la estructura factorial obteni-
da mediante el AFE, con la segunda sub-
muestra se ejecutó el análisis factorial
confirmatorio (AFC) empleando el método
de estimación de máxima verosimilitud.
Tocante al tamaño de muestra, se consi-
deró lo indicado por Kline (2015) quien
sugiere un tamaño de muestra entre 200
y 400 participantes. De manera específi-
ca, se evaluó la bondad de ajuste del mo-
delo mediante la chi-cuadrada, la razón
chi-cuadrada/grados de libertad (
x
2/gl) e
índices de ajuste (índice de bondad de ajus-
te, GFI); Error cuadrático medio de apro-
ximación (RMSAE), Raíz cuadrada resi-
dual (RMR); Índice comparativo de ajuste
(CFI); Índice de Tucker-Lewis (TLI), aten-
diendo los criterios planteados por Yuan
(2005) y Blunch (2013). Posteriormente,
se calculó la varianza media extraída y la
confiabilidad compuesta acorde a Fornell
y Larcker (1981), considerando como va-
lor umbral para la primera mayor a 0.50 y
para la segunda de 0.70 (Hair et al, 2014).
A partir de lo indicado por Hair et al.
María de la Luz BERLANGA RAMÍREZ y Luis Gibran JUÁREZ HERNÁNDEZ
590
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
(2014), se verificó que para cada factor las
cargas factoriales estandarizadas por ítem
fueran mayores 0.5, la varianza media ex-
plicada mayor 0.5 y la confiabilidad com-
puesta mayor a 0.7. Finalmente, se realizó
el cálculo de la confiabilidad mediante el
coeficiente Alfa de Cronbach (Cronbach,
1951) con sus intervalos de confianza al
95 % (Koning y Frances, 2003), así como
el coeficiente de confiabilidad Omega (Mc-
Donald, 1999). Para los valores obtenidos
de estos coeficientes, se contemplaron los
criterios establecidos por Taber (2018).
El cálculo de la asimetría, curtosis,
correlación ítem-test, coeficiente Alfa de
Cronbach, coeficiente omega y ejecución
del análisis factorial exploratorio y confir-
matorio se realizó con el programa JASP
versión 0.11.1 (JASP Team, 2019).
3. Análisis y resultados
3.1. Análisis de validez de constructo y
confiabilidad
Conforme al análisis, como se puede
observar en la Tabla 2, ninguno de los
ítems violó los criterios establecidos de
asimetría y curtosis, de modo que se pue-
de asumir que los datos presentan una
distribución normal. Acorde al indicador
de ítem-test-correlación, ningún ítem
manifestó un valor inferior a 0.20 o ma-
yor a 0.90, por lo cual no existió necesi-
dad de eliminar alguno.
Tabla 2. Asimetría y Curtosis de los Ítems.
Ítem Asimetría Curtosis Correlación item-test
1 0.473 -0.922 0.673
2 0.492 -1.041 0.609
3 0.509 -0.989 0.664
4 -0.005 -0.957 0.752
5 0.34 -1.037 0.681
6 0.462 -1.219 0.691
7 0.677 -0.816 0.556
8 0.53 -1.119 0.727
9 0.004 -1.526 0.666
10 0.062 -1.577 0.751
11 -0.206 -1.385 0.739
12 -0.069 -0.993 0.554
13 0.433 -1.156 0.618
14 0.037 -1.248 0.606
15 -0.17 -1.429 0.719
16 -0.339 -1.466 0.732
Fuente: Elaboración propia.
591
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
Validez de constructo de un instrumento para evaluar la retroalimentación asertiva en la formación…
Las pruebas Kaiser-Meyer-Olkin
(KMO: 0.961) y esfericidad de Bartlett (X2:
3751.286 gl: 120; p<0.00001) permitieron
verificar la pertinencia de los datos para ser
analizados mediante el AFE. La matriz de
comunalidades reveló la representación de
todos los ítems dentro del modelo factorial
como se representa en la Tabla 3. De acuer-
do con la extracción de factores, se indica
divergencias respecto al modelo teórico, ya
que se obtuvieron dos factores que presen-
taron un autovalor mayor a 1 y que expli-
can en conjunto más del 65 % de la varian-
za. Cabe subrayar que se encontraron dos
ítems que presentaban carga factorial a más
de un factor, por lo cual la matriz se rotó y
se clarificaron las cargas. Taxativamente,
la estructura factorial obtenida precisa que
en el factor uno se encontraron representa-
dos los ítems del uno al doce, por lo que fue
denominado Ejecución de la retroalimenta-
ción. El factor dos integró los ítems 13, 14,
15 y 16, por lo que a este factor se nombró
Representatividad de la retroalimentación.
La estructura factorial de ambos factores se
representan en la Tabla 3.
Tabla 3. Comunalidades y cargas factoriales.
Ítem Comunalidad Carga Factorial
Factor 1 Factor 2
1 0.629 0.820 .
2 0.565 0.674 .
3 0.622 0.631 .
4 0.718 0.661 .
5 0.687 0.750 .
6 0.839 0.834 .
7 0.573 0.763 .
8 0.818 0.892 .
9 0.638 0.771 .
10 0.771 0.657 .
11 0.638 0.608 .
12 0.447 0.709 .
13 0.611 . 0.583
14 0.573 . 0.776
15 0.686 . 0.719
16 0.707 . 0.732
Fuente: Elaboración propia.
El análisis factorial confirmatorio
(AFC) reveló un buen ajuste del modelo
de dos factores. Específicamente, el valor
de la razón de ji-cuadrada entre grados de
libertad (χ2/gl: 2.284), índice de bondad de
ajuste (GFI: 0.909); error cuadrático me-
dio de aproximación (RMSAE: 0.068, IC
al 90%: 0.057 ± 0.080, p>0.005) raíz cua-
María de la Luz BERLANGA RAMÍREZ y Luis Gibran JUÁREZ HERNÁNDEZ
592
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
drada residual (RMR: 0.035); índice com-
parativo de ajuste (CFI: 0.966); índice de
Tucker-Lewis (TLI: 0.955) mostraron un
valor óptimo.
La confiabilidad compuesta, varianza
media extractada por factor, y carga fac-
torial estandarizada por ítem se presenta
en el resumen del modelo como se puede
observar en la Tabla 4. Se especifica que
para cada factor se cumplió la condición
de la carga factorial estandarizada por
ítem (CFE>0.50), varianza media extraí-
da (VEM>0.50) y confiabilidad compues-
ta (CC>0.70). Lo anterior se ilustra en la
Tabla 4 y en el Gráfico 1. Finalmente, se
precisa que la confiabilidad (alfa y omega)
por factor fue óptima (Tabla 4).
En lo que atañe al análisis de facti-
bilidad del instrumento (Tabla 5), como
se observa, la percepción de la muestra
participante referente a comprensión de
instrucciones e ítems y satisfacción con
el instrumento fue evaluado como de ex-
celente grado.
Tabla 4. Resumen del modelo.
Factor Número
de ítems
Cargas
factoriales
estandarizadas
Varianza
extracta-
da media
Confiabi-
lidad com-
puesta
Alfa de
Cronbach
(IC al
95 %)
Omega de
McDonald
Ejecución
de la retro-
alimenta-
ción
12
I1 (0.79),
I2 (0.73),
I3 (0.77),
I4 (0.85),
I5 (0.81),
I6 (0.92),
I7 (0.74),
I8 (0.91),
I9 (0.79),
I10 (0.87),
I11 (0.79),
I12 (0.63)
0.646 0.955 0.95
(0.940
± 0.958) 0.922
Representa-
tividad de la
retroalimen-
tación
4
I13 (0.77),
I14 (0.76),
I15 (0.86),
I16 (0.86)
0.662 0.886 0.88
(0.853
± 0.902) 0.851
Fuente: Elaboración propia.
593
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
Validez de constructo de un instrumento para evaluar la retroalimentación asertiva en la formación…
Gráfico 1. Representación del Análisis Factorial Confirmatorio
del Modelo de Dos Dimensiones.
Fuente: Elaboración propia.
Tabla 5. Análisis de satisfacción con el instrumento.
Preguntas Bajo
grado (%)
Aceptable
grado (%)
Buen
Grado (%)
Excelente
grado (%)
Comprensión de
las instrucciones 0.6 5.7 37.9 55.8
Comprensión de
los ítems 0.4 6.9 40.2 52.6
Satisfacción del
instrumento 0.4 5.5 32.8 61.3
Fuente: Elaboración propia.
María de la Luz BERLANGA RAMÍREZ y Luis Gibran JUÁREZ HERNÁNDEZ
594
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
4. Conclusiones
La retroalimentación asertiva, definida
desde la evaluación socioformativa, permite
valorar todo el proceso para la adquisición
de aprendizajes y el desarrollo de compe-
tencias, en virtud de que brinda la oportu-
nidad de ejecutar los ajustes necesarios que
facilitan la reorientación del aprendizaje
(Tobón, 2017). Lo anterior indica su tras-
cendencia para el proceso educativo y de
aprendizaje, ya que se logran desarrollar
mecanismos cognitivos en el alumno (Shu-
te, 2008) que conllevan la autorregulación
del proceso de aprendizaje y, por ende, que
sea autodidacta (García-Jiménez, 2015).
A partir de los resultados conseguidos,
evaluar la retroalimentación asertiva en la
formación inicial y continua del profesado
tiene doble ventaja: se complementarían
elementos teórico-metodológicos y el sur-
gimiento de una taxonomía e instrumentos
que estén más acordes a las competencias
profesionales y disciplinares del docente
para evaluar su actuación desde el enfoque
socioformativo. La otra ventaja radica en
promover la retroalimentación asertiva en
la formación docente, visto que constitu-
ye uno de los pilares para la evaluación de
competencias (Tobón, 2017).
Como se indicó, la evaluación de las pro-
piedades psicométricas de un instrumento
es un criterio fundamental para la determi-
nación de la calidad de su medición (Car-
vajal et al., 2011). En un primer momento,
la propuesta instrumental Rúbrica Analí-
tica Socioformativa para la Evaluación de
la Retroalimentación Asertiva (RASERA)
se sometió a un proceso de revisión por ex-
pertos y validación de contenido por juicio
de expertos, mediante el cual se determinó,
en primera instancia, la pertenencia de los
ítems al fenómeno, relevancia, su redacción
y si son comprensibles para la población ob-
jetivo (Connell et al., 2018). Por otra parte,
el análisis de validez de contenido reveló
que los ítems del instrumento cubren el
dominio de contenido del constructo, de-
notando su pertinencia, relevancia y repre-
sentatividad (Koller et al., 2017).
Este mismo proceso fue de alta signifi-
cancia dado que la validez de contenido re-
presenta un componente fundamental de la
validez de constructo (Messick, 1980). Esta
propiedad mencionada se considera primor-
dial porque determina la relevancia de los
ítems para el objetivo que ha sido diseñado
y que tanto cada uno de ellos representa
al constructo evaluado (Messick, 1980). Al
respecto, Furr (2020) asevera que la validez
de constructo es el grado en que se confir-
man las relaciones esperadas bajo la teoría
y definiciones que sustentan al constructo.
Concerniente al análisis de esta propie-
dad en el presente, se realizó un proceso de
validación cruzada, el cual se corresponde
con la recomendación clásica y de mayor
pertinencia (Brown, 2015; Lloret-Segura et
al., 2014). La primera aproximación se efec-
tuó mediante el análisis factorial explorato-
rio (AFE), que tiene por objeto identificar la
estructura factorial subyacente a los ítems
(Lloret-Segura et al., 2014) y observar la
correspondencia de la estructura factorial
resultante respecto a la propuesta teórica.
La segunda aproximación fue mediante el
análisis factorial confirmatorio (AFC) para
validar la sustentabilidad de la estructura
factorial obtenida con el EFA y, por consi-
595
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
Validez de constructo de un instrumento para evaluar la retroalimentación asertiva en la formación…
guiente, la validez de las deducciones teóri-
cas inferidas del mismo (Leyva, 2011).
Los resultados del AFE revelaron dis-
crepancias con lo propuesto teóricamente,
ya que inicialmente se consideró una es-
tructura unidimensional, encontrándose un
modelo de dos dimensiones (factores). Este
ajuste es de índole funcional debido a que
se concentraron los elementos teóricos rela-
cionados directamente y representados en
los ítems de forma secuenciada. Por ejem-
plo, el factor uno, denominado Ejecución de
la retroalimentación, integra los ítems que
apuntan aspectos del enfoque (García-Jimé-
nez, 2015; Tobón, 2017) información sobre
las condiciones en las que se genera (Mar-
tínez-Rizo, 2013; Padilla y Gil, 2008), tipifi-
cación (Tunstall y Gipps, 1996; Torrance y
Pryor, 1998; Randall y Thornton, 2005; Ha-
ttie y Timperley, 2007; Farahman y Masoud,
2011; Evans, 2013; Jonsson, 2013; García,
2015; Contreras y Zuñiga, 2019), tiempo
(Tobón, 2017), frecuencia (García-Jimé-
nez, 2015; Wiggins, 2011), instrumentación
(Tobón, 2017); información generada a par-
tir de la retroalimentación (Jonsson et al.,
2018; Anijovich y Cappelletti, 2017; Gar-
cía-Jiménez, 2015), autorregulación del dis-
cente (García-Jiménez, 2015; Tobón, 2017;
Quezada y Salinas, 2021); planteamiento
de metas de evaluación, establecimiento de
normas de evaluación, interacción entre el
docente y discente durante la retroalimen-
tación (Tobón, 2017).
Por su parte, el factor dos, designado
Representatividad de la retroalimenta-
ción, contempló el papel del discente en
la retroalimentación, la utilidad e impor-
tancia que le da en su formación docente
(Tobón, 2017). Ambos factores explicaron
más del 56 % de varianza y se enfatiza que
existió representatividad y corresponden-
cia del 100 % de los ítems del dispositivo,
denotando que en todos los casos pre-
sentaron cargas factoriales significativas
(CF>0.50), revelando su significancia y re-
presentatividad en el constructo evaluado
(Lagunes-Córdoba, 2017).
La evaluación mediante el AFC brindó
elementos de comprobación del ajuste del
modelo a los datos, que permite validar la
sustentabilidad empírica del modelo teóri-
co planteado (Herrero, 2010; Yuan, 2005),
ya que para la razón
x
2/gl, y los índices de
ajuste empleados mostraron valores ópti-
mos. Un aspecto relevante y aportado por
este análisis es el valor de las cargas facto-
riales estandarizadas (CFE>0.50), confia-
bilidad compuesta (CC>0.70), y la varianza
extracta media (VEM>0.50). Este conjunto
de evidencias permite verificar la susten-
tabilidad empírica del modelo propuesto, y
denotar que los indicadores propuestos mi-
den adecuadamente dicho factor (Cheung y
Wang, 2017; Fornell y Larcker, 1981).
Con respecto al análisis de confiabili-
dad (Alfa de Cronbach, omega y confiabili-
dad compuesta), se obtuvieron valores óp-
timos por factor, denotando que al menos
el 70 % de la varianza de las mediciones
en el instrumento están sin error (Cho y
Kim, 2015; Viladrich et al., 2017). Si bien
con el grupo piloto, de igual manera, se ob-
tuvo un valor óptimo (Alfa de Cronbach:
0.906 IC al 95%: 0.818 ± 0.963) (Berlanga
y Juárez, 2020a). Es pertinente mencionar
que esta estimación se realizó con 15 estu-
diantes, y como lo precisa Charter (2003)
María de la Luz BERLANGA RAMÍREZ y Luis Gibran JUÁREZ HERNÁNDEZ
596
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
la potencia y consistencia del coeficiente
está determinada por el tamaño de mues-
tra. A fin a lo anterior y con el tamaño de
muestra, en el presente trabajo la confia-
bilidad obtuvo un valor óptimo y acorde a
los intervalos de confianza, se denota una
mayor estabilidad en la medición.
Tocante a lo mencionado, es convenien-
te mencionar lo asentado por Jabrayilov et
al. (2016), quienes sostienen que la confia-
bilidad de un instrumento hace referencia
a su capacidad de obtener mediciones con
error mínimo y, demuestra la correlación
entre los ítems con el concepto estudiado
(Gliner et al., 2001).
Definitivamente, un aspecto de alta
importancia analizado es el grado de
satisfacción o factibilidad con el instru-
mento (Carvajal et al., 2011), y contem-
pla elementos asociados con la ameni-
dad, extensión y tiempo para contestar
el instrumento; el grado de comprensión
de instrucciones e ítems y claridad de la
redacción empleada (Conell et al., 2018;
Halek et al., 2017). Se destaca que para
el instrumento aquí presentado, se obtu-
vo una valoración excelente respecto a la
compresión de instrucciones e ítems, así
como de satisfacción con el instrumento.
Carvajal et al. (2011) enfatizan que estos
aspectos son relevantes porque constitu-
yen amenazas a la validez, confiabilidad y
precisión del instrumento.
El proceso metodológico efectuado per-
mite aseverar que el dispositivo RASERA ha
alcanzado la connotación de óptimo debido
a que posee validez de contenido y construc-
to e igualmente confiable. La demostración
de las propiedades psicométricas analizadas
en el presente facilita asegurar que el ins-
trumento brindará evidencias válidas y con-
fiables (Mendoza-Mendoza y Garza, 2009).
Con base en lo anterior, se apunta que la
propuesta instrumental RASERA brinda un
diagnóstico válido y confiable.
Se propone proyectar su uso por los be-
neficios obtenidos en la ejecución y signi-
ficancia de la retroalimentación asertiva,
dado que influye en la mejora del desempe-
ño docente y del discente. Relacionado con la
actuación del docente, porque facilitaría la
identificación del grado de asertividad en la
orientación durante la evaluación, su reper-
cusión en el desarrollo de las competencias,
las condiciones en las que se brinda: tiem-
po, conducto, contexto (Canabal y Margalef,
2017), la instrumentación de evaluación y
el nivel de información (García-Jiménez,
2015; Jónsson et al., 2018). En torno al des-
empeño del discente, una vez que el docente
incorpora la retroalimentación asertiva en
su praxis educativa, esta trascendería en el
ámbito cognitivo y emocional del discente.
Si bien la evaluación de la retroalimen-
tación asertiva por parte de los discentes es
valiosa debido a que la información recaba-
da incide en su actuación como en la del do-
cente, es preciso denotar que conocer la per-
cepción por parte del docente consolidaría
una metaevaluación completa y facilitaría
la autoevaluación con la intención de con-
tribuir a la mejora de la praxis educativa en
relación con el proceso de evaluación. Por
lo tanto, una futura línea de investigación
sería la construcción de un instrumento
que permita al docente autoevaluar su gra-
do de asertividad en la retroalimentación
597
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
Validez de constructo de un instrumento para evaluar la retroalimentación asertiva en la formación…
y sus condiciones en las que se ejecuta. Au-
nando a lo anterior, en el presente no se
consideró la aplicación de otro instrumento
que integrara algún aspecto de la asertivi-
dad, ya sea como comportamiento o comu-
nicación, lo cual limita el conocimiento de
la validez convergente y concurrente del
instrumento de medida aquí presentado.
Referencias bibliográficas
Anijovich, R. y Cappelletti, G. (2017). Más allá de
las pruebas: la retroalimentación en la evalua-
ción como. Paidós.
Ato, M., López, J. y Benavente, A. (2013). Un siste-
ma de clasificación de los diseños de investiga-
ción en psicología. Anales de Psicología, 29 (3),
1038-1059.
Berlanga Ramírez, M. L. y Juárez Hernández, L. G.
(2020a). Diseño y validación de un instrumento
para evaluar la retroalimentación asertiva en
educación normal. IE Revista de Investigación
Educativa de la REDIECH, 11, e-791. https://
doi.org/10.33010/ie_rie_rediech.v11i0.791
Berlanga Ramírez, M. L. y Juárez Hernández, L. G.
(2020b). Paradigmas de evaluación: del tradicio-
nal al socioformativo. Diálogos sobre educación.
Temas actuales en investigación educativa, 21,
1-14. https://doi.org/10.32870/dse.v0i21.646
Bollen, K. A. y Long, J. S. (1993). Testing structural
equation models [Prueba de modelos de ecua-
ciones estructurales]. Sage.
Blunch, N. (2013). Introduction to structural equa-
tion modeling using IBM SPSS statistics and
AMOS [Introducción a la modelización de
ecuaciones estructurales con el programa esta-
dístico IBM SPSS y AMOS]. Sage.
Bordas, M. I. y Cabrera, F. Á. (2001). Estrategias de eva-
luación de los aprendizajes centrados en el proceso.
revista española de pedagogía, 59 (218), 25-48.
Brown, T. A. (2015). Confirmatory factor analysis
for applied research [Análisis factorial confir-
matorio para la investigación aplicada]. Guil-
ford publications.
Canabal, C. y Margalef, L. (2017). La retroalimen-
taón: la clave para una evaluación orientada al
aprendizaje. Profesorado. Revista de Currículum
y Formación de Profesorado, 21 (2), 149-170.
Carvajal, A., Centeno, C., Watson, R., Martínez, M.
y Sanz Rubiales, A. (2011). ¿Cómo validar un
instrumento de medida de la salud? Anales del
Sistema Sanitario de Navarra, 34 (1), 63-72.
Castro, S., Paz, L. y Cela, M. (2020). Aprendiendo
a enseñar en tiempos de pandemia COVID-19:
nuestra experiencia en una universidad públi-
ca. [Learning to teach in times of the COVID-19
pandemic: Our experience at Universidad de
Buenos Aires]. Revista Digital de Investigación
en Docencia Universitaria, 14 (2), e1271.
Charter, R. A. (2003). A breakdown of reliability coe-
fficients by test type and reliability method and
the clinical implications of low reliability. The
Journal of General Psychology, 130 (3), 290-304.
https://doi.org/10.1080/00221300309601160
Cheung, G. W. y Wang, C. (2017). Current approa-
ches for assessing convergent and discriminant
validity with SEM: issues and solutions [Enfo-
ques actuales para evaluar la validez conver-
gente y discriminante con el SEM: problemas
y soluciones]. Academy of Management Procee-
dings, 2017 (1), 12706. https://doi.org/10.5465/
AMBPP.2017.12706abstract
Cho, E. y Kim, S. (2015). Cronbach’s coefficient al-
pha: wellknown but poorly understood. Orga-
nizational Research Methods, 18 (2), 207-230.
https://doi.org/10.1177/1094428114555994
CIFE (2018). Instrumento «Cuestionario de satisfac-
cion con el instrumento». Centro Universitario
CIFE. https://docs.google.com/forms/d/e/1FAI-
pQLSc8-jOiWYwG64QbnhRyGAg1ElTgg-
q2aP1XiSg45pyN9XLbXNQ/viewform
Connell, J., Carlton, J., Grundy, A., Taylor Buck,
E., Keetharuth, A. D., Ricketts, T., Barkham,
M., Robotham, D., Rose, D. y Brazier, J. (2018).
The importance of content and face validity in
instrument development: Lessons learnt from
service users when developing the Recovering
Quality of Life measure (ReQoL) [La importan-
cia de la validez de contenido y apariencia en el
desarrollo del instrumento: lecciones aprendi-
das de los usuarios del servicio al desarrollar la
medida Recuperando la Calidad de Vida]. Qua-
lity of life research: an international journal of
quality-of-life aspects of treatment, care, and
rehabilitation, 27 (7), 1893-1902. https://doi.
org/10.1007/s11136-018-1847-y
Contreras, G. y Zúñiga, C. G. (2019). Prácticas y
concepciones de retroalimentación en forma-
ción inicial docente [Practices and concep-
María de la Luz BERLANGA RAMÍREZ y Luis Gibran JUÁREZ HERNÁNDEZ
598
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
tions of feedback in initial teacher training].
Educação e Pesquisa, 45, 1-22. https://doi.
org/10.1590/s1678-4634201945192953
Cronbach, L. J. (1951). Coefficient alpha and the in-
ternal structure of tests [Coeficiente alfa y la es-
tructura interna de pruebas]. Psychometrika, 16
(3), 297-334. https://doi.org/10.1007/BF02310555
Díaz, L. (2001). La metaevaluación y su método. Re-
vista de Ciencias Sociales (Cr), II-III (93), 171-192.
https://www.redalyc.org/articulo.oa?id=15309314
Evans, C. (2013). Making sense of assessment feed-
back in higher education [Dar sentido a la retro-
alimentación de la evaluación en la educación su-
perior]. Review of Educational Research, 83 (1),
70-12. https://doi.org/10.3102/0034654312474350
Farahman, F. y Masoud, Z. (2011). A comparative
study of EFL teachers’ and intermediate High
School students’ perceptions of written correcti-
ve feedback on grammatical errors [Un estudio
comparativo de las percepciones de los profeso-
res de inglés como lengua extranjera y de los es-
tudiantes de secundaria intermedia sobre la re-
troalimentación correctiva escrita sobre errores
gramaticales]. English Language Teaching, 4
(4), 36-48. http://dx.doi.org/10.5539/elt.v4n4p36
Fornell, C. y Larcker, D. (1981). Evaluating structu-
ral equation models with unobservable variables
and measurement error [Evaluación de mode-
los de ecuaciones estructurales con variables
no observables y error de medición]. Journal of
Marketing Research, 18 (1), 39-50. https://doi.
org/10.2307/3151312
Furr, R. M. (2020). Psychometrics in clinical psycho-
logical research [Psicometría en la investigación
psicológica clínica]. En The Cambridge hand-
book of research methods in clinical psychology
(pp. 54-65). Cambridge University Press. ht-
tps://doi.org/10.1017/9781316995808.008
García-Jiménez, E. (2015). La evaluación del
aprendizaje: de la retroalimentación a la auto-
rregulación. El papel de las tecnologías. Relie-
ve: Revista Electrónica de Investigación y Eva-
luación Educativa, 21 (2), 1-24. http://dx.doi.
org/10.7203/relieve.21.2.7546
Gliner, J. A., Morgan, G. A. y Harmon, R. J. (2001).
Measurement reliability [Fiabilidad de la medi-
ción]. Journal of the American Academy of Child
y Adolescent Psychiatry, 40, 486-488. https://doi.
org/10.1097/00004583-200104000-00019
Hair, Jr., William, C. B., Barry, J. B. y Anderson, R.
(2014). Multivariate data analysis [Análisis de
datos multivariantes]. Pearson
Hattie, J. y Timperley, H. (2007). The power of fe-
ddback [El poder de la retroalimentación]. Re-
view of Educational Research, 77 (1), 81-112.
https://doi.org/10.3102/003465430298487
Halek, M., Holle, D. y Bartholomeyczik, S. (2017). De-
velopment and evaluation of the content validity,
practicability, and feasibility of the Innovative de-
mentia-oriented Assessment system for challen-
ging behaviour in residents with dementia [De-
sarrollo y evaluación de la validez de contenido,
viabilidad y factibilidad del innovador sistema de
evaluación orientado a la demencia para el com-
portamiento desafiante en residentes con demen-
cia]. BMC health services research, 17 (1), 1-26.
Henson, R. K. y Roberts, J. K. (2006). Use of ex-
ploratory factor analysis in published research:
Common errors and some comment on impro-
ved practice [Uso del análisis factorial explo-
ratorio en investigaciones publicadas: errores
comunes y algunos comentarios sobre prácti-
cas mejoradas]. Educational and Psychologi-
cal measurement, 66 (3), 393-416. https://doi.
org/10.1177/0013164405282485
Herrero, J. (2010). El analisis factorial confirmato-
rio en el estudio de la estructura y estabilidad
de los instrumentos de evaluacion: un ejemplo
con el cuestionario de autoestima CA-14. Inter-
vention Psychosocial, 19 (3), 289-300. https://
doi.org/10.5093/in2010v19n3a9
Howard, C. M. (2016). A review of exploratory factor
analysis decisions and overview of current practi-
ces: What we are doing and how can we improve?
[Una revisión de las decisiones del análisis facto-
rial exploratorio y una descripción general de las
prácticas actuales: ¿qué estamos haciendo y cómo
podemos mejorar?]. International Journal of Hu-
man–Computer Interaction, 32 (1), 51-62. https://
doi.org/10.1080/10447318.2015.1087664
JASP Team (2019). JASP (Version 0.11.1) [Progra-
ma informático].
Kline, P. (2015). A handbook of test construction
(psychology revivals). Introduction to psycho-
metric design [Un manual de construcción de
pruebas (renacimientos de psicología). Intro-
ducción al diseño psicométrico]. Routledge.
Koller, I., Levenson, M. R. y Glück, J. (2017). What do
you think you are measuring? A mixed-methods
procedure for assessing the content validity of
599
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
Validez de constructo de un instrumento para evaluar la retroalimentación asertiva en la formación…
test items and theory-based scaling [¿Qué crees
que estás midiendo? Un procedimiento de méto-
dos mixtos para evaluar la validez de contenido
de los ítems del test y el escalamiento basado en
la teoría]. Frontiers in Psychology, 8, 126. https://
doi.org/10.3389/fpsyg.2017.00126
Koning, A. J. y Frances, P. H. (2003). Confidence
intervals for Cronbach’s Coefficient Alpha va-
lues [Intervalos de confianza para los valores
del Coeficiente Alfa de Cronbach]. ERIM Re-
port Series Reference No. ERS-2003-041-MKT.
http://hdl.handle.net/1765/431
Jabrayilov, R., Emons, W. H. M. y Sijtsma, K. (2016).
Comparison of classical test theory and item res-
ponse theory in individual change assessment.
Applied Psychological Measurement, 40 (8), 559-
572. https://doi.org/10.1177/0146621616664046
Jonsson, A. (2013). Facilitating productive use of feed-
back in higher education [Facilitar el uso produc-
tivo de la retroalimentación en la educación supe-
rior]. Active Learning in Higher Education, 14 (1),
63-76. https://doi.org/10.1177/1469787412467125
Jónsson, I. R., Smith, K. y Geirsdóttir, G. (2018). Sha-
red language of feedback and assessment. Percep-
tion of teachers and students in three Icelandic
secondary schools [Lenguaje compartido de retroa-
limentación y evaluación Percepción de profesores
y estudiantes en tres escuelas secundarias islan-
desas]. Studies in Educational Evaluation, 56, 52-
58. https://doi.org/10.1016/j.stueduc.2017.11.003
Lagunes-Córdoba, R. (2017). Recomendaciones sobre
los procedimientos de construcción y validación de
instrumentos y escalas de medición en la psicología
de la salud. Revista Psicología y Salud, 27 (1), 5-18.
Ley General de Protección de Datos Personales en
Posesión de Sujetos Obligados. Diario oficial de
la Federación, de 26 de enero de 2017. Cámara
de Diputados del H. Congreso de la Unión. Esta-
dos Unidos Mexicanos. https://www.diputados.
gob.mx/LeyesBiblio/pdf/LGPDPPSO.pdf
Leyva, E. (2011). Una reseña sobre la validez de
constructo de pruebas referidas a criterio. Per-
files Educativos, 33 (131), 131-154. https://doi.
org/10.22201/iisue.24486167e.2011.131.24238
Lloret-Segura, S., Ferreres-Traver, A., Hernán-
dez-Baeza, A. y Tomas-Marco, I. (2014). El
análisis factorial exploratorio de los ítems: una
guía práctica, revisada y actualizada. Anales
de Psicología, 30 (3), 1151-1169. http://dx.doi.
org/10.6018/analesps.30.3.199361
López, A. y Osorio, K. (2016). Percepciones de estu-
diantes sobre la retroalimentación formativa en
el proceso de evaluación. Actualidades Pedagógi-
cas, 68, 43-64. http://dx.doi.org/10.19052/ap.2829
Martínez, M. (1995). Psicometria: teoria de los tests
psicologicos y educativos [Psychometry: Theory
of psychological and educational tests]. Sintesis.
Martínez-Rizo, F. (2013). Dificultades para implemen-
tar la evaluación formativa: revisión de literatura.
Perfiles educativos, 35 (139), 128-150. http://www.
scielo.org.mx/pdf/peredu/v35n139/v35n139a9.pdf
McDonald, R. P. (1999). Test theory: A unified treat-
ment. Lawrence Erlbaum Associates, Inc.
Mejía, M. y Pasek de Pinto, E. (2017). Proceso ge-
neral para la evaluación formativa del apren-
dizaje. Revista Iberoamericana de Evalua-
ción Educativa, 10 (1), 177-193. https://doi.
org/10.15366/riee2017.10.1.009
Mendoza-Mendoza, J. y Garza, J. B. (2009). La me-
dición en el proceso de investigación científica:
Evaluación de validez de contenido y confiabi-
lidad. Innovaciones de Negocios, 6 (11), 17- 32.
Messick, S. (1980). Test validity and ethics of assess-
ment [Validez de las pruebas y ética de la evalua-
ción]. American Psychologist, 35 (11), 1012-1027.
https://doi.org/10.1037/0003-066X.35.11.1012
Miguel, J. A. (2020). La educación superior en tiempos
de pandemia: una visión desde dentro del proceso
formativo. Revista Latinoamericana de Estudios
Educativos, 50 (ESPECIAL), 13-40. https://doi.
org/10.48102/rlee.2020.50.ESPECIAL.95
Monje, V., Camacho, M., Rodríguez, E. y Carvajal,
L. (2009). Influencia de los estilos de comunica-
ción asertiva de los docentes en el aprendizaje
escolar. Psicogente, 12 (21), 78-95.
Padilla, M. T. y Gil, J. (2008). La evaluación orien-
tada al aprendizaje en la educación superior:
condiciones y estrategias para su aplicación a
la docencia universitaria. revista española
de pedagogía, 66 (241), 467-486.
Pérez-Gil, J. A., Chacon-Moscoso, S. y Moreno-Ro-
dríguez, R. (2000). Validez de constructo: El
uso del análisis factorial exploratorio-confir-
matorio para obtener evidencias de validez.
Psicothema, 12 (2), 442-446. https://www.psico-
thema.com/pdf/601.pdf
Quezada, S. y Salinas, C. (2021). Modelo de retroa-
limentación para el aprendizaje: Una propuesta
basada en la revisión de literatura. Revista mexi-
cana de investigación educativa, 26 (88), 225-251.
María de la Luz BERLANGA RAMÍREZ y Luis Gibran JUÁREZ HERNÁNDEZ
600
revista española de pedagogía
año 80, n.º 283, septiembre-diciembre 2022, 583-600
Randall, M. y Thornton, B. (2005). Advising and
supporting teachers [Asesoramiento y apoyo a
los profesores]. University Press.
Sadler, D. (1989). Formative assessment and the
design of instructional systems [Evaluación
formativa y diseño de sistemas instrucciona-
les]. Instructional Science, 18, 119-144. http://
dx.doi.org/10.1007/BF00117714
Shute, V. J. (2008). Focus on formative feedback
[Centrarse en la retroalimentación formativa]
Review of Educational Research, 78 (1), 153-
189. https://doi.org/10.3102/0034654307313795
Tabachnick, B. G. y Fidell, L. S. (2001). Using mul-
tivariate statistics [Uso de estadísticas multiva-
riadas]. Allyn y Bacon.
Taber, K. S. (2018). The use of Cronbach’s alpha when
developing and reporting research instruments
in science education [El uso del Alfa de Cronbach
al desarrollar y reportar instrumentos de investi-
gación en la enseñanza de las ciencias]. Research
in Science Education, 48 (6), 1273-1296. https://
doi.org/10.1007/s11165-016-9602-2
Temesio, S., García, S. y Pérez, A. (2021). Rendi-
miento estudiantil en tiempo de pandemia:
percepciones sobre aspectos con mayor impac-
to. Revista Iberoamericana de Tecnología en
Educación y Educación en Tecnología, 28, e45.
https://doi.org/10.24215/18509959.28.e45
Tobón, S. (2017). Evaluación socioformativa. Estrate-
gias e instrumentos. Kresearch. https://cife.edu.mx/
recursos/wp-content/uploads/2018/08/LIBRO-Eva-
luaci%C3%B3n-Socioformativa-1.0-1.pdf
Tobón, S. (2013). Evaluación de las competencias
en la edcación básica. Santillana.
Torrance, H. y Pryor, J. (1998). Investigating for-
mative assessment. Teaching, learning and as-
sessment in the classroom [Investigando la eva-
luación formativa. Enseñanza, aprendizaje y
evaluación en el aula]. Open University Press.
Triana, A. y Velásquez, A. (2014). Comunicación
asertiva de los docentes y clima emocional del
aula en preescolar. Voces y Silencios: Revista
Latinoamericana de Educación, 5 (1), 23-41.
Tunstall, P. y Gipps, C. (1996). Teacher feedback to
young children in formative assessment: A typo-
logy [Comentarios de los maestros a los niños
pequeños en la evaluación formativa: una tipo-
logía]. British Educational Journal, 22 (4), 389-
404. https://doi.org/10.1080/0141192960220402
Viladrich, C., Angulo-Brunet, A. y Doval, E. (2017).
Un recorrido por alfa y omega para estimar la
confiabilidad de la consistencia interna. Ana-
les de Psicología, 33 (3), 755-782. https://doi.
org/10.6018/analesps.33.3.268401
Wiggins, G. (2011). Giving students a voice: The
power of feedback to improve teaching [Dar
voz a los estudiantes: el poder de la retroali-
mentación para mejorar la enseñanza]. Edu-
cational Horizons, 89 (3), 23-26. https://doi.
org/10.1177/0013175X1108900406
Wiliam, D. (2011). Embedded formative assessment
[Evaluación formativa integrada]. Blooming-
ton, Solution Tree Press.
Yong, A. G. y Pearce, S. (2013). A beginner’s guide
to factor analysis: Focusing on exploratory fac-
tor analysis [Una guía para principiantes sobre
el análisis factorial: centrarse en el análisis fac-
torial exploratorio]. Tutorials in quantitative
methods for psychology, 9 (2), 79-94. https://doi.
org/10.20982/tqmp.09.2.p079
Yuan, K. H. (2005). Fit Indices Versus Test Statistics
[Índices de ajuste frente a estadísticas de prueba].
Multivariate Behavioral Research, 40 (1), 115-148.
https://doi.org/10.1207/s15327906mbr4001_5
Biografía de los autores
María de la Luz Berlanga Ramírez.
Doctorando del Centro Universitario CIFE.
Profesora-investigadora de la Escuela Nor-
mal Superior del Estado de Coahuila. Su ac-
tividad de investigación actual se desarrolla
en el campo de evaluación en educación
normalista.
https://orcid.org/0000-0001-9088-3991
Luis Gibran Juárez Hernández.
Doctor en Ciencias Biológicas y de la Sa-
lud por la Universidad Autónoma Metro-
politana. Profesor-Investigador del Centro
Universitario CIFE. Su actividad de inves-
tigación actual se desarrolla en los campos
de instrumentos de evaluación, desarrollo
sostenible y ecología.
https://orcid.org/0000-0003-0658-6818
Chapter
This study aims to argue assertiveness’ relevance as a critical competency in initial teacher training and analyse practical proposals to promote assertiveness in programmes related to its nature. This chapter uses the documentary research design with a descriptive scope and transactional nature, which began with a specialised database of research articles focused on a theoretical and practical approach to assertiveness in teaching training, including resources based on specific criteria. The results state the relevance of this ability and document its input in the initial teacher training, as well as debates that are better strategies to incorporate assertiveness as a critical factor in developing skills, which are necessary for the professional profile of education in a challenging framework and the current needs of society.
Article
Full-text available
Keywords: Measurement, construct, content validity, reliability, creativity, speed, efficiency and effectiveness of the innovative processAbstract. In scientific research a relevant issue is measurement. Elements that form part of the measurement process are discussed. These elements are the following: the operationalization of variables, the relationship among theory and measurement, scales as measurement instruments, the meaning of the latent variable, validity and reliability as essential properties of measurement,also including content validity. Through the understanding of these elements, the relevance of the measurement process is established. Besides, the process of content validity and the estimation of reliability of a developed scale are described.Palabras clave: Medición, constructo validez de contenido, confiabilidad, creatividad, velocidad, eficiencia y eficacia del proceso de innovaciónResumen. La medición es un aspecto relevante en la investigación científica. En este documento se discuten los distintos elementos que integran el proceso de medición: la operacionalización de las variables, la relación entre la teoría y la medición, las escalas como instrumentos de medición, el significado de la variable latente, las propiedades básicas de la medición que son laconfiabilidad y la validez, los tres tipos de validez, incluyendo la validez de contenido. Mediante la comprensión de estos elementos se establece la importancia del proceso de medición. Además, se describe el proceso de validez de contenido y la estimación de confiabilidad de un instrumento de investigación.
Article
Full-text available
The aim of this text, is to describe our teaching role in times of pandemic, recounting how we discovered strategies to teach in times of virtual presence, as well as the search for new experiences in teacher training, highlighting the importance of how we turn them into an opportunity for our self-improvement. Procedure: We will discuss the strengths and weaknesses that we found while we were going through this new path of online teaching, set up for the first time in the undergraduate courses of our University. Conclusion: The main educational accomplishments we achieved during the pandemic course were, to establish a true flipped classroom, and to use ludic strategies that were not common in our classes. On the other hand, we highlight the close contact we fulfilled with our students, which led them to recognize with high opinion our study methodology, the knowledge acquired, the strategies used, and our commitment and teaching predisposition.
Article
Full-text available
En este artículo se analizan los resultados de una encuesta realizada a estudiantes de grado respecto de su tránsito por el primer semestre en contexto de emergencia sanitaria en la Universidad de la República en Uruguay. Se observa que los estudiantes asocian su rendimiento en primer lugar a aspectos vinculados a su participación y dificultades para llevar a cabo esa participación. Respecto de los aspectos del diseño de los procesos de enseñanza por parte de los equipos docentes, se destacan el tiempo disponible para realizar las evaluaciones, la diversidad de actividades propuestas, los espacios de interacción docente-alumnado, la explicitación de objetivos y la coherencia de la planificación. Se observa, asimismo, la necesidad de interacción con los equipos docentes, presentando insatisfacción cuando esa interacción no es fluida, no hay respuesta a los mensajes o retroalimentación a las tareas.
Article
Full-text available
El artículo busca mostrar el sentir y las voces de los actores de la educación superior desde dentro del proceso formativo, contrastándolos con las disposiciones y sugerencias de organismos internacionales y acuerdos nacionales. Para ello, en un primer momento se señala el impacto económico que se ha desencadenado a causa de la pandemia Covid-19; en segundo término las consecuencias en educación, esto es, que el contexto sanitario tenga una mayor repercusión en la economía, mientras que en educación sólo se muestra lo evidente con respecto a las afectaciones. El objetivo fundamental es evidenciar el sentir, los obstáculos, las competencias desarrolladas y los retos reales que ha producido el ajuste de clases presenciales a virtuales desde la voz de estudiantes, docentes y administrativos, con el fin de ser referente para propuestas, programas o plan en educación superior en contextos de pandemia. La metodología utilizada fue el análisis de contenido con diseño mixto, ya que, al categorizar los datos obtenidos del cuestionario aplicado a los actores de la educación superior, se sistematizaron en MAXQDA2020 para graficar. Por último, se presenta un contraste entre lo real y lo expresado sobre educación superior por organismos internacionales.
Article
Full-text available
Esta comunicación revisa el concepto de retroalimentación, las percepciones de estudiantes y docentes sobre este proceso, así como actividades que lo fomentan con el objetivo de proponer un modelo de retroalimentación para el aprendizaje. Para desarrollar esta propuesta se utilizaron los criterios de calidad de revisión de literatura de Boote y Beile. Se revisaron investigaciones desde 2008 a 2018 correspondientes a Reino Unido, Australia y China. Los resultados describen la retroalimentación como un acto dialógico y sostenible, donde es fundamental alinear las percepciones de docentes y estudiantes al respecto, considerando la retroalimentación de pares como actividades que fomentan la autorregulación. Finalmente se plantea un modelo que recoge diversas consideraciones al momento de implementar una retroalimentación para el aprendizaje. Abstract: This article reviews the concept of feedback, student and teacher perceptions of the feedback process, and activities that encourage feedback, with the objective of proposing a feedback model for learning. To develop this proposal, the Boote and Beile quality criteria for literature reviews were employed. Research from 2008 to 2018 was reviewed, from the United Kingdom, Australia, and China. The results describe feedback as an act of sustainable dialogue, in which the alignment of student and teacher perceptions is fundamental; peer feedback is viewed as an activity for promoting self-regulation. To conclude, a proposed model includes various considerations for implementing feedback for learning. Palabras clave: educación superior; retroalimentación; interacción entre pares; estrategias de aprendizaje.
Article
Full-text available
La retroalimentación asertiva es el proceso de evaluación en el cual el docente brinda, de forma respetuosa y cordial, datos al discente acerca de su nivel de dominio de aprendizaje. A pesar de su relevancia, no existe una propuesta instrumental para su evaluación. Por lo anterior, se diseñó un dispositivo como rúbrica analítica, la cual se organizó en una sola dimensión (eje-cución de la retroalimentación). Para su validación se sometió a revisión de expertos y juicio de expertos. Posteriormente se efectuó una prueba piloto a dos grupos con el objetivo de evaluar la asequibilidad. Como resultados principales, los expertos efectuaron sugerencias de pertinencia y redacción; por su parte, en el juicio, la totalidad de ítems mostraron su validez de contenido en los criterios de pertinencia y redac-ción (V>0.75; LI>0.60). En la aplicación de la prueba piloto se determinó un tiempo promedio de resolución aceptable (8 y 15 minutos) y la comprensión de instrucciones e ítems fue de un nivel excelente a aceptable. Finalmente, para el segundo grupo se obtuvo un valor óptimo de confi abilidad (Alfa de Cronbach: 0.906; IC al 95%: 0.818 + 0.963). Se concluye que los aspectos que constituyen al instrumento son pertenecientes y representativos del concepto a evaluar. Palabras clave: evaluación formativa, evaluación socioformativa, retroalimentación asertiva, rúbrica socioformativa, validación de instrumento. Assertive feedback is the evaluation process in which the teacher, respectfully, and cordially, provides data to the student about their level of learning profi ciency. Despite its relevance, there is no instrumental proposal for its evaluation. Therefore, a device was designed as an analytical tool, which was organized in a single dimension (execution of feedback). For validation, it was subjected to expert review. Subsequently, a pilot test was carried out on two groups to evaluate affordability. As main results, the experts made suggestions; accordingly, for their part in the trial, all the items showed their content validity in the relevance and wording criteria (V> 0.75; LI> 0.60). In the application of the pilot test, an acceptable average resolution time (8 and 15 minutes) was determined and the understanding of instructions and items was of an excellent to an acceptable level. Finally, for the second group, an optimum reliability value was obtained (Cronbach's Alpha: 0.906; 95% CI: 0.818 + 0.963). We concluded that the aspects that constitute the instrument belong to and represent the concept to be evaluated.
Book
Full-text available
Se describen una serie de instrumentos para la evaluación de competencias desde el enfoque socioformativo, considerando los retos de la sociedad del conocimiento. Se explican con ejemplos los listas de cotejo, las escalas de estimación, las rúbricas, los análisis de casos por problemas del contexto, etc.