Content uploaded by Francisco Javier Landa-Torres
Author content
All content in this area was uploaded by Francisco Javier Landa-Torres
Content may be subject to copyright.
Memoria del XXVI Foro Nacional de Estad´ıstica (2011), Secci´on I, 19–24
Metodolog´ıa de observaci´on de estados
afectivos durante una situaci´on de
aprendizaje
Nery Sof´ıa Huerta-Pachecoa,Genaro Rebolledo-M´endezb,Sergio
Hern´andez-Gonz´alezc,Francisco Javier Landa-Torresd
Facultad de Estad´ıstica e Inform´atica. Universidad Veracruzana
1. Introducci´on
En el medio ambiente educativo existen diversos factores que influyen en los estados afec-
tivos de los estudiantes, como por ejemplo, la falta de atenci´on, la no comprensi´on de la
informaci´on proporcionada, inquietud por aprender e interpretar la informaci´on, entre otros.
Estos temas se consideran como efecto de los Estados Afectivos Observables (EAO) que han
sido identificados como relevantes en un entorno educativo por computadora Craig et al.
(2004). Una posible causa para la aparici´on de EAO no conducentes, como el aburrimiento,
son representados por factores como: falta de transmisi´on de informaci´on en forma clara,
informaci´on proporcionada en forma repetitiva, actividades que limiten el aprendizaje de los
estudiantes o bien, en casos extremos, ´ındices de reprobaci´on por falta de comprensi´on de
los temas de las asignaturas, que tal vez en el futuro esto conlleve a una problem´atica mayor
como la deserci´on. Sin embargo, al identificar los EAO de los estudiantes durante su desar-
rollo educativo, se podr´a aportar un indicador a los profesores o responsables de asignaturas,
de tal forma que se identifique de manera m´as precisa los comportamientos afectivos presen-
tados en un grupo de estudiantes. Con la finalidad de que estos desarrollen, implementen y
utilicen diversas t´ecnicas de apoyo durante el proceso de ense˜nanza.
anehuerta@uv.mx
bgrebolledo@uv.mx
csehernandez@uv.mx
dfco.j.landa@gmail.com
19
20 Metodolog´ıa de observaci´on de estados afectivos durante una situaci´on de aprendizaje
Este trabajo tiene como objetivo comparar la mejora de los observadores independientes,
los cuales son dos personas ajenas a los sujetos observaci´on con caracter´ısticas similares como
la edad, el g´enero, nivel de estudios, entre otros; de acuerdo con la capacitaci´on que se les pro-
porcion´o, para obtener fuerzas de concordancias buenas Cohen (1968) y as´ı poder identificar
si a mayor porcentaje de Estados Afectivos Observables Conducentes (EAOC) se obtienen
mayores Ganancias de Aprendizaje (GA). La relevancia de los EAO en el aprendizaje se debe
a que la afectividad es un factor que puede ayudar a la educaci´on, utilizando tecnolog´ıa en
distintos ´ambitos. A trav´es de la identificaci´on de EAO se podr´a contribuir a la detecci´on
precisa de la actitud que tenga un estudiante durante el uso de tecnolog´ıa educativa y esto
conlleve a proponer estrategias para atacar a los EAO que no sean conducentes a un mejor
aprendizaje.
2. Materiales y m´etodos
2.1. Metodolog´ıa
En este estudio participaron 28 estudiantes seleccionados a trav´es de un muestreo estratifica-
do proporcional de la asignatura Experiencia Recepcional considerados porque presentaban
caracteristicas similares (edad, nivel de conocimientos y grado de avance) de la Licenciatu-
ra en Inform´atica de la Universidad Veracruzana, campus Xalapa, Veracruz, M´exico, a los
cuales se les solicit´o su participaci´on mediante una forma de consentimiento.
El estudio consisti´o en que los estudiantes interactuaron con el videojuego de agilidad
mental llamado “Brain Challenge”, Gameloft (2011), el cual consta de cinco fases: memo-
rizaci´on, visualizaci´on, l´ogica, atenci´on y c´alculo. Previamente, a los estudiantes se les ex-
plic´o c´omo utilizar el videojuego y los tiempos que deber´ıa de cumplir.
A cada estudiante se les colocaron dos sensores: uno que mide la actividad electrod´ermica,
el ”Q Sensor”de Affectiva, mientras que el otro mide la actividad neuronal, el ”MindSet”de
NeuroSky.
En dicho estudio se llev´o a cabo en dos evaluaciones en el ambiente de desarrollo educati-
vo. Una, donde los estudiantes no ten´ıan conocimiento previo de c´omo interactuar con el juego
(.antes de”) y la segunda, donde los estudiantes ya hab´ıan interactuado con el videojuego
(”despu´es de”). El lapso de tiempo entre interacciones fue de 20 minutos aproximadamente.
21
Se cont´o con dos observadores, los cuales emitieron juicios, de acuerdo con cinco EAO
(aburrimiento, frustraci´on, confusi´on, flujo y neutral) de los estudiantes. Estos juicios afec-
tivos fueron registrados, mediante la observaci´on de videograbaciones y videollamadas. La
metodolog´ıa de observaci´on se bas´o en trabajos anteriores (ver Craig et al. (2004) y D’Mello
et al. (2006)), los cuales consideran que los periodos de observaci´on adecuados para emitir
juicios son durante lapsos de 20 segundos.
Durante la emisi´on de juicios de las videograbaciones, los observadores registraban los
EAO al final de cada intervalo de tiempo, donde se le proporcionaba un periodo de cinco
segundos para efectuar su opini´on acerca del estado afectivo observado. Existen cinco EAO
que han sido identificados como relevantes en situaciones de aprendizaje con tecnolog´ıa
educativa: flujo, eureka, frustraci´on, aburrimiento y confusi´on (ver D’Mello et al. (2006) y
McDaniel et al. (2007)).
Sin embargo, en estudios m´as actuales Rodrigo et al. (2009), se identifica un cambio en
la metodolog´ıa, donde se mantienen los mismos periodos de tiempo ya establecidos para la
emisi´on de juicios, pero con cambios en los estados afectivos a observar, donde se toman a
consideraci´on a los estados de aburrimiento, frustraci´on, confusi´on y flujo como relevantes
en la interacci´on individuo-computadora y se toma en cuenta a un estado neutral para la
ausencia de las reacciones afectivas.
Los periodos de emisi´on de juicios de los observadores con respecto a las acciones de los
estudiantes a evaluar, se llevaron a cabo como lo muestra la Figura 1.
Figura 1: Diagrama de Periodos de Observaci´on
Se utilizaron dos medios distintos para la reproducci´on de rasgos faciales, para as´ı poder
registrar los juicios que el observador emit´ıa, los cuales fueron los siguientes:
22 Metodolog´ıa de observaci´on de estados afectivos durante una situaci´on de aprendizaje
1. EN VIVO, este medio se llev´o acabo a trav´es de una videollamada por Skype1emitida
por la computadora donde el estudiante interactuaba. Se emit´ıan juicios por los dos
observadores al mismo tiempo en otra computadora, donde se consider´o el tiempo del
contador de la llamada para determinar los periodos de 20 segundos.
2. VIDEOGRABACI ´
ON, se emitieron juicios a trav´es de una grabaci´on editada en lapsos
de 20 segundos con cinco segundos de interrupci´on de los estudiantes interactuando
con el videojuego, los cuales permitieron la evaluaci´on y emisi´on de juicios tomando
en cuenta la hora del video sincronizado con la interacci´on.
Cabe mencionar que se registraron los juicios emitidos por los dos observadores, en dos
etapas distintas: 1) Cuando los observadores no estaban capacitados y 2) Cuando se les hab´ıa
dado capacitaci´on. Tambi´en se calcularon los ´ındices de kappa Cohen (1968) para determinar
la concordancia entre los dos observadores (antes y despu´es de la capacitaci´on), tablas de
contingencia de EAO para ver la frecuencia de cada uno con respecto a sus Ganancias
de Aprendizaje y un an´alisis de varianza para distinguir las diferencias entre los puntajes
obtenidos antes y despu´es de las interacciones.
3. Resultados
La comparaci´on de los grados de acuerdos entre los dos observadores independientes durante
las etapas de evaluaci´on de los 28 estudiantes, mostraron que despu´es de la capacitaci´on
existi´o un incremento considerable en el acuerdo observado emitido referente a los estados
afectivos. Asimismo se identific´o que existieron diferencias significativas (p > 0.05) entre el
aprendizaje inicial y final de los estudiantes.
Se observa que la concordancia entre los dos observadores antes de la capacitaci´on se con-
sideraron moderadas con un m´aximo .56 y con un acuerdo observado del 70.83 %. Asimismo
se identific´o que elK ´ındice m´aximo de kappa de los observadores ya capacitados fue de .53
con un acuerdo observado de 82.50%. (Ver Figura 2)
Con base en lo anterior, se observ´o que aquellos estudiantes con mayor grado de apren-
dizaje (392 a 478 puntos) antes de la capacitaci´on fueron aquellos que tuvieron los ´ındices
1Skype: Software que permite la comunicaci´on v´ıa SMS, voz y video con tecnolog´ıa VoIP entre dos o m´as
usuarios a trav´es de la red.
23
Figura 2: Concordancia entre los observadores antes y despu´es de la capacitaci´on
de kappa mayores (.48 al .56) al igual que los acuerdos observados (68.29 % al 70.83 %) y
presentaron un mayor porcentaje de estados afectivos conducentes (EAOC > 25 %).
Por otro lado, despu´es de la capacitaci´on se identific´o que los estudiantes con mayor grado
de aprendizaje (671 a 750 puntos) fueron aquellos que tuvieron los mayores ´ındices de kappa
(.53 al .55) al igual que los acuerdos observados (77.78% al 82.50 %) y presentaron un 58 %
de Estados Afectivos Observables Conducentes. Cabe mencionar que en la identificaci´on de
estados afectivos observables no se present´o distinci´on por g´enero, por lo cual consider´o a
los sujetos de estudio como homog´eneos.
4. Conclusiones
Se observ´o que los ´ındices de kappa obtenidos antes y despu´es de la capacitaci´on no se
consideraron simb´olicos y suficientes para representar los EAO de los estudiantes durante esta
investigaci´on, dado que al no obtener ´ındices de kappa mayores a 0.60 no se consideran fuerzas
de concordancias adecuadas. Cabe destacar que, a pesar de las condiciones de similaridad
entre los sujetos de estudio, el acuerdo observado despu´es de la capacitaci´on de los dos
observadores fue mayor a los´ındices de kappa obtenidos en el estudio preliminar. Esto quiere
decir que los observadores, al conocer la definici´on de los EAO, obtuvieron mayor n´umero de
concordancias de los EAO de los juicios que emitieron y que los juicios emitidos descartaron
la presencia de estados afectivos no conducentes.
24 Bibliograf´ıa
Finalmente se identific´o que los estudiantes que obtuvieron mayor grado de aprendizaje
presentaron mayor porcentaje de EAO conducentes emitidos por dos observadores capac-
itados, por lo cual se concluye que a mayor porcentaje de Estados Afectivos Observables
Conducentes (EAOC) se obtuvieron mayores Ganancias de Aprendizaje (GA) de la inter-
acci´on de los estudiantes de la Licenciatura de Inform´atica en el periodo agosto-diciembre
2010, durante la utilizaci´on del videojuego de agilidad mental.
Como trabajos a futuro se contemplar´a la aplicaci´on de este estudio en una poblaci´on
m´as grande y as´ı poder reconocer patrones de comportamiento definidos por estudiante o
usuario de la tecnolog´ıa en una situaci´on en espec´ıfico. Por consiguiente, tambi´en se mejo-
rar´a la metodolog´ıa de capacitaci´on de los EAO ya planteada, para s´ı obtener fuerzas de
concordancias buenas o muy buenas, que puedan ser representativas.
Bibliograf´ıa
Cohen, J. (1968), “Weighted kappa: nominal scale agreement with provision for scaled dis-
agreement or partial credit”, Psychological Bulletin 70, 213–220.
Craig, S., Graesser, A., Sullins, J. y Gholson, B. (2004), “Affect and learning: an exploratory
look into the role of affect in learning with autotutor”, Journal of Educational Media
29.
D’Mello, S., Craig, S. y Graesser, A. (2006), “Multi-method assessment of affective experience
and expression during deep learning, running head: Multi-method assessment of affect”,
University of Memphis pp. 1–42.
Gameloft (2011), “Brain challenge”, http://www.gameloft.com.
McDaniel, B., D’Mello, S., King, B., Chipman, P., Tapp, K. y Graesser, A. (2007), “Facial
features for affective state detection in learning environments”.
Rodrigo, M., Baker, R., Jadud, M., Amarra, A., Dy, T., Espejo-Lahoz, M., Lim, S., Pas-
cua, S., Sugay, J. y Tabanao, E. (2009), “Affective and behavioral predictors of novice
programmer achievement”, ITiCSE’09 .
