Conference PaperPDF Available

Design and development of a Learning Analytics system to evaluate group work competence

Authors:

Abstract and Figures

The development of the group work competence is something basic in university teaching. It should be evaluated, but this means to analyze different issues about the participation of a high number of students which is very complex and implies a lot of effort. In order to facilitate this evaluation it is possible to analyze the logs of students' interaction in Learning Management Systems. The present work describes the development of a Learning Analytics system that analyzes the interaction of each of the members of working group. This tool is supported by a theoretical model, which allows establishing links between the empirical evidences of each student and the indicators of their action in working forums.
Content may be subject to copyright.
Diseño y desarrollo de un sistema basado en
Learning Analytics para evaluar la competencia de
trabajo en equipo
Design and development of a Learning Analytics
System to evaluate group work competence
Ángel Fidalgo
Departamento de Matemática Aplicada y Métodos
Informáticos
Universidad Politécnica de Madrid
Madrid, España
afidalgo@dmami.upm.es
Miguel Á. Conde
Departamento de Ingenierías Mecánica, Informática y
Aeroespacial
Universidad de León
León, España
miguel.conde@unileon.es
Marisa Sein-Echaluce
Departamento de Matemática Aplicada
Universidad de Zaragoza
Zaragoza, España
mlsein@unizar.es
Francisco J. García-Peñalvo
Grupo de Investigación GRIAL. Instituto de Ciencias de la
Eduación
Universidad de Salamanca
Salamanca, España
fgarcia@usal.es
ResumoLa adquisición de la competencia grupal es algo básico
en la docencia universitaria. Esta tarea va a suponer evaluar
diferentes factores en un número elevado de alumnos, lo que
puede supone gran complejidad y un esfuerzo elevado. De cara a
evitar este esfuerzo se puede pensar en emplear los registros de la
interacción de los usuarios almacenados en las plataformas de
aprendizaje. Para ello el presente trabajo se basa en el desarrollo
de un sistema de Learning Analytics que es utilizado como
herramienta para analizar las evidencias individuales de los
distintos miembros de un equipo de trabajo. El trabajo
desarrolla un modelo teórico apoyado en la herramienta, que
permite relacionar las evidencias observadas de forma empírica
para cada alumno, con indicadores obtenidos tanto de la acción
individual como cooperativo de los miembros de un equipo
realizadas a través de los foros de trabajo.
Palabras clave - Learning Analytics; Competencia de trabajo en
equipo; Evaluación por evidencias; Moodle; Servicios Web.
Abstract The development of the group work competence is
something basic in university teaching. It should be evaluated,
but this means to analyze different issues about the participation
of a high number of students which is very complex and implies a
lot of effort. In order to facilitate this evaluation it is possible to
analyze the logs of students’ interaction in Learning Management
Systems. The present work describes the development of a
Learning Analytics system that analyzes the interaction of each
of the members of working group. This tool is supported by a
theoretical model, which allows establishing links between the
empirical evidences of each student and the indicators of their
action in working forums.
Keywords Learning Analytics; Group Work Competence;
Evidence-based evaluation; Moodle; Web Services.
I. INTRODUCCIÓN
La gran mayoría de las universidades especifican la
competencia de trabajo en equipo en sus programa y es
necesario que verifiquen la adquisición de dicha competencia a
través de evidencias. Programas de acreditación de las
titulaciones como ABET (Accreditation Board for Engineering
and Technology) [1] exigen esas evidencias junto a las
evaluaciones internas de las universidades.
La mayor parte de los alumnos que ingresan en la
universidad española llegan con importantes carencias en la
competencia del trabajo en equipo. Según el estudio de Fidalgo
et al. [2] realizado a los alumnos en su primer curso de
universidad, respecto a su formación previa, más del 65% del
alumnado llega sin utilizar (o muy escasamente) herramientas y
procedimientos de trabajo en equipo. Así mismo, el
profesorado rara vez evalúa la competencia del trabajo en
equipo, de hecho ese mismo estudio [2] demuestra que un 80%
no lo hace nunca y cuando lo hace, solamente un 20% lo hace
durante el desarrollo del trabajo en equipo.
Todo esto indica que el alumnado llega a la universidad sin
tener práctica en la competencia de trabajo en equipo y sin
CISTI 2014 | 1138
haber sido evaluado con respecto a esta. La evaluación que se
realiza habitualmente se basa en el resultado del propio trabajo;
es decir, la evidencia se centra en el resultado del trabajo en
equipo. Sin embargo, tanto para formar en la competencia
como para realizar evaluación formativa de la misma, se debe
realizar un seguimiento continuo de la actividad de los
miembros del trabajo en equipo.
El método de seguimiento utilizado en este trabajo, el
CTMTC (Comprehensive Training Model of the Teamwork
Competence) [3], se basa en el seguimiento de las evidencias
que dejan los miembros del equipo al realizar el trabajo en las
distintas fases de su desarrollo. Dicho método es compatible
con el modelo internacional IPMA [4] utilizado en dirección de
proyectos o modelos más utilizados en la formación basados en
la agrupación de acciones en una línea temporal [5].
En el trabajo se ha adaptado al modelo IPMA, que divide
las evidencias grupales en 5 fases: formación, organización,
normalización, realización y conclusión. Cada fase tiene una
salida característica (evidencia grupal) y los miembros del
equipo deben desarrollar la competencia individual para
obtener dicha salida. La clave de la adaptatividad del modelo
CTMTC es que puede analizar tanto las acciones individuales
como el comportamiento colectivo del equipo (ver Fig. 1),
siendo más difícil las así como la interacción entre los
individuos.
En la Fig. 1 se muestra una evidencia de salida del trabajo
en equipo (normativa a aplicar) y las evidencias individuales
que han llevado a obtener la normativa.
La observación de las evidencias individuales permite
evaluar el desarrollo de la competencia en los individuos y, si
se hace durante el desarrollo del trabajo en equipo, tomar
acciones correctoras. El seguimiento de las evidencias
individuales sirve tanto para realizar evaluaciones sumativas
como formativas de los individuos y del resultado final.
El gran problema para hacer tanto la evaluación sumativa
como formativa es el análisis de los datos que generan los
individuos [2]. En concreto sería necesario explotar la
información de la interacción del usuario mediante técnicas y
herramientas que: faciliten la obtención y visualización de
resultados, permitan tomar decisiones y posibiliten evaluar
adecuadamente a los alumnos. Para este cometido se pueden
aplicar técnicas y/o herramientas de Learning Analytics (LA).
El LA puede entenderse como el proceso de evaluación,
recopilación, análisis y presentación de información acerca de
los estudiantes y sus contextos de aprendizaje con el propósito
de entender y optimizar dicho aprendizaje y los entornos en
que se lleva a cabo [6].
El presente trabajo propone una herramienta que permite
explotar la interacción de los usuarios en los foros para, a partir
de un modelo teórico, evaluar la competencia grupal.
Para ello este artículo describe en primer lugar la
herramienta que se utiliza para la evaluación de la competencia
grupal (Sección 2). Posteriormente se presenta los indicadores
clave que debe proporcionar la herramienta, el modelo teórico
en que se asienta y ejemplos de su aplicación (Sección 3) Para
finalizar se proponen una serie de conclusiones (Sección 4).
Figura 1 Evidencias comunes e individuales en un equipo de trabajo
II. LA HERRAMIENTA PARA LA EVALUACIÓN DE LA
COMPETENCIA GRUPAL
El objetivo de la investigación es realizar un desarrollo de
Learning Analytics que permita demostrar su eficacia para
realizar evaluación formativa que podría consultar tanto el
profesorado como alumnado, como la evaluación sumativa
final
La investigación se basa en contrastar los datos que arroja
el sistema de evaluación con los datos observados de forma
empírica. Para ello se debe establecer un modelo teórico de
contraste que permita establecer una relación entre los
resultados del sistema de LA y los resultados de las
evaluaciones formativas.
A. Datos de la observación empírica.
La observación empírica pone en evidencia que en un
trabajo en equipo, sus miembros no suelen obtener una
calificación homogénea, en el estudio [2] de un total de 304
alumnos que participaron en 55 grupos, el 61,87 por ciento
obtuvieron calificaciones distintas de la nota media del trabajo,
tal y como se muestra en la Tabla 1. Esto suponen que deban
analizarse las aportaciones individuales de los alumnos.
En pruebas realizadas en la asignatura de Fundamentos de
la Programación, perteneciente al grado de Biotecnología de la
Universidad Politécnica de Madrid cada individuo genera una
media de 47 mensajes nuevos (50 si se cuentan las
actualizaciones) y 398 registros (acciones en el foro). Con estos
datos la media de tiempo del profesorado para realizar 2
evaluaciones formativas y una sumativa es de 3 horas y 45
minutos.
TABLA I. DATOS DE LA DESVIACIÓN DE LA NOTA DEL ALUMNO
RESPECTO A LA MEDIA
NOTA MEDIA
GRUPOS
Porcentaje
de
frecuencia
NOTA
INDIVIDUAL
Porcentaje
de frecuencia
1 a 2,9 (suspenso)
18,2%
1 a 2,9
15,8%
3 a 4 (aprobado)
38,2%
3 a 4
33,5%
4,1 a 5 (notable)
32,7%
4,1 a 5
35,2%
5,1 a 6 (sobresaliente)
10,9%
5,1 a 6
15,5%
CISTI 2014 | 1139
La observación empírica se ha realizado a través de
acciones individuales y de los resultados parciales del trabajo
en equipo. Se ha estudiado las relaciones entre los miembros
tanto desde el punto de habilidades de eficacia (cooperación,
calidad del trabajo, ofrecimientos, acciones de conocimiento,
mensajes de ánimo y debates), responsabilidad individual
(conocimiento común, intervención en todos los hilos, y
análisis de información individual generada) y liderazgo
(evidencias comunes de resultado, planificación y supervisión
de plazos).
Lo que se pretende es elaborar un modelo teórico, a partir
de evidencias como: el número de mensajes, la estructura
organizativa de los hilos, la temporalidad de los mensajes e
hilos, la secuencia de los mensajes, el tamaño de los mensajes,
la procedencia del mensaje y la agrupación de los mismos en
los hilos. A partir de estas evidencias se puede obtener una
información suficientemente relevante para evaluar formativa y
sumativamente a los integrantes de un equipo de trabajo. Dicha
información es la que debe generar el sistema de Learning
Analitycs. Es decir, se trata de construir unos indicadores que
pueda tratar un sistema de Learning Analytics y comprobar que
se obtiene un resultado similar a las calificaciones obtenidas de
forma empírica por el profesorado.
III. INDICADORES CLAVE EN EL DESARROLLO DEL SISTEMA
LA.
Los indicadores mencionados se elaboran a partir de las
evidencias individuales dejadas en los foros. En concreto se
deben tener en cuenta:
El nombre del hilo. A partir de él se conoce como se
han organizado las fases/hilos. Estos pueden ser: fase
de integración (elección de coordinador, misión,
objetivos y normativa), fase de planificación dinámica
(mapa de responsabilidades, cronograma y
planificación), ejecución del trabajo (hitos, realización
de tareas, seguimiento, resolución de dudas, ajustes) y
conclusión del trabajo (revisión, puesta en común y
realización del as presentaciones).
La fecha del primer y último post de un hilo. A partir
de ellas se conoce la temporalidad de las fases; los
hilos de la fase de integración deben estar abiertos y
cerrados antes de los hilos de la fase de planificación y
estos antes de la fase de conclusión.
El usuario inicial del hilo. A partir del que se conoce la
organización del liderazgo del equipo de trabajo. Si los
hilos los abre el coordinador, significa un liderazgo
dirigido; si lo abren distintos miembros del equipo es
un liderazgo compartido.
El usuario final del post. Si coincide con el primero
que lo abrió significa que hay una probabilidad alta de
que los hilos sigan una estructura de especificación del
objetivo del hilo en el primer post y especificación de
que el hilo se ha finalizado.
Media de mensajes por hilo en función del número de
personas que intervienen. Genera un valor medio con
el que comparar la participación y cooperación del
resto de miembros del grupos; el sistema puede
establecer límites y rango de interpretación.
Mensajes cortos y largos. Media del hilo y media de
los participantes en el hilo. Se trata de determinar si el
alumno participa por dejar constancia o porque se
implica en el trabajo. Los mensajes cortos suelen ser de
asentimiento o de ánimo.
Todos estos datos se pueden combinar e integrar entre si,
para ello la herramienta de LA va a facilitar su análisis.
Dicho análisis se va a llevar a cabo a partir de la
información almacenada en plataformas de aprendizaje como
Moodle. Estas plataformas facilitan un conjunto enorme de
registros que generalmente son almacenados como datos en
crudo y que son difícilmente analizables. Es necesario ser
capaz de acceder a la información de Moodle y proporcionarla
en forma de indicadores que permitan, con un esfuerzo
mínimo, determinar el grado de consecución de la competencia
grupal. Para eso se define un sistema de LA que evalúa las
evidencias existentes respecto a la participación en los foros de
los usuarios de un grupo determinado para el seguimiento en el
desarrollo de esa competencia grupal.
A. Funcionamiento del sistema de LA
En función del flujo de datos entre el usuario y el sistema
permite dos formas de exploración y análisis de datos: Pull y
Push.
1) Método Pull.
Se utilizan principalmente para evaluación formativa, se
basa en los métodos de distribución de conocimiento utilizada
en los sistemas de gestión de conocimiento. Es el usuario
interesado el que recibe los datos cuando se detecta una
situación que puede comprometer la adquisición de la
competencia; si por ejemplo, se detecta que un usuario ha
participado de forma escasa en un hilo o conjunto de hilos, se
puede enviar un mensaje advirtiendo de la situación al profesor
(de esta forma puede hacer evaluación formativa o tomar
decisiones que afecten al individuo), también se le enviaría a la
persona afectada para advertirle que está retrasado respecto a
sus compañeros y al líder del equipo para que tome las
acciones que considere. De esta forma el profesor tiene una
visión general del avance de todos los grupos y cada líder tiene
la visión de su equipo. Las personas que tengan una
cooperación más baja también son conscientes de esta
situación.
Estos mismos métodos se utilizan para evaluar el progreso
general de los grupos; ya que si se establece una temporalidad
para las distintas fases, el sistema puede avisar del grado de
consecución de la misma, identificando los grupos que van
retrasados tanto sobre la planificación prevista como respecto a
otros grupos. Realmente este método se comporta como una
gestión de alarmas.
2) Método Push
Se utiliza principalmente para hacer evaluaciones
sumativas, bien parciales o bien finales. También tiene una
gran utilidad como acción complementaria y de comprobación
a partir de las alarmas emitidas por el método Pull. La forma
habitual de utilización del método Push se realiza o bien con
CISTI 2014 | 1140
grupos (para comprobar la realización de las evidencias
grupales) o bien con los miembros del equipo.
El método Push analiza los datos por capas: La primera
capa muestra información general del grupo, la segunda capa
se refiere a los hilos (secuenciación, fechas de apertura y cierre
y datos generales) y la tercera a las personas que han
intervenido en el hilo (es en esta capa donde se puede ver las
evidencias individuales).
El sistema de Learning Analytics va a permitir el acceso a
la información almacenada por grupos, por hilos o por
individuos. Los accesos por grupo permiten comprobar la
evolución particular del grupo, índices medios de participación,
grado de cooperación. A partir de estos datos se puede tener
una idea sobre la marcha del grupo y su posible nota final. Si el
proceso se realiza con evaluación sumativa genera una nota de
grupo en función tanto de indicadores individuales como
comunes. Los accesos por hilo se generan los datos de
participación del hilo, fechas de apertura y cierre, medias de
mensajes, etc. De esta forma se puede intuir el alcance del hilo,
si está abierto o cerrado y si ha generado resultados comunes.
Las acciones individuales son más complejas, ya que
permiten hacer un seguimiento del individuo tanto en funciones
de liderazgo como en cooperación. El seguimiento se puede
hacer por participación global, asociada a un hilo o a una fase
concreta del trabajo en equipo. También se puede hacer un
seguimiento de la temporalidad, por ejemplo si deja espacios
largos entre mensaje y mensaje, o concentrar la participación
en un rango de día en varios hilos; de esta forma se puede
conocer la continuidad y la cooperación.
Para poder obtener esta información va a ser necesario
proporcionar una solución tecnológica que facilite de forma
transparente y eficiente acceso a los registros almacenados en
la plataforma.
B. Soporte tecnológico
De cara a implementar una solución para poder explotar los
datos de Moodle se ha considerado el uso de servicios web. Un
servicio web es una interfaz de programación que va a describir
una colección de operaciones accesibles a través de la Red
mediante el uso de mensajes basados en XML. El uso de
servicios web permiten entre otras cosas que las soluciones
definidas sean independientes de la implementación
subyacente. [7, 8]. Son varias las plataformas de aprendizaje
que incorporan servicios web para facilitar acceso a su
información o para la integración de nuevas funcionalidades,
por ejemplo: Moodle [9], Blackboard [10, 11], Sakai [12], etc.
Existen ejemplos del uso de estos servicios provistos por
las plataformas con diferentes cometidos, como por ejemplo: el
uso de servicios web semánticos para recuperar información de
la plataforma de una manera más eficiente para las necesidades
del usuario [13]; la explotación de la información de la
plataforma en aplicaciones externas [14] [15]; la integración de
nuevas herramientas en los LMSs [16]; etc.
En este caso se piensa en el uso de servicios web por tres
razones: 1) Moodle provee una capa de servicios web y
mecanismos para su extensión y para esta experiencia se utiliza
esta plataforma; 2) Al utilizar servicios web el cliente que se
use para consumir esa información podría ser exportable a
otras plataformas de aprendizaje; 3) Otros trabajos,
previamente mencionados, han demostrado la idoneidad de este
mecanismo para poder extraer información de la plataforma y
tomar decisiones a partir de ella.
La implementación de esta solución requiere por un lado
adaptar los servicios web del LMS para que se adapten a los
objetivos y devuelvan la información registrada en la
plataforma de aprendizaje (Webservices en la Fig. 2) y definir
un cliente que sea capaz de consumir esa información
(WebServiceConsumer en la Fig. 2) para proporcionar una vista
adecuada de los datos.
Moodle facilita una capa de servicios web, que son
accesibles a través de diferentes tecnologías (REST, SOAP,
JSON-RPC, XML-RPC, etc.), estos servicios utilizan la capa
de funciones de Moodle y facilitan el acceso al núcleo de la
plataforma. La capa de funciones que incluye Moodle,
denominada External, define un grupo estándar de funciones
pero en ocasiones no son lo suficientemente atómicas para
poder componer las funcionalidades que se requieren. Además
los servicios web incluidos por Moodle se limitan a ciertas
funcionalidades muy específicas. Ante esta situación mediante
el uso de los mecanismos estándar de extensión que Moodle
proporciona, se ha definido un servicio web y una serie de
funciones que acceden a la información específica que se
requiere analizar. En concreto se ha creado un servicio
denominado competenciaGrupal que incluye funciones para
recuperar información de: los cursos de la plataforma, los foros
de dichos cursos, los grupos de dichos cursos, los hilos para un
grupo y foro determinados, información particular de los hilos
y de los usuarios de esos hilos.
Esta información va a ser consumida por un cliente que
permite la navegación por la estructura de la información. Para
ello se permite que el usuario seleccione un curso, foro y grupo
de la plataforma de aprendizaje, y en función de dicha
selección, se proporciona información particular de la
interacción en foro y el hilo por parte de los usuarios en estos
contextos. También cabría la posibilidad de obtener
información particular de un usuario determinado. Con esta
información se facilita la evaluación formativa y sumativa de la
competencia grupal. En la Fig. 4 se observa un ejemplo de esa
información acerca de la participación de los usuarios en el hilo
y en el siguiente apartado se presentan ejemplos de dichos tipos
de evaluación.
Figura 2. Esquema la conexión de un cliente con el LMS a través de los
servicios web
CISTI 2014 | 1141
C. Ejemplo de evaluación formativa
Los casos c-1, c-2 y c-3 de la Fig. 3 presentan una
evidencia sobre la fase de integración del modelo IPMA. Si se
observan las evidencias de resultado se podría afirmar que
estos casos son parecidos ya que en todos ellos se ha elaborado
una normativa interna. En este caso la nota correspondiente a
esta acción sería similar; los tres casos tienen resultados
similares, normativa similar y el alcance del trabajo es similar;
por tanto según este indicador se habría realizado un hito
concreto del trabajo en equipo y estaría bien realizado.
En los tres casos la extensión, tipo y objetivo de la
normativa se cumple de forma satisfactoria; en este caso todos
los grupos tendrían una nota muy similar, rondando el notable
en esta acción. Sin embargo tras una observación empírica de
las evidencias que han dejado en el hilo utilizado para elaborar
la normativa, se pueden ver notables diferencias entre los tres
casos:
En el caso c-1 un miembro del equipo ni tan siquiera
participó en el foro, no existe debate entre los
miembros del equipo ya que se han limitado a
introducir norma tras norma y además no cumplen sus
propias normas, ya que la persona que abrió el foro ni
lo cerró (indicar que ya se cumplió el objetivo para el
que se creó el hilo), ni realizó un resumen de las
conclusiones. En conclusión esta parte la tendrían
suspensa ya que ni ha habido liderazgo, ni
cooperación, ni puesta en común, ni seguimiento de la
acción.
En el caso c-2 se puede observar tras el análisis del hilo
que hay una persona que es la que ha llevado todo el
peso de la acción, mientras que el resto ha participado
en el debate y colaborado. Se puede observar que hay
una persona que se ha introducido en el hilo, pero sin
aportar nada. En este caso, las personas que han
participado en el hilo lo han hecho bien, aunque el líder
ha asumido la mayor parte del trabajo y no ha
recriminado a la persona que no participó. Esto supone
que las notas serían desiguales, la persona que más
trabajo tendría una nota sobre 7, las personas que
cooperaron sobre 5 y la que no colaboró un suspenso.
En el caso c-3 las personas han colaborado de forma
similar, el líder ha realizado un buen trabajo, ya que ha
conseguido que las personas participen aportando
ideas. Han cumplido sus propias normas, ya que han
indicado que el foro ya cumplió el objetivo para el que
fue creado y además se ha realizado un resumen del
mismo.
Como muestra la Tabla 2, la diferencia entre la calificación
de una prueba común con la adquisición de la competencia en
trabajo en equipo es considerable. La observación empírica
lleva una gran inversión de tiempo, y más si se tiene en cuenta
que hay una media de 10 hilos por grupo de trabajo.
El sistema de LA desarrollado va a permitir observar la
información de participación ahorrando mucho esfuerzo por
parte del profesor. De un vistazo podría observar las evidencias
que permitan evaluar la competencia grupal.
Figura 3. Nota similar para la evidencia grupal (lado izquierdo) nota irregular
(suspenso, aprobado y notable) en evidencia de trabajo en equipo.
TABLA II. DIFERENCIA ENTRE LA CALIFICACIÓN Y LA ADQUISICIÓN DE
LA COMPETENCIA GRUPAL
Grupo. Elaboración de
normativa
Nota
evidencia
común
Grupo 10-n (5 miembros)
7
Grupo 12 (6 miembros)
7
Grupo 37 (6 miembros)
7
La Fig. 4 muestra de un único vistazo el ejemplo c3, donde
el líder tiene un número mayor de mensajes y entre el resto de
los estudiantes está repartida equitativamente la participación.
Además se proporciona información adicional diciendo el
quien ha creado el primer y último mensaje, con lo que se ve
que el coordinador empieza y termina el hilo.
D. Ejemplo de evaluación sumativa
La evaluación sumativa se realiza al final del trabajo en
equipo y tiene como misión contrastar las evidencias comunes;
es decir, el resultado del trabajo en equipo, con la adquisición
de la competencia. El proceso es similar, al expresado en el
apartado anterior solo que teniendo en cuenta el conjunto de los
hilos.
Figura 4. Información de los usuarios del hilo para evaluación formativa
CISTI 2014 | 1142
El sistema LA permite una gran eficacia en este tipo de
evaluación ya que genera valores según una estrategia top-
down. Se puede hacer una evaluación del equipo en base a sus
estadísticas generales y comparar en base a esos datos todos los
equipos de trabajo.
También se puede evaluar la organización y planificación
del equipo de trabajo a través de los hilos utilizados en los
foros. El sistema muestra una estadística por hilo, de esta forma
se puede comparar los hilos (tanto por el número de mensajes
como por las fechas de creación y cierre). Al seleccionar un
hilo se pueden ver las personas que han intervenido junto a sus
datos.
Además existe la posibilidad de seleccionar a un alumno
individual para hacer una evaluación de su resultado. El
sistema compara las estadísticas de los individuos participantes
en el curso, independientemente del equipo de trabajo al que
pertenezca.
IV. CONCLUSIONES
La competencia de trabajo en equipo suele estar evaluada
por el resultado del trabajo del equipo, bien por su resultado
final (el propio trabajo) o bien por resultados parciales, como
pueden ser la elaboración de una normativa, el mapa de
responsabilidades o un cronograma. Se ha demostrado que ante
resultados parciales o finales, evaluados de forma común no
suele haber correspondencia con la adquisición de la
competencia por los individuos que configuran el grupo.
Por tanto la evaluación de las evidencias que deja cada
miembro del equipo es la forma de evaluar la adquisición de
competencias; esta labor necesita el apoyo de los sistemas de
Learning Analytics, que facilitan la visualización de los datos y
actúan a modo de alarmas tanto para evaluar como para
favorecer el aprendizaje de la competencia del individuo.
Se puede considerar a raíz de este trabajo que el modelo
teórico es válido, ya que hay correspondencia entre lo
observado de forma empírica como lo calculado por el sistema
de Learning Analytics.
Por otra parte se debe continuar trabajando en el desarrollo
del sistema de Learning Analytics, principalmente en el
agrupamiento de hilos asociados a distintas fases del modelo
IPMA, de esta forma se podrá evaluar y formar en las
competencias asociadas a las distintas fases de un trabajo en
equipo.
AGRADECIMIENTOS
Este trabajo está parcialmente subvencionado por el
Ministerio de Ciencia e Innovación (proyecto TIN2010-21695-
C02-01), la Junta de Castilla y León (proyecto SA294A12-2) y
el Gobierno de Aragón.
REFERENCES
[1] ABET. (2013, 28/02/2014). Accreditation Criteria for Engineering
Programs. Student Outcomes. . Available: http://www.abet.org/eac-
criteria-2014-2015/
[2] A. Fidalgo, D. Leris, M. Sein-Echaluce, and F. J. García-Peñalvo,
"Indicadores para el seguimiento e evaluación de la competencia de
trabajo en equipo a través del método CTMTC," presented at the
Congreso Internacional sobre Aprendizaje, Innovación y Competitividad
CINAIC 2013, Madrid, 2013.
[3] D. Leris, A. Fidalgo, and M. Sein-Echaluce, "A comprehensive training
model of the teamwork competence.," International Journal of Learning
and Intellectual Capital, vol. 11, pp. 1-19, 2013.
[4] AEIPRO-IPMA. (2009, 28/02/2014). NCB.- Bases para la competencia
en dirección de proyectos. Available:
http://www.lpzconsulting.com/images/CP-_Trabajo_en_Equipo.pdf
[5] J. Mathieu, M. T. Maynard, T. Rapp, and L. Gilson, "Team
Effectiveness 1997-2007: A Review of Recent Advancements and a
Glimpse Into the Future," Journal of Management, vol. 34, pp. 410-436,
2008.
[6] R. Ferguson, "The State Of Learning Analytics in 2012: A Review and
Future Challenges. Technical Report KMI-12-01," Knowledge Media
Institute, The Open University, UK2012.
[7] W3C. (2004, 28/02/2014), Web Services Glosary. Available:
http://www.w3.org/TR/ws-gloss/
[8] K. Gottschalk, S. Graham, H. Kreger, and J. Snell, "Introduction to web
services architecture," IBM Syst. J., vol. 41, pp. 170-177, 2002.
[9] M. Á. Conde, F. J. García-Peñalvo, M. J. Casany, and M. Alier,
"Applying Web Services to define Open Learning Environments,"
presented at the Twenty-First International Workshops on Database and
Expert Systems Applications DEXA 2010. Third International
Workshop on Social and Personal Computing for Web-Supported
Learning Communities SPeL 2010, Bilbao, Spain, 30 August - 3
September 2010, 2010.
[10] C. Severance, J. Hardin, and A. Whyte, "The coming functionality
mash-up in Personal Learning Environments," Interactive Learning
Environments, vol. 16, pp. 47-62, 2008.
[11] R. Godwin-Jones, "Emerging technologies personal learning
environments," Language, Learning & Technology, vol. 13, pp. 3-9,
2009.
[12] D. Dagger, A. O'Connor, S. Lawless, E. Walsh, and V. P. Wade,
"Service-Oriented E-Learning Platforms: From Monolithic Systems to
Flexible Services," Internet Computing, IEEE, vol. 11, pp. 28-35, 2007.
[13] LUISA. (2009, 28/02/2014). Learning Content Management System
Using Innovative Semantic Web Services Architecture. . Available:
http://luisa.atosorigin.es
[14] S. Pätzold, S. Rathmayer, and S. Graf. (2008). Proposal for the Design
and Implementation of a Modern System Architecture and integration
infrastructure in context of e-learning and exchange of relevant data.
[15] M. Á. Conde, D. A. Gómez, A. Pozo, and F. J. García, "Moodle 2.0 Web
Services Layer and Its New Application Contexts," presented at the
Technology Enhanced Learning: Quality of Teaching and Educational
Reform. 1st International Conference, TECH-EDUCATION 2010.,
Athens, Greece, 2010.
[16] J. Fontenla, M. Caeiro, and M. Llamas, "Una Arquitectura SOA para
sistemas de e-Learning a través de la integración de Web Services,"
presented at the Congreso Iberoamericano de Telemática. CITA 2009,
Gijón, Spain, 2009.
CISTI 2014 | 1143
... Taking only into account the interactions related to teamwork development the analysis of the posts, threads and logs for all students in a group can last between 40 min and 1 h [37], without including the assessment. If we consider also the time for evaluation the estimated time per group could be around 3 h and 45 min [45]. If we think in a subject that has 8 students and 2 groups this is not critical. ...
Conference Paper
The information and Communication Technologies changes how we interact with others and with the information. It can be really accessed at anytime and anywhere. Future professionals should be ready for this reality which requires changes in traditional teaching and learning methods. Challenge Based Learning is an example of them. This method poses challenges to students that they should solve employing the technology they use during their daily life. The evaluation of challenges solutions should take into account students’ final outcomes but also the interactions that take place between them. This could be very hard given the wide choice of tools that students can apply. Learning analytics tools could be a solution.
Chapter
The subjective experiences and satisfaction of using technology to collaborate remotely may differ due to the individual differences of personal characteristics. The present study aims to investigate the influence of empathy tendency on user experience. Twelve groups of three participants completed a decision-making task in the virtual environment. The results revealed a significant correlation between personal traits (i.e., empathy and the big five personalities), user experience (i.e., social presence), and satisfaction. The level of cognitive empathy has a positive effect on the feeling of social presence, social immersion, and outcome satisfaction in the virtual environment, while is not associated with media satisfaction. The findings of this study suggest that the cognitive ability of empathy, namely the ability to identify with and understand the views of others may increase one’s experience and satisfaction in remote collaboration. This study provides an empirical exploration of team interactions in virtual environments and advances user research by identifying the relationship between user’s traits (empathy), user experience, and satisfaction.
Chapter
The CTMTC method, to develop teamwork competency, includes a set of phases and, for each of them, a set of processes and evidence that allow knowing if the team has acquired the group and individual competencies. However, in many cases, this structure is too complicated to apply with all its phases when it is a question of carrying out work that must be cooperative but of short duration, for example. For these cases, the “Agile CTMTC” method is proposed to reduce the teamwork processes and allow its application in an agile and simple way in any cooperative situation, but maintaining the acquisition of individual agile competencies. Employing a case study, it is concluded that this method allows that the professional and the members of the work team, under the rules by which each team is governed, can know, in real-time and transparently, the evolution of the tasks of both the team and its members, as well as contrast the expected workload with the real one.
Chapter
Full-text available
Today the applications of Internet of things (IoT) are progressing rapidly in variety of domains. This encouraged to develop new applications (e.g., smart grid, smart home, smart cities, wearables, and vehicle networking) advancement as well. The emerging application of IoT is exposed toward security, privacy issues, and its challenges. The main objective of this work is to enhance security in the educational system (ES) using IoT devices. We propose several techniques to avail device identification, authenticate the user, and collect the data from various devices. As the IoT sensors are easily negotiable, it allows unauthorized users/devices that are able to steal and override the data from the cloud. This paper represents a brief summary of IoT security threats and challenges and their classification based on the application domain. The authors identified challenges in security issues in IoT-based educational systems and some probable solutions on security. In this research, the authors propose the incremental Gaussian mixture model (IGMM), blockchain, and EdgeSec as a probable solution for security and machine learning (ML) techniques. In this model, few solutions, like IGMM for authorizing the device, blockchain for the encryption of data during transfer in the information network, ML algorithms for identifying and authorizing devices, and EdgeSec, offer a security profile to collect a huge amount of data about each device in the connected IoT environment. The identified model is used for enhancing security in IoT-based educational systems.
Article
Full-text available
The new generation teaching-learning pedagogy has created a complete paradigm shift wherein the teaching is no longer confined to giving the content knowledge, rather it fosters the “how, when and why” of applying this knowledge in real world scenarios. By exploiting the advantages of deep learning technology, this pedagogy can be further fine-tuned to develop a repertoire of teaching strategies. This paper presents a secured and agile architecture of an Internet of Everything (IoE) based Educational Model and a Learning Analytics System (LAS) model using the concept of deep learning which can be used to gauge the degree of learning, retention and achievements of the learners and suggests improvements and corrective measures. The paper also puts forward the advantages, applications and challenges of using deep learning techniques for gaining insights from the data generated from the IoE devices within the educational domain for creating such learning analytics systems. Finally a feature wise comparison is provided between the proposed Learning Analytics (LA) based approach and conventional teaching-learning approach in terms of performance parameters like cognition, attention, retention and attainment of learners.
Article
The Web of Data is an emerging research field that contributes to make better decisions because it gathers, combines and analyses different data sources available worldwide. Educational data is an interesting domain because it deals with the quality of the education itself and educational institutions which are common goals for every country. This paper is devoted to present how this idea has been used to improve a learning analytics tool. By means of this tool, teachers can perform teamwork competence assessment of a group of students taking into account how the individuals acquire the essential components of such competence. In this sense, authors use the Comprehensive Training Model of the Teamwork Competence in Engineering Domain (CTMTC) method to gather competence evidences and improve the system with a learning analytics tool to support the process. This tool is able to transform competence evidences and stores them in a competence ontology built upon ISO 10018 concepts. The final result is the production of educational results for the web of data.
Conference Paper
Learning analytics is a field of study that has been evolving since the outset in attempting to meet various needs. The use of learning analytics techniques has helped us ascertain the level of students' participation and their degree of satisfaction in order to learn how they use resources or identify students at risk. Research currently focuses on applying these techniques to find out how the student learns and to improve teaching/learning processes. A key aspect in improving these processes is the assessment of general competences, which constitutes key learning in engineering students and has thus been identified as a need that can be met by learning analytics. An experiment was conducted on 93 students from different engineering groups at the University of Deusto with a view to assessing the extent to which students have developed the project management competence, using learning analytics techniques. The model designed for analysis is described in this paper, in addition to the methodology and research carried out. Results have shown that by combining an automatic analysis and exploratory learning analytics techniques, conclusions can effectively be drawn about the extent to which a given student has developed a competence based on data obtained via use of a technological tool.
Conference Paper
In the academic context teamwork has a dual mission: to train students in teamwork competence and the active participation of students in their own learning. Authentic leadership of teams is the key to both goals. This paper presents a research which relates leadership, team grades (individual and group) and student-student interactions. The CTMTC teamwork method is used, as it allows continuous monitoring of teamwork and evaluates the work of the leader and the rest of the team members separately. The measurement tools, a survey for the individual opinion on the authentic leader actions, and a learning analytics system to analyze student-student interactions in forums, help to confirm the following hypothesis: that CTMTC encourages leadership role, that leadership skills are related with team grades and that learning analytics systems help predicting the behavior of teams with true leadership.
Conference Paper
Web 2.0 resources such as online forum messages are of growing value in supporting education and research, and new information systems are aimed at synthesizing these resources into environments facilitating collaboration, learning and other goals. To support the automatic identification of valuable Web 2.0 resources, this paper presents an approach for estimating the information value of messages posted to an online forum. The system integrates key insights that include (1) how to reliably obtain large quantities of both positive and negative examples of such resources for use in training a machine learning algorithm, (2) the importance of considering authorship when analyzing the value of an online message, (3) the benefit of considering the subsequent message when analyzing a given message for its importance, and (4) how to develop and leverage a custom sentiment analysis model for use in automatically identifying high-value messages. In an evaluation using almost 90000 messages from an online forum, a baseline model for identifying valuable messages made over 50% more errors than the proposed model.
Article
Full-text available
The teamwork competence is one of the most demanded competences by the social environment and, therefore, is already a part of the learning objectives in the university studies. A comprehensive training model of the framework competence is presented on this paper which includes a description of this operational competence, within the training field, and the keys to design the training plan by using the ICT. Finally, a multidimensional empirical study of the students' experience in teamwork is presented, including the pre and post-implementation of a training prototype of this competence that was tested at the Technical University of Madrid and the University of Zaragoza in the 2012 spring term.
Article
Full-text available
Evolution of learning processes is almost always linked to social changes and/or technological changes. One of those processes is eLearning, which is involved in the changes brought about by trends 2.0. This new tendencies consider the user, socialization and collaboration as the main important elements and this must be considered also in eLearning contexts. But today learning environments do not facilitate this approach. They are focused on the institutions or courses, not in the student as a key element of the learning process, as well not always provide elements of socialization and collaboration. In order to avoid these drawbacks, and by using service oriented architectures over learning management systems, new elearning environments could be defined. This paper will propose an architecture that would enable learning platforms evolve in that direction.
Article
Full-text available
This paper introduces the major components of, and standards associated with, the Web services architecture. The different roles associated with the Web services architecture and the programming stack for Web services are described. The architectural elements of Web services are then related to a real-world business scenario in order to illustrate how the Web services approach helps solve real business problems.
Article
Full-text available
The authors review team research that has been conducted over the past 10 years. They discuss the nature of work teams in context and note the substantive differences underlying different types of teams. They then review representative studies that have appeared in the past decade in the context of an enhanced input-process-outcome framework that has evolved into an inputs-mediators-outcome time-sensitive approach. They note what has been learned along the way and identify fruitful directions for future research. They close with a reconsideration of the typical team research investigation and call for scholars to embrace the complexity that surrounds modern team-based organizational designs as we move forward.
Article
Full-text available
The learning management system (LMS) has dominated Internet-based education for the past two decades. However, the traditional LMS is failing to keep pace with advances in Internet technologies and social interactions online. To support technological diversity, current frameworks such as the e-learning framework (ELF), the IMS abstract framework, and the open knowledge initiative (OKI) have defined the initial steps toward service-oriented e-learning platforms. Next-generation platforms will be based on these service-oriented visions. The authors discuss LMS evolution and present core challenges that must be addressed to achieve information interoperability in next-generation e-learning platforms
Article
Language instructors in higher education are finding that the current generation of students is coming to campus with quite sophisticated technology skills and habits. Many are fully conversant with and committed to communicating through social networking sites. They use on a regular basis a variety of Internet-based services to manage much of their lives: to locate and obtain resources, plan free time, maintain contact with peers, access media, stay informed, and maybe even learn a language. These students find waiting for them at most universities a quite different use of the Internet: communication predominantly through email and interactions with instructors and peers through a top-down, fairly inflexible learning management system. Some instructors are finding that they are able to provide a flexible and creative learning environment more in tune with today's students through the use of (mostly) free tools that allow for a customized set of resources and services. Instructors choose a variety of mini-applications or widgets, with the resulting Web site becoming what is often referred to as a Personal Learning Environment (PLE). INTEGRATION TOOLS It has been possible for some time to create a personalized home page through services such as My Yahoo or my.msn.com (now Windows Live). Many teachers have used the availability of such services to create Web sites for their students, particularly in situations where no Web page hosting is available or where restrictions on Web posting hamper teachers' efforts to provide resources to students. More recent home page creation services offer greater flexibility and functionality than earlier options. They are also designed to be easy to use, requiring nothing more than checking off the desired components to create a page. iGoogle, for example, greets first-time users with the message, "Create your homepage in under 30 seconds" with a list of checkable interests, a theme to select, and a location to specify. Filling out the form creates a typical page structure, with three columns and a sidebar, displaying the services selected in self-contained boxes. Google calls its Web page components "gadgets," which include the typical range of news feeds, simple games, search, calendar, email, movie reviews. iGoogle also features localized options such as weather, movie listings, or restaurant recommendations. The page can be customized in terms of both look and functionality but retains the same basic structure. It is also possible to create one's own gadget. This is a simple process of choosing a pre-defined behavior or of pasting in existing HTML or XML code. Laowai Chinese provides a good example of the use of an integration tool like iGoogle for language learning. The iGoogle page collects and displays the headlines/links to 21 different Chinese language learning blogs and Web services on one page. Since it uses RSS (Really Simple Syndication) feeds to gather this information, the latest additions to the targeted Web sites are shown. Users are able to rearrange, add, or remove content, thus customizing the page to fit individual needs and interests. This provides a quick and easy way for Chinese learners to skim multiple Web sources without having to navigate to them individually.
Chapter
Owing to the intrinsic relation among actual education and new technologies, it results essential the fact to found the new ways to satisfy both sides of the modern eLearning platforms, the needs of students and tutors and the enough technologies to support it. Consequently, the possibility to interconnect the LMS with other external applications to enrich and strengthen the comprehension of learning process is one of the principal paths to follow. KeywordsMoodle 2.0–Web services–PLE–backoffice–new learning moodels–SOA
Article
Current Virtual Learning Environments (VLEs) are focused very much on meeting the needs of the institution in providing a basic, common technology platform for teaching and learning. However monolithic VLEs are too hard to customize at the individual user level, and evolve far too slowly to meet teaching and learning of users who want their teaching and learning environments to be under their personal control. This paper explores how the concept of the Personal Learning Environment has influenced developments with learning technology, within the context of emerging social software, and examines a range of developments with existing VLEs that move them in the personalized direction. It contrasts the issues involved in bespoke extensions to VLEs as opposed to the incorporation of existing tools (mash-ups), and suggest that the latter approach offers the best hope to escape the bonds of a single VLE product by allowing teachers and learners to simply aggregate whatever tools and capabilities they desire from the Internet to use in their learning. Real progress is being made on several fronts, including the provision of interfaces to social software systems that support the building of applications that can be organized around a personal or group context, and in the development of specifications for learning tool interoperability.
The State Of Learning Analytics in 2012: A Review and Future Challenges
  • R Ferguson
R. Ferguson, "The State Of Learning Analytics in 2012: A Review and Future Challenges. Technical Report KMI-12-01," Knowledge Media Institute, The Open University, UK2012.