Content uploaded by Francisco José García-Peñalvo
Author content
All content in this area was uploaded by Francisco José García-Peñalvo on Dec 21, 2014
Content may be subject to copyright.
Diseño y desarrollo de un sistema basado en
Learning Analytics para evaluar la competencia de
trabajo en equipo
Design and development of a Learning Analytics
System to evaluate group work competence
Ángel Fidalgo
Departamento de Matemática Aplicada y Métodos
Informáticos
Universidad Politécnica de Madrid
Madrid, España
afidalgo@dmami.upm.es
Miguel Á. Conde
Departamento de Ingenierías Mecánica, Informática y
Aeroespacial
Universidad de León
León, España
miguel.conde@unileon.es
Marisa Sein-Echaluce
Departamento de Matemática Aplicada
Universidad de Zaragoza
Zaragoza, España
mlsein@unizar.es
Francisco J. García-Peñalvo
Grupo de Investigación GRIAL. Instituto de Ciencias de la
Eduación
Universidad de Salamanca
Salamanca, España
fgarcia@usal.es
Resumo—La adquisición de la competencia grupal es algo básico
en la docencia universitaria. Esta tarea va a suponer evaluar
diferentes factores en un número elevado de alumnos, lo que
puede supone gran complejidad y un esfuerzo elevado. De cara a
evitar este esfuerzo se puede pensar en emplear los registros de la
interacción de los usuarios almacenados en las plataformas de
aprendizaje. Para ello el presente trabajo se basa en el desarrollo
de un sistema de Learning Analytics que es utilizado como
herramienta para analizar las evidencias individuales de los
distintos miembros de un equipo de trabajo. El trabajo
desarrolla un modelo teórico apoyado en la herramienta, que
permite relacionar las evidencias observadas de forma empírica
para cada alumno, con indicadores obtenidos tanto de la acción
individual como cooperativo de los miembros de un equipo
realizadas a través de los foros de trabajo.
Palabras clave - Learning Analytics; Competencia de trabajo en
equipo; Evaluación por evidencias; Moodle; Servicios Web.
Abstract — The development of the group work competence is
something basic in university teaching. It should be evaluated,
but this means to analyze different issues about the participation
of a high number of students which is very complex and implies a
lot of effort. In order to facilitate this evaluation it is possible to
analyze the logs of students’ interaction in Learning Management
Systems. The present work describes the development of a
Learning Analytics system that analyzes the interaction of each
of the members of working group. This tool is supported by a
theoretical model, which allows establishing links between the
empirical evidences of each student and the indicators of their
action in working forums.
Keywords – Learning Analytics; Group Work Competence;
Evidence-based evaluation; Moodle; Web Services.
I. INTRODUCCIÓN
La gran mayoría de las universidades especifican la
competencia de trabajo en equipo en sus programa y es
necesario que verifiquen la adquisición de dicha competencia a
través de evidencias. Programas de acreditación de las
titulaciones como ABET (Accreditation Board for Engineering
and Technology) [1] exigen esas evidencias junto a las
evaluaciones internas de las universidades.
La mayor parte de los alumnos que ingresan en la
universidad española llegan con importantes carencias en la
competencia del trabajo en equipo. Según el estudio de Fidalgo
et al. [2] realizado a los alumnos en su primer curso de
universidad, respecto a su formación previa, más del 65% del
alumnado llega sin utilizar (o muy escasamente) herramientas y
procedimientos de trabajo en equipo. Así mismo, el
profesorado rara vez evalúa la competencia del trabajo en
equipo, de hecho ese mismo estudio [2] demuestra que un 80%
no lo hace nunca y cuando lo hace, solamente un 20% lo hace
durante el desarrollo del trabajo en equipo.
Todo esto indica que el alumnado llega a la universidad sin
tener práctica en la competencia de trabajo en equipo y sin
CISTI 2014 | 1138
haber sido evaluado con respecto a esta. La evaluación que se
realiza habitualmente se basa en el resultado del propio trabajo;
es decir, la evidencia se centra en el resultado del trabajo en
equipo. Sin embargo, tanto para formar en la competencia
como para realizar evaluación formativa de la misma, se debe
realizar un seguimiento continuo de la actividad de los
miembros del trabajo en equipo.
El método de seguimiento utilizado en este trabajo, el
CTMTC (Comprehensive Training Model of the Teamwork
Competence) [3], se basa en el seguimiento de las evidencias
que dejan los miembros del equipo al realizar el trabajo en las
distintas fases de su desarrollo. Dicho método es compatible
con el modelo internacional IPMA [4] utilizado en dirección de
proyectos o modelos más utilizados en la formación basados en
la agrupación de acciones en una línea temporal [5].
En el trabajo se ha adaptado al modelo IPMA, que divide
las evidencias grupales en 5 fases: formación, organización,
normalización, realización y conclusión. Cada fase tiene una
salida característica (evidencia grupal) y los miembros del
equipo deben desarrollar la competencia individual para
obtener dicha salida. La clave de la adaptatividad del modelo
CTMTC es que puede analizar tanto las acciones individuales
como el comportamiento colectivo del equipo (ver Fig. 1),
siendo más difícil las así como la interacción entre los
individuos.
En la Fig. 1 se muestra una evidencia de salida del trabajo
en equipo (normativa a aplicar) y las evidencias individuales
que han llevado a obtener la normativa.
La observación de las evidencias individuales permite
evaluar el desarrollo de la competencia en los individuos y, si
se hace durante el desarrollo del trabajo en equipo, tomar
acciones correctoras. El seguimiento de las evidencias
individuales sirve tanto para realizar evaluaciones sumativas
como formativas de los individuos y del resultado final.
El gran problema para hacer tanto la evaluación sumativa
como formativa es el análisis de los datos que generan los
individuos [2]. En concreto sería necesario explotar la
información de la interacción del usuario mediante técnicas y
herramientas que: faciliten la obtención y visualización de
resultados, permitan tomar decisiones y posibiliten evaluar
adecuadamente a los alumnos. Para este cometido se pueden
aplicar técnicas y/o herramientas de Learning Analytics (LA).
El LA puede entenderse como el proceso de evaluación,
recopilación, análisis y presentación de información acerca de
los estudiantes y sus contextos de aprendizaje con el propósito
de entender y optimizar dicho aprendizaje y los entornos en
que se lleva a cabo [6].
El presente trabajo propone una herramienta que permite
explotar la interacción de los usuarios en los foros para, a partir
de un modelo teórico, evaluar la competencia grupal.
Para ello este artículo describe en primer lugar la
herramienta que se utiliza para la evaluación de la competencia
grupal (Sección 2). Posteriormente se presenta los indicadores
clave que debe proporcionar la herramienta, el modelo teórico
en que se asienta y ejemplos de su aplicación (Sección 3) Para
finalizar se proponen una serie de conclusiones (Sección 4).
Figura 1 Evidencias comunes e individuales en un equipo de trabajo
II. LA HERRAMIENTA PARA LA EVALUACIÓN DE LA
COMPETENCIA GRUPAL
El objetivo de la investigación es realizar un desarrollo de
Learning Analytics que permita demostrar su eficacia para
realizar evaluación formativa que podría consultar tanto el
profesorado como alumnado, como la evaluación sumativa
final
La investigación se basa en contrastar los datos que arroja
el sistema de evaluación con los datos observados de forma
empírica. Para ello se debe establecer un modelo teórico de
contraste que permita establecer una relación entre los
resultados del sistema de LA y los resultados de las
evaluaciones formativas.
A. Datos de la observación empírica.
La observación empírica pone en evidencia que en un
trabajo en equipo, sus miembros no suelen obtener una
calificación homogénea, en el estudio [2] de un total de 304
alumnos que participaron en 55 grupos, el 61,87 por ciento
obtuvieron calificaciones distintas de la nota media del trabajo,
tal y como se muestra en la Tabla 1. Esto suponen que deban
analizarse las aportaciones individuales de los alumnos.
En pruebas realizadas en la asignatura de Fundamentos de
la Programación, perteneciente al grado de Biotecnología de la
Universidad Politécnica de Madrid cada individuo genera una
media de 47 mensajes nuevos (50 si se cuentan las
actualizaciones) y 398 registros (acciones en el foro). Con estos
datos la media de tiempo del profesorado para realizar 2
evaluaciones formativas y una sumativa es de 3 horas y 45
minutos.
TABLA I. DATOS DE LA DESVIACIÓN DE LA NOTA DEL ALUMNO
RESPECTO A LA MEDIA
NOTA MEDIA
GRUPOS
Porcentaje
de
frecuencia
NOTA
INDIVIDUAL
Porcentaje
de frecuencia
1 a 2,9 (suspenso)
18,2%
1 a 2,9
15,8%
3 a 4 (aprobado)
38,2%
3 a 4
33,5%
4,1 a 5 (notable)
32,7%
4,1 a 5
35,2%
5,1 a 6 (sobresaliente)
10,9%
5,1 a 6
15,5%
CISTI 2014 | 1139
La observación empírica se ha realizado a través de
acciones individuales y de los resultados parciales del trabajo
en equipo. Se ha estudiado las relaciones entre los miembros
tanto desde el punto de habilidades de eficacia (cooperación,
calidad del trabajo, ofrecimientos, acciones de conocimiento,
mensajes de ánimo y debates), responsabilidad individual
(conocimiento común, intervención en todos los hilos, y
análisis de información individual generada) y liderazgo
(evidencias comunes de resultado, planificación y supervisión
de plazos).
Lo que se pretende es elaborar un modelo teórico, a partir
de evidencias como: el número de mensajes, la estructura
organizativa de los hilos, la temporalidad de los mensajes e
hilos, la secuencia de los mensajes, el tamaño de los mensajes,
la procedencia del mensaje y la agrupación de los mismos en
los hilos. A partir de estas evidencias se puede obtener una
información suficientemente relevante para evaluar formativa y
sumativamente a los integrantes de un equipo de trabajo. Dicha
información es la que debe generar el sistema de Learning
Analitycs. Es decir, se trata de construir unos indicadores que
pueda tratar un sistema de Learning Analytics y comprobar que
se obtiene un resultado similar a las calificaciones obtenidas de
forma empírica por el profesorado.
III. INDICADORES CLAVE EN EL DESARROLLO DEL SISTEMA
LA.
Los indicadores mencionados se elaboran a partir de las
evidencias individuales dejadas en los foros. En concreto se
deben tener en cuenta:
El nombre del hilo. A partir de él se conoce como se
han organizado las fases/hilos. Estos pueden ser: fase
de integración (elección de coordinador, misión,
objetivos y normativa), fase de planificación dinámica
(mapa de responsabilidades, cronograma y
planificación), ejecución del trabajo (hitos, realización
de tareas, seguimiento, resolución de dudas, ajustes) y
conclusión del trabajo (revisión, puesta en común y
realización del as presentaciones).
La fecha del primer y último post de un hilo. A partir
de ellas se conoce la temporalidad de las fases; los
hilos de la fase de integración deben estar abiertos y
cerrados antes de los hilos de la fase de planificación y
estos antes de la fase de conclusión.
El usuario inicial del hilo. A partir del que se conoce la
organización del liderazgo del equipo de trabajo. Si los
hilos los abre el coordinador, significa un liderazgo
dirigido; si lo abren distintos miembros del equipo es
un liderazgo compartido.
El usuario final del post. Si coincide con el primero
que lo abrió significa que hay una probabilidad alta de
que los hilos sigan una estructura de especificación del
objetivo del hilo en el primer post y especificación de
que el hilo se ha finalizado.
Media de mensajes por hilo en función del número de
personas que intervienen. Genera un valor medio con
el que comparar la participación y cooperación del
resto de miembros del grupos; el sistema puede
establecer límites y rango de interpretación.
Mensajes cortos y largos. Media del hilo y media de
los participantes en el hilo. Se trata de determinar si el
alumno participa por dejar constancia o porque se
implica en el trabajo. Los mensajes cortos suelen ser de
asentimiento o de ánimo.
Todos estos datos se pueden combinar e integrar entre si,
para ello la herramienta de LA va a facilitar su análisis.
Dicho análisis se va a llevar a cabo a partir de la
información almacenada en plataformas de aprendizaje como
Moodle. Estas plataformas facilitan un conjunto enorme de
registros que generalmente son almacenados como datos en
crudo y que son difícilmente analizables. Es necesario ser
capaz de acceder a la información de Moodle y proporcionarla
en forma de indicadores que permitan, con un esfuerzo
mínimo, determinar el grado de consecución de la competencia
grupal. Para eso se define un sistema de LA que evalúa las
evidencias existentes respecto a la participación en los foros de
los usuarios de un grupo determinado para el seguimiento en el
desarrollo de esa competencia grupal.
A. Funcionamiento del sistema de LA
En función del flujo de datos entre el usuario y el sistema
permite dos formas de exploración y análisis de datos: Pull y
Push.
1) Método Pull.
Se utilizan principalmente para evaluación formativa, se
basa en los métodos de distribución de conocimiento utilizada
en los sistemas de gestión de conocimiento. Es el usuario
interesado el que recibe los datos cuando se detecta una
situación que puede comprometer la adquisición de la
competencia; si por ejemplo, se detecta que un usuario ha
participado de forma escasa en un hilo o conjunto de hilos, se
puede enviar un mensaje advirtiendo de la situación al profesor
(de esta forma puede hacer evaluación formativa o tomar
decisiones que afecten al individuo), también se le enviaría a la
persona afectada para advertirle que está retrasado respecto a
sus compañeros y al líder del equipo para que tome las
acciones que considere. De esta forma el profesor tiene una
visión general del avance de todos los grupos y cada líder tiene
la visión de su equipo. Las personas que tengan una
cooperación más baja también son conscientes de esta
situación.
Estos mismos métodos se utilizan para evaluar el progreso
general de los grupos; ya que si se establece una temporalidad
para las distintas fases, el sistema puede avisar del grado de
consecución de la misma, identificando los grupos que van
retrasados tanto sobre la planificación prevista como respecto a
otros grupos. Realmente este método se comporta como una
gestión de alarmas.
2) Método Push
Se utiliza principalmente para hacer evaluaciones
sumativas, bien parciales o bien finales. También tiene una
gran utilidad como acción complementaria y de comprobación
a partir de las alarmas emitidas por el método Pull. La forma
habitual de utilización del método Push se realiza o bien con
CISTI 2014 | 1140
grupos (para comprobar la realización de las evidencias
grupales) o bien con los miembros del equipo.
El método Push analiza los datos por capas: La primera
capa muestra información general del grupo, la segunda capa
se refiere a los hilos (secuenciación, fechas de apertura y cierre
y datos generales) y la tercera a las personas que han
intervenido en el hilo (es en esta capa donde se puede ver las
evidencias individuales).
El sistema de Learning Analytics va a permitir el acceso a
la información almacenada por grupos, por hilos o por
individuos. Los accesos por grupo permiten comprobar la
evolución particular del grupo, índices medios de participación,
grado de cooperación. A partir de estos datos se puede tener
una idea sobre la marcha del grupo y su posible nota final. Si el
proceso se realiza con evaluación sumativa genera una nota de
grupo en función tanto de indicadores individuales como
comunes. Los accesos por hilo se generan los datos de
participación del hilo, fechas de apertura y cierre, medias de
mensajes, etc. De esta forma se puede intuir el alcance del hilo,
si está abierto o cerrado y si ha generado resultados comunes.
Las acciones individuales son más complejas, ya que
permiten hacer un seguimiento del individuo tanto en funciones
de liderazgo como en cooperación. El seguimiento se puede
hacer por participación global, asociada a un hilo o a una fase
concreta del trabajo en equipo. También se puede hacer un
seguimiento de la temporalidad, por ejemplo si deja espacios
largos entre mensaje y mensaje, o concentrar la participación
en un rango de día en varios hilos; de esta forma se puede
conocer la continuidad y la cooperación.
Para poder obtener esta información va a ser necesario
proporcionar una solución tecnológica que facilite de forma
transparente y eficiente acceso a los registros almacenados en
la plataforma.
B. Soporte tecnológico
De cara a implementar una solución para poder explotar los
datos de Moodle se ha considerado el uso de servicios web. Un
servicio web es una interfaz de programación que va a describir
una colección de operaciones accesibles a través de la Red
mediante el uso de mensajes basados en XML. El uso de
servicios web permiten entre otras cosas que las soluciones
definidas sean independientes de la implementación
subyacente. [7, 8]. Son varias las plataformas de aprendizaje
que incorporan servicios web para facilitar acceso a su
información o para la integración de nuevas funcionalidades,
por ejemplo: Moodle [9], Blackboard [10, 11], Sakai [12], etc.
Existen ejemplos del uso de estos servicios provistos por
las plataformas con diferentes cometidos, como por ejemplo: el
uso de servicios web semánticos para recuperar información de
la plataforma de una manera más eficiente para las necesidades
del usuario [13]; la explotación de la información de la
plataforma en aplicaciones externas [14] [15]; la integración de
nuevas herramientas en los LMSs [16]; etc.
En este caso se piensa en el uso de servicios web por tres
razones: 1) Moodle provee una capa de servicios web y
mecanismos para su extensión y para esta experiencia se utiliza
esta plataforma; 2) Al utilizar servicios web el cliente que se
use para consumir esa información podría ser exportable a
otras plataformas de aprendizaje; 3) Otros trabajos,
previamente mencionados, han demostrado la idoneidad de este
mecanismo para poder extraer información de la plataforma y
tomar decisiones a partir de ella.
La implementación de esta solución requiere por un lado
adaptar los servicios web del LMS para que se adapten a los
objetivos y devuelvan la información registrada en la
plataforma de aprendizaje (Webservices en la Fig. 2) y definir
un cliente que sea capaz de consumir esa información
(WebServiceConsumer en la Fig. 2) para proporcionar una vista
adecuada de los datos.
Moodle facilita una capa de servicios web, que son
accesibles a través de diferentes tecnologías (REST, SOAP,
JSON-RPC, XML-RPC, etc.), estos servicios utilizan la capa
de funciones de Moodle y facilitan el acceso al núcleo de la
plataforma. La capa de funciones que incluye Moodle,
denominada External, define un grupo estándar de funciones
pero en ocasiones no son lo suficientemente atómicas para
poder componer las funcionalidades que se requieren. Además
los servicios web incluidos por Moodle se limitan a ciertas
funcionalidades muy específicas. Ante esta situación mediante
el uso de los mecanismos estándar de extensión que Moodle
proporciona, se ha definido un servicio web y una serie de
funciones que acceden a la información específica que se
requiere analizar. En concreto se ha creado un servicio
denominado competenciaGrupal que incluye funciones para
recuperar información de: los cursos de la plataforma, los foros
de dichos cursos, los grupos de dichos cursos, los hilos para un
grupo y foro determinados, información particular de los hilos
y de los usuarios de esos hilos.
Esta información va a ser consumida por un cliente que
permite la navegación por la estructura de la información. Para
ello se permite que el usuario seleccione un curso, foro y grupo
de la plataforma de aprendizaje, y en función de dicha
selección, se proporciona información particular de la
interacción en foro y el hilo por parte de los usuarios en estos
contextos. También cabría la posibilidad de obtener
información particular de un usuario determinado. Con esta
información se facilita la evaluación formativa y sumativa de la
competencia grupal. En la Fig. 4 se observa un ejemplo de esa
información acerca de la participación de los usuarios en el hilo
y en el siguiente apartado se presentan ejemplos de dichos tipos
de evaluación.
Figura 2. Esquema la conexión de un cliente con el LMS a través de los
servicios web
CISTI 2014 | 1141
C. Ejemplo de evaluación formativa
Los casos c-1, c-2 y c-3 de la Fig. 3 presentan una
evidencia sobre la fase de integración del modelo IPMA. Si se
observan las evidencias de resultado se podría afirmar que
estos casos son parecidos ya que en todos ellos se ha elaborado
una normativa interna. En este caso la nota correspondiente a
esta acción sería similar; los tres casos tienen resultados
similares, normativa similar y el alcance del trabajo es similar;
por tanto según este indicador se habría realizado un hito
concreto del trabajo en equipo y estaría bien realizado.
En los tres casos la extensión, tipo y objetivo de la
normativa se cumple de forma satisfactoria; en este caso todos
los grupos tendrían una nota muy similar, rondando el notable
en esta acción. Sin embargo tras una observación empírica de
las evidencias que han dejado en el hilo utilizado para elaborar
la normativa, se pueden ver notables diferencias entre los tres
casos:
En el caso c-1 un miembro del equipo ni tan siquiera
participó en el foro, no existe debate entre los
miembros del equipo ya que se han limitado a
introducir norma tras norma y además no cumplen sus
propias normas, ya que la persona que abrió el foro ni
lo cerró (indicar que ya se cumplió el objetivo para el
que se creó el hilo), ni realizó un resumen de las
conclusiones. En conclusión esta parte la tendrían
suspensa ya que ni ha habido liderazgo, ni
cooperación, ni puesta en común, ni seguimiento de la
acción.
En el caso c-2 se puede observar tras el análisis del hilo
que hay una persona que es la que ha llevado todo el
peso de la acción, mientras que el resto ha participado
en el debate y colaborado. Se puede observar que hay
una persona que se ha introducido en el hilo, pero sin
aportar nada. En este caso, las personas que han
participado en el hilo lo han hecho bien, aunque el líder
ha asumido la mayor parte del trabajo y no ha
recriminado a la persona que no participó. Esto supone
que las notas serían desiguales, la persona que más
trabajo tendría una nota sobre 7, las personas que
cooperaron sobre 5 y la que no colaboró un suspenso.
En el caso c-3 las personas han colaborado de forma
similar, el líder ha realizado un buen trabajo, ya que ha
conseguido que las personas participen aportando
ideas. Han cumplido sus propias normas, ya que han
indicado que el foro ya cumplió el objetivo para el que
fue creado y además se ha realizado un resumen del
mismo.
Como muestra la Tabla 2, la diferencia entre la calificación
de una prueba común con la adquisición de la competencia en
trabajo en equipo es considerable. La observación empírica
lleva una gran inversión de tiempo, y más si se tiene en cuenta
que hay una media de 10 hilos por grupo de trabajo.
El sistema de LA desarrollado va a permitir observar la
información de participación ahorrando mucho esfuerzo por
parte del profesor. De un vistazo podría observar las evidencias
que permitan evaluar la competencia grupal.
Figura 3. Nota similar para la evidencia grupal (lado izquierdo) nota irregular
(suspenso, aprobado y notable) en evidencia de trabajo en equipo.
TABLA II. DIFERENCIA ENTRE LA CALIFICACIÓN Y LA ADQUISICIÓN DE
LA COMPETENCIA GRUPAL
Grupo. Elaboración de
normativa
Nota
evidencia
común
Nota adquisición
competencia
Grupo 10-n (5 miembros)
7
Líder 2
4 individuos 2
1 individuo 0
Grupo 12 (6 miembros)
7
Líder 7
4 individuos 5
1 individuo 1
Grupo 37 (6 miembros)
7
Líder 7
Resto equipo 7
La Fig. 4 muestra de un único vistazo el ejemplo c3, donde
el líder tiene un número mayor de mensajes y entre el resto de
los estudiantes está repartida equitativamente la participación.
Además se proporciona información adicional diciendo el
quien ha creado el primer y último mensaje, con lo que se ve
que el coordinador empieza y termina el hilo.
D. Ejemplo de evaluación sumativa
La evaluación sumativa se realiza al final del trabajo en
equipo y tiene como misión contrastar las evidencias comunes;
es decir, el resultado del trabajo en equipo, con la adquisición
de la competencia. El proceso es similar, al expresado en el
apartado anterior solo que teniendo en cuenta el conjunto de los
hilos.
Figura 4. Información de los usuarios del hilo para evaluación formativa
CISTI 2014 | 1142
El sistema LA permite una gran eficacia en este tipo de
evaluación ya que genera valores según una estrategia top-
down. Se puede hacer una evaluación del equipo en base a sus
estadísticas generales y comparar en base a esos datos todos los
equipos de trabajo.
También se puede evaluar la organización y planificación
del equipo de trabajo a través de los hilos utilizados en los
foros. El sistema muestra una estadística por hilo, de esta forma
se puede comparar los hilos (tanto por el número de mensajes
como por las fechas de creación y cierre). Al seleccionar un
hilo se pueden ver las personas que han intervenido junto a sus
datos.
Además existe la posibilidad de seleccionar a un alumno
individual para hacer una evaluación de su resultado. El
sistema compara las estadísticas de los individuos participantes
en el curso, independientemente del equipo de trabajo al que
pertenezca.
IV. CONCLUSIONES
La competencia de trabajo en equipo suele estar evaluada
por el resultado del trabajo del equipo, bien por su resultado
final (el propio trabajo) o bien por resultados parciales, como
pueden ser la elaboración de una normativa, el mapa de
responsabilidades o un cronograma. Se ha demostrado que ante
resultados parciales o finales, evaluados de forma común no
suele haber correspondencia con la adquisición de la
competencia por los individuos que configuran el grupo.
Por tanto la evaluación de las evidencias que deja cada
miembro del equipo es la forma de evaluar la adquisición de
competencias; esta labor necesita el apoyo de los sistemas de
Learning Analytics, que facilitan la visualización de los datos y
actúan a modo de alarmas tanto para evaluar como para
favorecer el aprendizaje de la competencia del individuo.
Se puede considerar a raíz de este trabajo que el modelo
teórico es válido, ya que hay correspondencia entre lo
observado de forma empírica como lo calculado por el sistema
de Learning Analytics.
Por otra parte se debe continuar trabajando en el desarrollo
del sistema de Learning Analytics, principalmente en el
agrupamiento de hilos asociados a distintas fases del modelo
IPMA, de esta forma se podrá evaluar y formar en las
competencias asociadas a las distintas fases de un trabajo en
equipo.
AGRADECIMIENTOS
Este trabajo está parcialmente subvencionado por el
Ministerio de Ciencia e Innovación (proyecto TIN2010-21695-
C02-01), la Junta de Castilla y León (proyecto SA294A12-2) y
el Gobierno de Aragón.
REFERENCES
[1] ABET. (2013, 28/02/2014). Accreditation Criteria for Engineering
Programs. Student Outcomes. . Available: http://www.abet.org/eac-
criteria-2014-2015/
[2] A. Fidalgo, D. Leris, M. Sein-Echaluce, and F. J. García-Peñalvo,
"Indicadores para el seguimiento e evaluación de la competencia de
trabajo en equipo a través del método CTMTC," presented at the
Congreso Internacional sobre Aprendizaje, Innovación y Competitividad
CINAIC 2013, Madrid, 2013.
[3] D. Leris, A. Fidalgo, and M. Sein-Echaluce, "A comprehensive training
model of the teamwork competence.," International Journal of Learning
and Intellectual Capital, vol. 11, pp. 1-19, 2013.
[4] AEIPRO-IPMA. (2009, 28/02/2014). NCB.- Bases para la competencia
en dirección de proyectos. Available:
http://www.lpzconsulting.com/images/CP-_Trabajo_en_Equipo.pdf
[5] J. Mathieu, M. T. Maynard, T. Rapp, and L. Gilson, "Team
Effectiveness 1997-2007: A Review of Recent Advancements and a
Glimpse Into the Future," Journal of Management, vol. 34, pp. 410-436,
2008.
[6] R. Ferguson, "The State Of Learning Analytics in 2012: A Review and
Future Challenges. Technical Report KMI-12-01," Knowledge Media
Institute, The Open University, UK2012.
[7] W3C. (2004, 28/02/2014), Web Services Glosary. Available:
http://www.w3.org/TR/ws-gloss/
[8] K. Gottschalk, S. Graham, H. Kreger, and J. Snell, "Introduction to web
services architecture," IBM Syst. J., vol. 41, pp. 170-177, 2002.
[9] M. Á. Conde, F. J. García-Peñalvo, M. J. Casany, and M. Alier,
"Applying Web Services to define Open Learning Environments,"
presented at the Twenty-First International Workshops on Database and
Expert Systems Applications – DEXA 2010. Third International
Workshop on Social and Personal Computing for Web-Supported
Learning Communities – SPeL 2010, Bilbao, Spain, 30 August - 3
September 2010, 2010.
[10] C. Severance, J. Hardin, and A. Whyte, "The coming functionality
mash-up in Personal Learning Environments," Interactive Learning
Environments, vol. 16, pp. 47-62, 2008.
[11] R. Godwin-Jones, "Emerging technologies personal learning
environments," Language, Learning & Technology, vol. 13, pp. 3-9,
2009.
[12] D. Dagger, A. O'Connor, S. Lawless, E. Walsh, and V. P. Wade,
"Service-Oriented E-Learning Platforms: From Monolithic Systems to
Flexible Services," Internet Computing, IEEE, vol. 11, pp. 28-35, 2007.
[13] LUISA. (2009, 28/02/2014). Learning Content Management System
Using Innovative Semantic Web Services Architecture. . Available:
http://luisa.atosorigin.es
[14] S. Pätzold, S. Rathmayer, and S. Graf. (2008). Proposal for the Design
and Implementation of a Modern System Architecture and integration
infrastructure in context of e-learning and exchange of relevant data.
[15] M. Á. Conde, D. A. Gómez, A. Pozo, and F. J. García, "Moodle 2.0 Web
Services Layer and Its New Application Contexts," presented at the
Technology Enhanced Learning: Quality of Teaching and Educational
Reform. 1st International Conference, TECH-EDUCATION 2010.,
Athens, Greece, 2010.
[16] J. Fontenla, M. Caeiro, and M. Llamas, "Una Arquitectura SOA para
sistemas de e-Learning a través de la integración de Web Services,"
presented at the Congreso Iberoamericano de Telemática. CITA 2009,
Gijón, Spain, 2009.
CISTI 2014 | 1143
