Abstract and Figures

Este artículo describe un sistema computacional de evaluación del estudiante basado en el método DistSem. El sistema de diagnóstico, Infosem, ha tomado como base el modelo de una red semántica. Los nodos de la red conforman los conceptos propuestos por el evaluador experto y los vínculos representan el grado de similitud que el estudiante atribuye a los dos conceptos que une cada vínculo. Uno de los aspectos relevantes del sistema es la interface visual la cual permite inspeccionar la red que representa el conocimiento conceptual. Se ha implementado una evaluación cualitativa y otra cuantitativa. La visualización permite al docente interpretar fácilmente la respuesta de un estudiante. Se han realizado numerosas experiencias con estudiantes universitarios.
Content may be subject to copyright.
Modelo para Visualizar y Evaluar el Conocimiento Conceptual [pág. 14-24]
Revista Iberoamericana de Educación en Tecnología y Tecnología en Educación N°15 | ISSN 1850-9959 | Junio 2015|
14 Red de Universidades Nacionales con Carrera en Informática Universidad Nacional de La Plata (RedUNCI UNLP)
Modelo para Visualizar y Evaluar el
Conocimiento Conceptual
Constanza Huapaya1, Francisco Lizarralde1, Jorge Vivas 2
1 Facultad de Ingeniería, Universidad Nacional de Mar del Plata, Mar del Plata, Argentina
2 Facultad de Psicología, Universidad Nacional de Mar del Plata, Mar del Plata, Argentina
{huapaya,flizarra}@fi.mdp.edu.ar, jvivas@mdp.edu.ar
Resumen
Este artículo describe un sistema computacional de
evaluación del estudiante basado en el método
DistSem. El sistema de diagnóstico, Infosem, ha
tomado como base el modelo de una red semántica.
Los nodos de la red conforman los conceptos
propuestos por el evaluador experto y los vínculos
representan el grado de similitud que el estudiante
atribuye a los dos conceptos que une cada vínculo. Uno
de los aspectos relevantes del sistema es la interface
visual la cual permite inspeccionar la red que
representa el conocimiento conceptual. Se ha
implementado una evaluación cualitativa y otra
cuantitativa. La visualización permite al docente
interpretar fácilmente la respuesta de un estudiante. Se
han realizado numerosas experiencias con estudiantes
universitarios.
Palabras clave: evaluación basada en computadora,
visualización, red semántica, herramienta automática.
Abstract
This article describes a student assessment computer
system based on the DistSem method. The diagnostic
system, Infosem, is based on the model of a semantic
network. The nodes of the network make up the
concepts proposed by the expert evaluator and the links
represent the degree of similarity that the students
attribute to the two concepts that join each link. One of
the relevant aspects of the system is the visual interface
which allows the inspection of the network that
represents conceptual knowledge. A qualitative and a
quantitative assessment has been implemented. The
display allows the professor to easily interpret a
student's answer. Numerous experiences have been
carried out with university students.
Keywords: computer-based assessment, visualization,
semantic network, automated tool.
1. Introducción
Bajo la misma denominación, evaluación del
conocimiento, se agrupa un heterogéneo conjunto de
reportes y experiencias. De acuerdo a la perspectiva
sostenida por los autores el objeto de la evaluación
varía en un amplio rango que ajusta sus procedimientos
e instrumentos a distintos niveles de especificidad. Sin
embargo, más allá de esta diversidad, es norma o
consistencia en todo proceso de evaluación propuesto,
el intento de determinar una distancia, un nivel de
discrepancia entre un objeto, fenómeno, o proceso y
otro objeto, fenómeno o proceso considerado deseable.
Como en toda mensura la operación cognitiva de base
es una comparación y para realizarla, se requiere un
patrón o un cero relativo contra el que se pueda
comparar y establecer el nivel de coincidencia o
discrepancia.
La operación fáctica y cognitiva de la evaluación es
invariante, a pesar de los cambios de escala en los
diversos universos de aplicación. La operación es la
misma en los distintos campos, sea la evaluación de
carácter cualitativo o cuantitativo, sea permanente o
sumatoria, sea una evaluación concebida y ejecutada
por agentes externos al sistema en estudio o sea un
proceso de autoevaluación, sea una evaluación aplicada
a un aspecto abstraído y puntual o a un macro sistema
complejo. En todo caso, la complejidad del objeto,
fenómeno o proceso a evaluar, restringe o amplía el
nivel de formalización y complejidad de los
instrumentos que se utilizan, el margen de error y la
probabilidad de su propagación.
Evaluar resulta, entonces, establecer la discrepancia
entre un estado esperado y un estado efectivo de
realización y una vez bien definido el estado esperado
de la situación el proceso avanza por un camino de
valoración diagnóstica.
Esta valoración comienza con el proceso de
coleccionar información o evidencias (tomar muestras)
dentro de un dominio de contenidos y habilidades y en
un intervalo determinado del tiempo. La hipótesis
Modelo para Visualizar y Evaluar el Conocimiento Conceptual [pág. 14-24]
TE&ET N°15 |Junio 2015| ISSN 1850-9959 | RedUNCI-UNLP 15
subyacente de la valoración es que ésta provee una
muestra representativa de las habilidades internas del
estudiante (las cuales pueden ser consideradas como
estados mentales).
El tipo de muestra permite hacer inferencias sobre los
procesos, logros, aptitudes, actitudes y/o
motivaciones. Esta tasación del conocimiento permite
inferir el entendimiento del estudiante de una parte del
dominio que está siendo explorado. La muestra puede
incluir comportamientos, productos, conocimiento y
rendimiento. La valoración es un proceso continuo que
comprende examinar y observar el comportamiento de
los alumnos, escuchar sus ideas y analizar el contexto
para promocionar, en el caso que nos interesa, el
entendimiento conceptual.
2. Un enfoque para el diagnóstico
basado en computadora
Una de las áreas más importantes de la investigación
de la Psicología Cognitiva y Educacional se centra en
la construcción y uso de los modelos mentales del
conocimiento [1] [2]. Un modelo mental es una
representación interna creada expresamente para que
nuestras experiencias, eventos u otras circunstancias
vividas tengan sentido para nosotros. Los modelos
mentales son entidades hipotéticas, no observables
directamente. Históricamente, las representaciones
mentales han sido entendidas como representaciones
externas físicas similares a un dibujo o expresadas en
lengua natural. Asimismo, es posible compartir
representaciones externas de los modelos mentales y
combinarlos con otra información como decisiones y
resolución de problemas.
Actualmente, el entendimiento de la naturaleza de los
estados mentales de los estudiantes es una tarea muy
ardua. Sin embargo, los educadores perseveran en este
objetivo y proponen diversas hipótesis sobre los
estados mentales [3]. Por ejemplo, según sostiene
Mislevy [4] las representaciones externas pueden ser
muy útiles para la evaluación del conocimiento,
aunque estas se encuentren simplificadas manteniendo
las relaciones o entidades más representativas.
Asimismo, Seel [5] considera como representaciones
externas a la extracción de los modelos mentales donde
se destacan las entidades y relaciones relevantes.
También este autor sostiene que el conocimiento
individual solo puede ser evaluado si este es
comunicado por medio de acciones, dibujos o el
lenguaje.
Tomando la analogía del diagnóstico médico donde un
facultativo posee la habilidad de establecer hipótesis
sobre las posibles enfermedades que sufre un paciente
basándose en evidencias (como una entrevista personal
o certificaciones más específicas como análisis clínicos
especiales) podemos identificar al diagnóstico
cognitivo del estudiante como la externalización del
estado mental interno a través de la adquisición e
interpretación de datos de la actividad del alumno
durante su aprendizaje [6].
Los ambientes multimediales de aprendizaje basados
en computadoras brindan grandes oportunidades para
la enseñanza de conocimiento conceptual así como
para el desarrollo de modelos de diagnóstico. Dentro
de estos ambientes multimediales, la técnicas de
diagnóstico cognitivo pueden brindar ventajas a los
estudiantes, especialmente debido las posibilidades de
adaptación personal y asistencia en su aprendizaje [7].
Además de las modalidades tradicionales de las
pruebas (como las de elección múltiple o
verdadero/falso), hay nuevos enfoques que presuponen
el uso de las representaciones físicas vistas en términos
de exteriorización del conocimiento por medio de
formatos representacionales específicos como los
basados en la semántica de la lengua natural o la
medición de la fuerza de asociación entre conceptos.
El enfoque propuesto en este artículo para el
diagnóstico cognitivo consiste en la interpretación del
conocimiento interno de un estudiante mediante una
red semántica.
3. Visualización del diagnóstico
en computadora
La visualización por computadora es un proceso de
mapeo de conceptos abstractos y datos a
representaciones visuales. La finalidad perseguida es
optimizar el entendimiento y comunicación con un ser
humano, sobre todo para facilitar la interpretación de
gran cantidad de datos.
Por otro lado, uno de los objetivos más importantes del
aprendizaje es entender como aprenden los estudiantes.
Tradicionalmente la evaluación del conocimientnto se
hace con tests. Si bien las pruebas son de amplio uso, a
veces no alcanzan para apreciar habilidades
sofisticadas como las que necesitan los estudiantes
universitarios. Los investigadores en educación
pueden observar cuidadosamente a los alumnos,
hacerles preguntas, y evaluar su aprendizaje a partir de
sus acciones y respuestas, pero esta metodología de
evaluación es muy laboriosa y dificilmente escalable.
Se necesitan nuevos métodos para estimar el estado
cognitivo, como los basados en el mapeo de los estados
mentales [2].
El proceso de mapeo posee metodologías específicas
basadas, para el caso del diagnóstico cognitivo, en
teorías del modelo mental. Según el enfoque al que se
suscriba, han sido desarrolladas diversas herramientas
[8].
A continuación se presentan modelos de visualización
orientados a un formato de redes por considerarlos
apropiados a nuestro desarrollo del sistema
computacional.
Modelo para Visualizar y Evaluar el Conocimiento Conceptual [pág. 14-24]
16 TE&ET N°15 | Junio 2015| ISSN 1850-9959 | RedUNCI-UNLP
3.1 Visualización con grafos
Los grafos sirven para visualizar información
estructural o relacional. La generación automática del
dibujo de un grafo tiene importancia en aplicaciones
como las interfaces visuales o juegos didácticos. En
este contexto se investigan técnicas visuales para
alcanzar dibujos de grafos que sean legibles de modo
tal que transmitan su significado en forma clara y
rápida [9] [10] [11].
En el campo educativo la representación de
información con grafos ayuda a comprender el modelo
conceptual subyacente en el dominio que se está
explorando. Como herramienta que usa grafos para
visualizar la actividad de los estudiantes encontramos a
Mitocar [12] (Model Inspection Trace of Concepts and
Relations). La herramienta está basada en la teoría
mental de Seel. Tiene por objetivo medir las
propiedades del lenguaje en un modelo de consenso de
una realización preparada por un grupo de estudiantes,
asimismo, mide si existe suficiente acuerdo dentro del
grupo. En la etapa de visualización, se aprecia un grafo
no-dirigido donde se muestra las relaciones (como la
verificación y confrontación) más fuertes de pares de
términos.
Cuando se integra las representaciones de modelos
mentales y procesos cognitivos internos, existen
distintos enfoques para su modelización con grafos [8].
A continuación se presentan ejemplos de visualización
con redes bayesianas, redes semánticas y mapas
conceptuales para la visualización del diagnóstico
cognitivo.
3.2 Visualización del diagnóstico
Las redes bayesianas son estructuras usadas para
representar conocimiento de un dominio con
incertidumbre. Cada nodo en el grafo representa una
variable aleatoria mientras que los enlaces entre nodos
representan dependencias probabilísticas entre las
variables aleatorias correspondientes. Estas
dependencias condicionales son estimadas usando
métodos computacionales y estadísticos.
Las redes bayesianas constituyen un enfoque
metodológico para modelar el comportamiento del
estudiante durante su aprendizaje. Por ejemplo en
[13] se aprecia el uso de estas redes para inspeccionar
el estado del conocimiento del estudiante identificando
errores así como buenas prácticas de aprendizaje.
Por otro lado el autor resalta la utilidad del sistema
desarrollado para un gran volumen de datos
considerando que es difícil llegar a una conclusión en
casos similares. En [14] el sistema de visualización
VisMod (Visualization of Bayesian Student Models)
muestra la red que representa el conocimiento del
estudiante y tanto el maestro como el alumno pueden
interactuar con la red. La externalización de la
estructura del conocimiento del estudiante y su
inspección, permite a estudiantes y docentes entender,
explorar y modificar el modelo del estudiante. En [15]
se usan las redes bayesianas como un formalismo
integrador a fin de manipular varias fuentes de
incertidumbre involucradas en el modelo del
estudiante.
Una red semántica es un formalismo para
representar una estructura del conocimiento
proposicional y consiste de un conjunto de nodos
selectivamente conectados unos con otros mediante
enlaces etiquetados con relaciones entre cada par de
nodos conectados. En particular, un mapa conceptual
puede ser una red semántica compuesta de múltiples
proposiciones. Cada proposición incluye dos nodos-
conceptos asociados mediante un enlace etiquetado y
establece el atributo de un concepto [16]. Un conjunto
de proposiciones posee, generalmente, una estructura
jerárquica y describe regularidades y hechos sobre un
concepto primario el cual se encuentra posicionado en
la cúspide de un mapa conceptual.
Los mapas conceptuales representan un modo valioso
para la evaluación del estudiante porque proveen un
medio para capturar y representar el conocimiento y es
especialmente efectivo para representar la
organización que el estudiante posee entre los
conceptos [17] [18]. La interpretación del mapa
conceptual se basa en la hipótesis de que el
aprendizaje en un dominio determinado es el proceso
de adquisición de una estructura de conocimiento
similar al experto en la materia. La investigación en la
memoria semántica, especialmente las teorías
asociativas de la memoria, indica que los expertos
poseen un tipo específico de organización de
conceptos. A partir de este resultado, la interpretación
del mapa conceptual del alumno se logra determinando
la similitud de su mapa y un mapa de referencia, como
la del experto. La medida de la similitud es la
evaluación del estudiante. Se encuentran dos enfoques
en el uso de la evaluación: en el interno el estudiante
construye totalmente el mapa y en el externo, el
alumno responde sobre conceptos propuestos por el
experto.
4. Modelo de diagnóstico basado
en la distancia semántica (DistSem)
Existe una coincidencia generalizada en la literatura
científica sobre la estructura reticular de la memoria
semántica [19] y se han propuesto varias clases de
teorías para reflejar las propiedades sustanciales de la
organización del conocimiento humano. En este
contexto, el efecto de priming semántico ha recibido
una gran atención desde su demostración original en la
década de los 70s. Este efecto puede ser presentado
sintéticamente como el fenómeno que hace que una
palabra sea reconocida más rápidamente si es
precedida por una palabra semánticamente relacionada
con la primera que si es precedida por otra no
relacionada.
Modelo para Visualizar y Evaluar el Conocimiento Conceptual [pág. 14-24]
TE&ET N°15 |Junio 2015| ISSN 1850-9959 | RedUNCI-UNLP 17
Cuando una persona estima la similitud semántica
entre dos o más ideas puede establecer entre ellas
diferentes tipos de relaciones semánticas. Su
proximidad puede estar dada porque ambos conceptos
presentan una relación inferencial entre sí, de modo
que evocar un concepto supone la propagación de la
activación hacia otro concepto con el que se encuentra
vinculado lógicamente. Pero también ambos conceptos
pueden compartir numerosos atributos por medio de
los cuales se establezcan relaciones no necesariamente
lógicas. Las semejanzas en los atributos compartidos
entre dos conceptos pueden promover el
establecimiento de relaciones analógicas -
identificaciones por el predicado - que se hallan
facilitadas por la presencia de activación en las
etiquetas respectivas.
El método DistSem [20] permite exteriorizar la
configuración del conocimiento del estudiante y
representarla en una estructura de red semántica en
base a las distancias estimadas entre significados,
dando lugar a una estimación del diagnóstico
cognitivo. Las redes semánticas de los participantes
poseen un nivel de restricción debido al número
limitado de conceptos previamente definidos.
En [21] DistSem fue presentado en el marco de un
Sistema Tutorial Inteligente. En el artículo mencionado
se proponía como siguiente paso en nuestra
investigación el análisis cualitativo de las redes
semánticas. En el presente artículo se presenta aquel
objetivo.
A continuación se describe el método DistSem
siguiendo la estructura presentada por la tecnología
SMD (Surface, Matching, Deep Structure) [22]. SMD
es una tecnología basada en la teoría de los modelos
mentales de Seel y en la teoría de grafos. Los
resultados de SMD quedan determinados en cuatro
fases : 1) Ingreso (se describen y miden las estructuras
de conocimiento con una herramienta adecuada) ; 2)
Especificación del análisis (luego de eligir una forma
de representación del conocimiento, se calculan
medidas cuantitativas automáticamente y se generan
las bases para representaciones gráficas
estandarizadas) ; 3) Salida del análisis cuantitativo (se
usan medidas específicas para representar la
complejidad estructural de los datos de salida) y 4)
Salida gráfica estandarizada (se genera
automáticamente una salida gráfica estandar). Aquí se
describen las 4 fases para DistSem :
1. Ingreso: se diseña un experimento (o prueba
DistSem). El ingreso de datos en un experimento
se inicia con la selección de los n conceptos cuya
vinculación semántica se desea explorar y
posteriormente se adquieren las respuestas de los
estudiantes y expertos quienes asignan una medida
de similitud entre dos conceptos. Esta información
se almacena en planillas de administración.
2. Especificación del análisis: en la planilla de
administración se disponen los pares de conceptos
resultantes del cruce de todos contra todos los
conceptos definidos. Sobre esta planilla se
adquieren las respuestas de estudiantes y expertos.
En dicha planilla se consignan los pares de
conceptos cuya cantidad de pares resulta de aplicar
la fórmula (n *( n-1)) / 2 para relaciones no
direccionales. Se agregan cuatro pares repetidos
con orden invertido para evaluar consistencia
interna. Los pares son ordenados al azar para su
presentación. A partir de cada planilla se genera
una matriz cuadrada de n x n, esto es, de conceptos
contra conceptos. En la matriz se almacenan,
entonces, las estimaciones de similitud semántica
de los estudiantes y expertos evaluadores.
3. Salida cuantitativa: a partir de la red semántica de
un estudiante y la del docente-experto
(considerada patrón) ambas construidas a partir
de las matrices de similitud, son comparadas entre
sí a través de la significancia de la asociación entre
las matrices creadas por cada uno de ellos. Para
lograr este objetivo se calculan las permutaciones
construidas sobre la matriz del estudiante usando
el método QAP (Quadratic Assignment Procedure)
[23][24][25]. QAP es un procedimiento basado en
permutaciones, no paramétrico que preserva la
interdependencia entre las díadas. Por ejemplo, si
se propone evaluar las relaciones de similitud de 9
conceptos (n=9) se obtendrá 40 pares de conceptos
(se considera que los datos son diádicos e
interdependientes). Luego se aplica el método de
QAP a fin de medir la significancia de la
correlación observada entre las matrices del
experto y la del estudiante. El procedimiento
genera 362880 (9!) permutaciones sobre la matriz
de cada estudiante y deja fija la matriz del experto.
Luego se encuentra la distribución de las
correlaciones. Para la estimación del nivel de
significancia de la asociación se usa el coeficiente
de correlación de Pearson.
4. Salida cualitativa gráfica: A cada matriz de
similitud se le aplica los siguientes tratamientos:
conversión de las estimaciones a distancias
geodésicas, SMD métrico, (escalamiento
multidimensional métrico) y análisis de
agrupamientos a fin de crear la visualización de la
red semántica del experto y de los estudiantes a fin
de compararlas cualitativamente.
5. Sistema informático Infosem
El método DistSem ha sido implementado en un
sistema informático llamado InfoSem. InfoSem tiene
por objetivo brindar a los usuarios un ambiente
amigable y automático. Particularmente, se dispone de
una salida gráfica que muestra flexible y claramente
una representación del conocimiento conceptual del
alumno en forma de una red.
Modelo para Visualizar y Evaluar el Conocimiento Conceptual [pág. 14-24]
18 TE&ET N°15 | Junio 2015| ISSN 1850-9959 | RedUNCI-UNLP
5.1 Arquitectura de InfoSem
Los usuarios del sistema son los
evaluadores/expertos/docentes. Generalmente, el
experto crea los experimentos y los
docentes/evaluadores analizan los resultados de las
pruebas (las respuestas dadas por los estudiantes). El
experimento es la unidad que reúne los elementos
necesarios para la creación y evaluación de pruebas
DistSem (ver figura 1).
Fig. 1. Diagrama simplificado de las clases que conforman Infosem.
En cada experimento (fase 1 de DistSem), el experto
ingresa tanto los n conceptos (o estímulos) así como las
respuestas correctas en las pruebas interjueces (planilla
de administración patrón) las cuales permiten
establecer un modelo de comparación, esto es,
representan la respuesta correcta. Y para evitar que
exista un respuesta única, un experimento puede poseer
una o varias pruebas interjueces.
Como se presentó en la fase 2 de DistSem
(especificación de análisis) se crea la planilla de
administración. La lista de pares de conceptos es
generada en forma aleatoria y con algunos elementos
redundantes para control. Las respuestas de los
estudiantes a la planilla de administración se
almacenan en una estructura denominada sociomatriz
la cual resulta conveniente para los posteriores
procesos de cálculo. Las sociomatrices, que pueden
representar información sobre similitud o disimilitud
entre conceptos, constituyen una estructura adecuada
para la comparación de las pruebas de los participantes
con las pruebas interjueces.
La información de los participantes, además de datos
personales como nombre, edad,, etc. está
principalmente contenida en las respuestas a las
pruebas DistSem.
5.2 Descripción de InfoSem
A continuación se describe la secuencia de tareas
involucradas en el uso de InfoSem, cuyo diagrama
simplificado se presenta en la figura 2.
Fig. 2. Diagrama de secuencia de tareas en Infosem.
Se comienza creando un experimento y los conceptos
correspondientes al experimento. La información
involucrada en el experimento y conceptos permanece
constante para todo el experimento actual
Posteriorermente el usuario (docente/evaluador) puede
seleccionar diversas tareas contenidas dentro de la
línea entrecortada y repetirlas las veces que lo desee.
Prosiguiendo con la descripción, el uso es ilustrado con
un ejemplo específico sobre la asignatura Análisis
Numérico:
1. Creación de un nuevo experimento : el experto
suministra al sistema su identificación personal y
características propios del experimento.
2. Ingreso de conceptos : como se aprecia en la
figura 3, el experto ingresa los estímulos
(conceptos a evaluar), su descripción y contexto,
selecciona los valores de variación de las
relaciones entre estímulos y completa los datos de
identificación.
Modelo para Visualizar y Evaluar el Conocimiento Conceptual [pág. 14-24]
TE&ET N°15 |Junio 2015| ISSN 1850-9959 | RedUNCI-UNLP 19
Fig. 3. Creación de un experimento en INFOSEM donde se aprecia
la ventana del experimento y la de un estímulo
3. Creación de planillas : usando como base los
estímulos creados previamente, el sistema genera
aleatoriamente una planilla. Oprimiendo el botón
de Generación de Planillas, el sistema la modifica
tantas veces como se desee. El usuario puede
agregar varias planillas para administrar el test
DistSem. Cada planilla es identificada con un
nombre. En la figura 4 se aprecia una planilla
creada para evaluar similitudes semánticas entre 9
conceptos pertenecientes a la asignatura Análisis
Numérico.
Fig. 4. Creación de una Planilla de Administración
4. Ingreso de pruebas interjueces : una vez creadas
una o varias planillas de administración, el
evaluador experto puede ingresar las respuestas
consideradas correctas (pruebas interjueces). Los
distintos evaluadores asocian sus respuestas a cada
una de las planillas que creó. En la figura 5 se
ilustra el ingreso de las respuesta de un juez quien
usó disimilitudes.
Fig. 5. Respuesta de un juez
5. Ingreso de participantes: se agregan los datos de
los alumnos participantes de cada experimento
tales como nombre, edad y género.
6. Ingreso de pruebas de participantes : InfoSem
adquiere las respuestas de cada estudiante a la/s
prueba/s. Esto es, se cargan los resultados de las
pruebas tomadas en el aula. Se agregan tantas
pruebas como se hayan tomado a cada estudiante.
Las respuestas son almacenadas en el sistema y
pueden ser visualizadas, analizadas y comparadas
las veces que se desee. En la figura 6 se muestra
las respuestas de un estudiante a una prueba.
Fig. 6. Ventana interactiva para que el estudiante responder el test
en el aula
7. Análisis de las pruebas : en este punto se hacen los
cálculos correspondientes para alcanzar las salidas
cuantitativas y cualitativas. El examen cuantitativo
permite analizar, mediante QAP y el coeficiente de
Modelo para Visualizar y Evaluar el Conocimiento Conceptual [pág. 14-24]
20 TE&ET N°15 | Junio 2015| ISSN 1850-9959 | RedUNCI-UNLP
correlación de Pearson, la respuesta del estudiante
con respecto a la resolución del experto. Los
resultados numéricos permiten ver la respuesta a
una prueba específica, a todas las pruebas de un
estudiante o todas las pruebas de todos los
estudiantes. Estos cálculos son automáticos.
8. Visualización de los resultados : Para la
visualización de los resultados se optó por una
transformación de la sociomatriz a una estructura
diferente, basada en nodos y enlaces la cual resulta
más conveniente para representar grafos no
dirigidos.
El examen visual de las redes semánticas que
representan el conocimiento conceptual de los
estudiantes contribuye en el análisis cualitativo de las
respuestas y en la toma de decisión de los docentes
cuando evalúan. A continuación se muestra detalles de
la visualización.
6. Visualización en Infosem
Infosem favorece el análisis cualitativo de cada test
en forma individual así como la comparación de
pruebas tanto entre participantes como con las
respuestas del experto. En la figura 7 se presentan los
tres cuerpos principales de InfoSem: en el panel
izquierdo se seleccionan jueces, participantes y
pruebas; en el central se solicita el tipo de análisis; en
el derecho se presentan los resultados en forma gráfica
o tabulada a elección del usuario. La división
horizontal de este último permite comparar
visualmente pares de pruebas.
Para ver la red semántica basta arrastar una prueba
desde la ventana de Items a la izquierda hasta los dos
paneles a la derecha.
Fig.7 Vista general de Infosem
El Gráfico del Análisis Cualitativo se obtiene con la
pestaña horizontal ‘Análisis Cualitativo’ y
simultaneamente con la pestaña vertical ‘Gráfico’.
Esta selección permite observar la distribución y
agrupamiento de las redes semánticas. Los métodos de
distribución disponibles usados para la representación
visual son el Escalamiento Multidimensional (MDS),
atracción/repulsión, aleatorio y circular, seleccionando
cada uno de ellos se obtienen distintas distribuciones
de la red. Asimismo, se aprecia la medida del stress (la
función stress mide el grado de correspondencia entre
las distancias entre los puntos implicados en la red
MDS y la matriz de entrada) y evalúa la bondad del
ajuste como regular, buena o muy buena (la mejor
representación tiene el menor valor de la función
stress). El agrupamiento implementado es el clustering
jerárquico y se puede optar por ver grupos de
relaciones particulares, por ejemplo si se solicita
observar las relaciones de valor mayor o igual a 5,
mostrará todos los nodos pero solo las líneas de valor
5, 6 y 7, suponiendo que 7 es el valor máximo. Los
agrupamientos de nodos son determinados por la
aplicación del método de clustering jerárquico de
Johnson [26].
En la figura 8 se muestra las redes generadas para el
experto y la de un estudiante.
Fig. 8 Comparación de la red del experto y de un estudiante
Los nodos se distribuyen en función de los valores de
las distancias. Si se seleccionó una relación de
similitud, los nodos más cercanos en la red serán los
que tiene mayor similitud conceptual en la respuesta
del estudiante. Los nodos pueden ser separados con el
mouse para facilitar una visión más clara, en caso de
que queden demasiado juntos
En el gráfico se identifican claramente los estímulos,
etiquetados en los nodos; las distancias o proximidades
semánticas, color de las líneas entre nodos; sentido de
la relación, flechas que los unen. Como se muestra en
la figura 9, en la red semántica del experto se presenta
los agrupamientos con nodos agrupados del mismo
color.
Modelo para Visualizar y Evaluar el Conocimiento Conceptual [pág. 14-24]
TE&ET N°15 |Junio 2015| ISSN 1850-9959 | RedUNCI-UNLP 21
Fig. 9 Clusters en las redes
En este caso se la red semántica del experto donde se
ven tres agrupamientos con color naranja, verde y
magenta. Cada agrupamiento posee tres nodos. La
prueba 2 del estudiante muestra solo dos
agrupamientos y posee un coeficiente de correlación de
Pearson de 0.76150462 (con significancia de
0.000600). Para visualizar esta información el usuario
tiene que seleccionar la pestaña ‘Análisis
Cuantitativo’.
En la ventana del ‘Análisis Cuantitativo’ se muestran
el coeficiente de Pearson y su significancia entre dos
pruebas seleccionadas. Existen tres opciones que el
usuario puede elegir. Una de las opciones corresponde
al caso particular que se está examinando en la pantalla
gráfica.
Fig. 10 Ventana del resultado numérico de un alumno
En la figura 10 se ven los resultados numéricos
correspondientes a la ventana 9 donde se compara la
red de un experto con un alumno.
Si se opta por el segundo caso se puede comparar una
prueba contra todas las pruebas de un participante
seleccionado (p.e. todas las pruebas de un alumno) y el
tercer caso comprende la comparación de la prueba
seleccionada contra todas las pruebas de todos los
participantes. En la figura 11 se ilustra esta última
opción.
Fig. 11 Ventana con la evaluación de todos los estudiantes de un
curso
Asimismo, Infosem dispone de una ayuda
especializada que guía al usuario a lo largo del proceso
de diseño y uso. En la figura 12 se aprecia la ventana
de ayuda.
Fig. 12 Ventana de ayuda de InfoSem
Infosem requiere para ejecutarse, como mínimo, un
Sistema Operativo Windows XP o superior y un
procesador Pentium o superior. En particular, se
necesita disponer de 512Mb ó más de memoria Ram,
30 MB ó más de espacio disponible en disco, placa
gráfica con una resolución de al menos 1024x768 y
256 colores (preferiblemente colores de 32 bits). La
licencia es creative Commons 3.0. La distribución,
actualmente, se realiza mediante solicitud a los
autores.
7. Usos de Infosem en la
valoración del estudiante
InfoSem ha sido utilizado en distintas modalidades
para establecer fortalezas, debilidades y nivel de
conocimiento de los estudiantes en gran cantidad de
cursos de grado en la Universidad Nacional de Mar
del Plata. Por ejemplo, en la Facultad de Psicología se
ha comparado a los alumnos de dos asignaturas: en un
Modelo para Visualizar y Evaluar el Conocimiento Conceptual [pág. 14-24]
22 TE&ET N°15 | Junio 2015| ISSN 1850-9959 | RedUNCI-UNLP
caso al principio y al final de la cursada, y en el otro,
antes y después de una interacción grupal. Se
exploraron los conocimientos de 9 conceptos: seis
pertenecientes a dos autores previamente estudiados,
con diferente nivel de profundidad en otras asignaturas,
y los tres restantes pertenecientes a un autor
introducido como novedad. En la Facultad de
Ingeniería se ha usado en asignaturas comunes a todas
las especialidades.
Uno de los modos de utilización fue la evaluación
diagnóstica a fin de recoger información sobre el nivel
de conocimiento de una asignatura nueva y medir la
eficacia de la/s asignatura/s cuyo contenido es requisito
para aprender el nuevo conocimiento.
Otra modalidad fue la valoración formativa. En su
forma pura esta valoración del progreso del estudiante
posee pruebas, como DistSem, sin notas y son usados
para modificar y mejorar la enseñanza de acuerdo a las
necesidades y progreso de los alumnos. Asimismo se
identificaron errores típicos en la asociación de
conceptos. Por ejemplo, en una asignatura de segundo
o de Ingeniería se descubrió un error común en el
uso de predicados en un lenguaje de programación.
Estos “diagnósticos en transición” permiten decidir
cuál es el próximo paso en la enseñanza. Por ejemplo,
hemos analizado, en diversas asignaturas, el peor y
mejor examen así como la respuesta promedio. En este
contexto, hemos guiado a los estudiantes con ayudas
específicas en conceptos que no fueron comprendidos
apropiadamente. Esto es, se provee feedback positivo
e individualizado a cada estudiante.
El resultado del diagnóstico permite diseñar una
macroadaptación para todo el grupo de estudiantes en
el inicio de los cursos mientras que la valoración
formativa permite una microadaptación, esto es,
esposible atender las necesidades específicas
individuales de los alumnos durante el desarrollo del
curso.
Por último, la modalidad de la valoración final (o
acumulativa) no fue usada masivamente por
considerarla inapropiada para determinar el nivel de
logro alcanzado por un estudiante en la finalización de
un período de tiempo (un trimestre, un semestre, etc.) o
de una unidad de estudio (p.e. un capítulo).
Por otro lado, con InfoSem, el diseñador de los
experimentos puede definir la cantidad de conceptos y
su granularidad. De este modo queda en libertad de
enfocar un fragmento particular del conocimiento del
alumno que interesa examinar con la minuciosidad
deseada.
El uso de las pruebas DistSem computarizadas ha
contribuido significativamente en la tarea de los
docentes e investigadores en la evaluación del nivel de
conocimiento de los estudiantes. Se puede procesar
gran cantidad de pruebas en períodos cortos de tiempo.
Conclusiones
InfoSem proporciona al evaluador la posibilidad de
examinar dos aspectos del conocimiento del estudiante:
inspeccionar una aproximación a la estructura del
conocimiento y comparar esas estructuras tanto
cualitativamente como cuantitativamente.
Los resultados obtenidos muestran que el modelo
presentado es prometedor como herramienta de
evaluación del conocimiento conceptual.
El contraste visual de las redes del experto y estudiante
mejora cualitativamente la interpretación sobre la
relación entre conceptos (fortalezas de los vínculos y
asociación de los nodos). Se puede comparar las redes
semánticas de expertos entre sí, de un experto con un
estudiante, de estudiantes diferentes entre sí y del
mismo estudiante entre sí. Asimismo, las redes se
contrastan numéricamente mediante el coeficiente de
correlación de Pearson.
Las experiencias llevadas a cabo muestran que Infosem
es un importante apoyo para el docente, tanto en forma
individual como grupalmente. La visualización de la
red semántica desde distintas distribuciones de sus
nodos contribuye a mejorar la interpretación del
docente sobre el entendimiento del estudiante.
Los conceptos a evaluar pueden pertenecer a diversas
áreas del conocimiento. Las experiencias llevadas a
cabo mostraron que las pruebas pueden ser tomadas
masivamente y procesadas automáticamente apoyando
eficazmente el proceso de evaluación.
Asimismo se está analizando la opción de la
autoevaluación para que el estudiante vea sus pruebas
Infosem y acceda a modificarlas a voluntad ampliando
de este modo la funcionalidad del sistema.
Referencias
[1] Johnson-Laird P. Mental Models Toward a
cognitive science of language, inference and
language. Cambridge University Press. Cambridge
1983.
[2] Edwards-Leis, C. E. Mentals models of teaching,
learning and assessment: a longitudinal study. Phd
thesis. James Cook University. 2010
[3] Seel N.M. . Educational diagnosis of mental
models: Assessment problems and technology-
based solutions. Journal of Structural Learning and
Intelligent Systems, 14(2), pp. 153185.1999.
[4] Mislevy R.J., Behrens J.T. , Bennett R. E.,
Demark S. F., Frezzo D.C., Levy R.. On the roles
of external knowledge representations in
assessment design. National Center for Research on
Evaluation, Standards, and Student Testing
(CRESST). Graduate School of Education and
Modelo para Visualizar y Evaluar el Conocimiento Conceptual [pág. 14-24]
TE&ET N°15 |Junio 2015| ISSN 1850-9959 | RedUNCI-UNLP 23
Information Studies. University of California, Los
Angeles. 2007.
[5] Seel N.M. Mental models, knowledge transfer, and
teaching strategies. Journal of Structural Learning
and Intelligent Systems, 12(3), pp. 197213. 1995.
[6] Seel N.M., Essentials of Computer-Based
Diagnostics of Learning and Cognition. En
Computer_Based Diagnostics and Systematic
Analysis of Knowledge. (Ifenthaler D. et al., Ed.),
Springer. 2010.
[7] Bennettt R. E. Cognitively Based Assessment of,
for, and as Learning (CBAL): A Preliminary
Theory of Action for Summative and Formative
Assessment. Measurement. 8, pp 70-91. 2010.
[8] Ifenthaler D., Pirnay_Dummer P. y Seel N. M.
(Editores), Computer-Based Diagnostics and
Systematic Analysis of Knowledge, Springer, 2010.
[9] Ellson J., Gansner E. R., Koutsofios E., North S.
C., Graphviz and Dynagraph Static and Dynamic
Graph Drawing Tools. Jünger & Mutzel Eds. Graph
drawing software. Springer Verlag. 2004.
[10] Ifenthaler, D. Toward automated computer-based
visualization and assessment of team-based
performance. Journal of Educational Psychology
Special Section: Computer-Based Assessment of
Cross-Curricular Skills and Processes, pp 651-665.
2014.
[11] Minović M., Milovanović M., Šošević U., Conde
González M. A. Visualization of student learning
model in serious games. Computers in Human
Behavior. 2014
[12] Pirnay_Dummer P. y Ifenthaler D., Automated
Knowledge Visualization and Assessment. En
Computer-Based D Diagnostics and Systematic
Analysis of Knowledge, Springer, 2010.
[13]Butz, C.J., Hua, S. & Maguire, R.B.. A Web-based
Bayesian Intelligent Tutoring System for Computer
Programming, Web Intelligence and Agent
Systems: An International Journal, 4(1), pp 77-97.
2006.
[14] Zapata-Rivera J. D., Greer J. E. Interacting with
Inspectable Bayesian Student Models.
International Journal of Artificial Intelligence in
Education 14 , pp 1-37. 2004.
[15] Conati C., Gertner A. Vanlehn K. , Using
bayesian networks to manage uncertainty in student
modeling. Journal of User Modeling and User-
Adapted Interaction. 12, pp 371-417. 2002.
[16] Novak, J. D. y A. J. Cañas, The Theory
Underlying Concept Maps and How to Construct
and Use Them, Technical Report IHMC
CmapTools 2006-01 Rev 01-2008, Florida Institute
for Human and Machine Cognition. 2008.
[17] Hoeft R. M., Jentsch F. G., Harper M. E., TPL-
KATSconcept map: a computerized knowledge
assessment tool. Computers in Human Behavior 19
pp. 653657. 2003.
[18] Anohina-Naumeca A. Determining the set of
concept map based tasks for computerized
knowledge self-assessment. Procedia - Social and
Behavioral Sciences 69, pp. 143 152. 2012.
[19] McNamara, T. P. y Holbrook, J. B. Semantic
Memory and Priming. NJ: John Wiley and Sons.
2003.
[20] Vivas, J. Método Distsem: procedimiento para la
evaluación de distancias semánticas. Revista
Perspectivas en Psicología, 1 (1), pp. 56-62. 2004
[21] Huapaya C.R. Lizarralde F.A., Vivas J., Arona G.
Modelo de evaluación del conocimiento en un
Sistema Tutorial Inteligente. Revista
Iberoamericana de Tecnología en Educación y
Educación en Tecnología., pp. 20-29. 2007.
[22] Ifenthaler, D. Relational, structural, and semantic
analysis of graphical representations and concept
maps. Educational Technology Research and
Development. 2008.
[23] Hubert, L. J. y Schultz, J. Quadratic Assignment
as a general data analysis strategy. British Journal
of Mathematical and Statistical Psychology, 29, pp.
190-241. 1976.
[24] Krackhardt D. A caveat on the Use of the
Quadratic Assignment Procedure. Journal of
Quantitative Anthropology. 3: 279-296. 1992.
[25] Borgatti S.P. A Statistical Methods for
Comparing Aggregate Data Across A Priori
Groups. Fields Methods. 14, pp. 88-107.2002.
[26] Johnson, S. C. Hierarchical Clustering Schemes.
Psychometrika, 2 pp. 241-254. 1967.
Dirección de Contacto del Autor/es:
Constanza Huapaya
Juan B. Justo4302
7600 Mar del Plata
Argentina
e-mail: huapaya@fi.mdp.edu.ar
Francisco Lizarralde
Juan B. Justo4302
7600 Mar del Plata
Argentina
e-mail:flizarra@fi.mdp.edu.ar
Jorge Vivas
Funes 3280 2do. piso
7600 Mar del Plata
Argentina
e-mail:jvivas@mdp.edu.ar
Modelo para Visualizar y Evaluar el Conocimiento Conceptual [pág. 14-24]
24 TE&ET N°15 | Junio 2015| ISSN 1850-9959 | RedUNCI-UNLP
Constanza Raquel Huapaya: C.C. y Esp. Tecnología
Informática Aplicada en Educación (UNLP). Profesor
Titular en Fundamentos de la Informática y Directora
del Grupo de Investigación en Inteligencia Artificial
Aplicada a Ingeniería. Integrante del CIMEPB.
(UNMDP).
Francisco Angel J. Lizarralde: Ing. Electrónico
(UNMDP) y Esp. Tecnología Informática Aplicada en
Educación (UNLP). Prof. Adjunto en Análisis
Numérico para Ingeniería e integrante del Grupo de
Investigación en Inteligencia Artificial Aplicada a
Ingeniería. Integrante del CIMEPB (UNMDP).
Jorge Ricardo Vivas: Doctor en Psicología(UNSL).
Profesor titular en Teorías del Aprendizaje - Psicología
Cognitiva (UNMDP). Director del Centro de
Investigación en procesos básicos, metodología y
educación(CIMEPB). Facultad de Psicología
(UNMDP)
ResearchGate has not been able to resolve any citations for this publication.
Article
Full-text available
Este trabajo pone en consideración un método que permite extraer la estructura de una red semántica en base a las distancias estimadas entre significados; constituir su matriz, describir, analizar y visualizar su relación y comparar distintas matrices entre sí o con otra considerada patrón. Este método se aplica sobre conjuntos de conceptos seleccionados para su evaluación y se desarrolla por etapas donde se realizan los siguientes tratamientos: Conversión de las estimaciones a Distancias Geodésicas, Escalamiento Multidimensional, Análisis de Cluster, Visualización y correlación de matrices (QAP). El Distsem – método para la evaluación de distancias semánticas - constituye un procedimiento amplio y flexible que permite diferentes niveles de análisis según los intereses del investigador. Palabras clave: red semántica - distancia semántica - visualización - evaluación Abstract This work puts in consideration a method that allows to extract the structure of semantic network on the basis of the estimated distances between meanings; to constitute its matrix, to describe, to analyze and to visualize its relation and to each other to compare different matrices or with other considered pattern. This method is applied on sets of concepts selected for its evaluation and it is developed by stages where the following treatments are made: Conversion of the estimations to Geodesic Distances, Multidimensional Scaling, Cluster Analysis, Visualization and Matrix Correlation (QAP). The Distsem - method for the evaluation of semantic distances - constitutes a wide and flexible procedure that allows different levels of analysis according to the interests of the researcher. Key words: semantic network - semantic distance - visualization - evaluation
Article
Full-text available
Demands for educated labor force with well-integrated cognitive structures call for necessity to use in educational institutions appropriate teaching and knowledge assessment methods directed towards fine development and assessment of students’ conceptual understanding. Concept maps as a kind of mental models have great potential in knowledge assessment due to several significant advantages. However, a taxonomy of possible concept mapping tasks has not been developed yet. The paper considers the problem of extending a set of concept mapping tasks in the already developed concept map based knowledge assessment system. The possible types of tasks are investigated from the point of view of the degree of directedness. As a result, a taxonomy of concept mapping tasks directly related to externalization of students’ knowledge structures are given and explained in detail.
Article
Full-text available
This article introduces a new method for statistically comparing pairs of aggregate data series. Aggregate data series refers to a set of values, each of which is averaged or otherwise aggregated across respondents. The motivating problem is the comparison of aggregate proximity matrices, such as those obtained from pile sort exercises. The standard approach to this problem uses the nonparametric, permutation-based quadratic assignment program (QAP) technique. However, the null distribution that QAP is based on is inappropriate for comparing subsamples of a data set and may lead to misleading conclusions. The new method can yield different results than QAP, results more in line with researchers' intuition. Furthermore, the method can be applied to a variety of data types beyond those appropriate for QAP.
Article
The abstract for this document is available on CSA Illumina.To view the Abstract, click the Abstract button above the document title.
Article
A considerable amount of research has been undertaken to provide insights into the valid assessment of team performance. However, in many settings, manual and therefore labor-intensive assessment instruments for team performance have limitations. Therefore, automated assessment instruments enable more flexible and detailed insights into the complex processes influencing team performance. The central objective of this study was to advance knowledge in automated assessment of team-based performance using a language-oriented approach. Fifty-six teams of learners (N = 224) in 3 experimental conditions solved 2 tasks in an online learning environment. They were analyzed with the Automated Knowledge Visualization and Assessment (AKOVIA) methodology. AKOVIA integrates a natural language-oriented algorithm and enables a structural and semantic compression of individual-and team-based knowledge representations. Findings indicate initial evidence of the feasibility and validity of the fully automated methodology. A framework for integrating research and methodology development is suggested for improving educational technology innovations such as computer-based assessment environments in international large-scale assessments.
Book
What is knowledge? How can it be successfully assessed? How can we best use the results? As questions such as these continue to be discussed and the learning sciences continue to deal with expanding amounts of data, the challenge of applying theory to diagnostic methods takes on more complexity. Computer-Based Diagnostics and Systematic Analysis of Knowledge meets this challenge head-on as an international panel of experts reviews current and emerging assessment methodologies in the psychological and educational arenas. Emphasizing utility, effectiveness, and ease of interpretation, contributors critically discuss practical innovations and intriguing possibilities (including mental representations, automated knowledge visualization, modeling, and computer-based feedback) across fields ranging from mathematics education to medicine. These contents themselves model the steps of systematic inquiry, from theoretical construct to real-world application: •Historical and theoretical foundations for the investigation of knowledge •Current opportunities for understanding knowledge empirically •Strategies for the aggregation and classification of knowledge •Tools and methods for comparison and empirical testing •Data interfaces between knowledge assessment tools •Guidance in applying research results to particular fields Researchers and professionals in education psychology, instructional technology, computer science, and linguistics will find Computer-Based Diagnostics and Systematic Analysis of Knowledge a stimulating guide to a complex present and a rapidly evolving future. © Springer Science+Business Media, LLC 2010. All rights reserved.
Article
Application of serious games in distance learning can raise quality of education and student satisfaction on a higher level. However, when student learns through game, his focus is moved from learning domain to different context of the game. This actually enables to achieve fun and learn at the same time. But this approach also makes harder for educators to track and analyse students learning progress during game session, which is crucial in order to provide immediate feedback and to help students reach established learning goals. Such a specific learning environment requires concrete real-time analytical tool that will adequately match the dynamic game environment. This paper proposes a new tool for visualisation of student learning model during gameplay session. Tool can be used by educators and by students to track the game progress. Using this tool educators are provided with real-time tracking of students learning and it enables them to react and influence the overall learning process. Evaluation of the proposed approach was done through an empirical study, conducted on educators group monitoring an educational game session, using the combination of traditional analytic tool and the newly proposed visualisation approach. Initial quantitative results and recorded opinions of the participants speak in favour of the proposed approach and justify further investment in development of this specific learning analytics method
Article
A wide variety of instruments for the assessment of structural knowledge are used in psychology, education, and engineering. A software tool, TPL-KATS—Concept Map, was developed to examine the organization of mental representations via the use of a computer. This software tool provides a more efficient and user-friendly method than the traditional manual approaches to concept mapping used in the past. TPL-KATS—Concept Map can automate the entire concept map task, from instructions, to administration, to scoring. Although originally developed as a data collection tool for psychological studies, this software can be a valuable resource in training, interface design, and education as well.