Content uploaded by Alvaro Pascual-Leone
Author content
All content in this area was uploaded by Alvaro Pascual-Leone on Dec 26, 2014
Content may be subject to copyright.
1
Desarrollo de habilidades de navegación a través de
videojuegos basados en audio
Jaime Sánchez, Mauricio Sáenz
Departamento de Ciencias de la
Computación
Centro de Investigación Avanzada en
Educación
Universidad de Chile
{jsanchez, msaenz}@dcc.uchile.cl
Alvaro Pascual-Leone, Lotfi Merabet
Berenson-Allen Center for Noninvasive Brain
Stimulation,
Department of Neurology, Beth Israel
Deaconess Medical
Center, Harvard Medical School
{apleone, lmerabet}@bidmc.harvard.edu
Resumen
Presentamos el diseño, desarrollo y evaluación cognitiva inicial de un simulador basado en
audio de un ambiente (AbES). Este software permite que un usuario ciego navegue a través
de una representación virtual de un espacio real con el propósito de entrenarlo en sus
habilidades de navegación. Nuestros resultados indican que los usuarios ciegos se sienten
satisfechos y seguros de sí mismos al interactuar con la interfaz basada en audio y los
sonidos embebidos les permiten orientarse correctamente y navegar dentro del mundo
virtual. Además, estos usuarios ciegos son capaces de transferir la información espacial que
adquieren a través de sus interacciones virtuales a la navegación hecha en el mundo real,
pudiendo así resolver tareas de navegación reales.
1. Introducción
Varios enfoques diferentes se han desarrollado para ayudar a las personas ciegos con su
movilidad y orientación. Una de las posibilidades para ayudarles a ser más autónomos es
proporcionarles un entrenamiento virtual basado en la posibilidad de luego transferir lo
aprendido al mundo real. En este sentido, una serie de estudios utilizan simuladores
virtuales de ambientes reales en donde se permite al usuario ciego interactuar a través de
audio [1], [4] y pistas táctiles [6]. Otra posibilidad podría ser a través de usar videojuegos
basados en audio. Algunos estudios apuntan a la importancia de jugar para mejorar las
habilidades de resolución de problemas [10]. Otros estudios muestran que los videojuegos
pueden ayudar a aumentar el diálogo entre los estudiantes [5], además de tener efectos
positivos en las habilidades sociales [7]. Por otra parte, la posibilidad de utilizar los
2
videojuegos para el aprendizaje en contextos pedagógicos abre enormes oportunidades para
acercar la educación a las experiencias de los estudiantes en su vida cotidiana, aumentando
la motivación, el compromiso con el aprendizaje, y finalmente una mejor formación de los
estudiantes acorde a nuevos estilos de aprendizaje [2].
Un usuario ciego necesita que se le proporcione la información pertinente sobre el medio
ambiente a través de otros canales sensoriales, diferentes al visual, como el tacto y el oído
[8]. También hay estudios de aplicación de videojuegos para el aprendizaje de las
matemáticas en los estudiantes ciegos [8]. Estos videojuegos basados en audio permiten a
los estudiantes aprender y practicar habilidades básicas de cálculo matemático tal como
suma, resta, números ordinales, numeración lineal, multiplicación y división, así como otros
conceptos y operaciones. Otro estudio ha utilizado videojuegos basados en audio reforzar
los conceptos de ciencia en un entorno lúdico para niños con discapacidad visual [9]. A
medida que el niño interactúa con el videojuego para cumplir la misión, desarrolla sus
habilidades de resolución de problemas y además aprende conceptos del currículo de
ciencias.
El objetivo de este estudio ha sido evaluar un simulador virtual basado en sonido, AbES,
diseñado para mejorar las habilidades de navegación de usuarios ciegos.
2. AbES
El simulador fue desarrollado para representar un entorno real, ya sea familiar o
desconocido, de manera tal que pueda ser navegado por una persona ciega. El simulador es
capaz de representar cualquier entorno real, utilizando un sistema de celdas a través del cual
el usuario se traslada. El usuario tiene feedback auditivo a su izquierda, centro y derecha, y
todas sus acciones se llevan a cabo mediante el uso de un teclado tradicional, donde un
conjunto de teclas tienen una acción asociada. Todas las acciones en el entorno virtual
tienen asociadas un sonido particular. Además de esta retroalimentación de audio, también
hay señales de audio hablado que proporcionan información sobre los distintos objetos y la
orientación del usuario en el medio ambiente. La orientación se establece mediante la
identificación de la sala donde se encuentra el usuario y la dirección en que se enfrenta, de
acuerdo con una brújula de puntos cardinales (este, oeste, norte y sur). AbES incluye tres
modos de interacción: Navegación libre, Ruta de navegación y Modo de juego.
3
La navegación libre provee a los usuarios ciegos la posibilidad de explorar el edificio
libremente de manera tal de que lo conozcan (Figura 1). El facilitador puede elegir el lugar
donde el usuario comience su recorrido o bien puede ser de forma aleatoria. Así también, el
facilitador puede elegir si el ambiente virtual contiene objetos. Para un usuario novato,
nosotros encontramos acertada la opción de tener todas las puertas abiertas, logrando una
navegación simple. En este mismo sentido, para los novatos es necesario que escuchen
todas las instrucciones, entonces el simulador provee la opción “Permitir que el Text-To-
Speech termine antes de ejecutar cualquier acción”.
Figura 1. Entornos reales y virtuales en AbES. (A) Primer piso del edificio St. Paul. (B)
Representación virtual del mismo piso en AbES (C) Primer piso de la Escuela de Ciegos
Santa Lucia (D) Representación virtual del mismo primer piso en AbES
El modo Ruta de Navegación proporciona al usuario ciego la tarea de encontrar una
habitación en particular. El facilitador debe elegir la habitación inicial y final, y por medio
de qué rutas es necesario que el usuario efectúe la navegación. Una vez que todas las rutas
se han seleccionado, el usuario comienza su interacción con el simulador y tiene que
navegar por todas ellas, generando en su mente un mapa topológico y cartográfico del
edificio.
El modo videojuego ofrece a los usuarios ciegos la tarea de buscar "joyas" situadas en el
edificio. El objetivo del videojuego es explorar las habitaciones y encontrar todas las joyas,
tomándolas y dejándolas al exterior del edificio. Con esto se obliga a los usuarios a recorrer
completamente el edificio de una manera lúdica. Los usuarios no están solos en el ambiente
virtual, existen ladrones (ubicados aleatoriamente) que rondan por el edificio para tratar
robar las joyas que el usuario ha encontrado, escondiéndolas en otros lugares. Hay una
4
advertencia verbal de audio cuando el usuario se encuentra a dos celdas de distancia de una
joya o un ladrón. Los ladrones siempre permanecen dentro del edificio. En este modo de
juego, el facilitador puede elegir el número de joyas de encontrar (2, 4 o 6) y el número de
ladrones (2, 4 o 6).
3. Evaluación Cognitiva Preliminar
Muestra. La primera parte del estudio incluyó la participación de 7 niños con edades entre
10 y 12 años que asisten a la Escuela Santa Lucía de ciegos, en Santiago de Chile. Ninguno
de ellos padece de alguna deficiencia neurológica y su estado visual ha sido confirmado
según reportes médicos o por evaluación oftalmológica.
Instrumentos. Se diseñó una lista de cotejo para cada una de las actividades. Estas listas
han sido basadas en instrumentos estándares de movilidad y orientación [3] y contienen
indicadores comunes y específicos que miden diferentes aspectos del nivel de progreso de
los estudiantes en variadas actividades. Para cuantificar los resultados y calcular los
porcentajes de logro de cada indicador se utilizó una escala de Likert con puntajes desde 1
(nunca) hasta 4 (siempre) puntos.
Procedimiento. Todas las actividades con los niños fueron ejecutadas en 6 sesiones con una
duración de 3 horas y 15 minutos cada una. Durante este tiempo, se realizaron 5 actividades
en que los niños interactuaron con AbES.
1. Interacción Inicial con Modelo Concreto. Estudios anteriores han demostrado que los
niños pueden entender ciertos procesos con más detalle cuando modelan y resuelven
tareas cognitivas utilizando materiales concretos como un suplemento a las interacciones
con el entorno virtual. [8]. En este estudio, las tareas cognitivas consisten en explorar un
modelo táctil concreto del ambiente que navegarán con AbES. Este modelo contiene las
divisiones estructurales del edificio, así como también los nombres de los diferentes
espacios escritos con Braille (Figure 2.1.). Una vez que ha sido explorado el modelo
completo, los estudiantes construyen una representación espacial del espacio por medio
de materiales concretos como plasticina y Lego®, o bien la dibujan.
2. Navegación Libre. Para explorar el ambiente, los estudiantes interactuaron con AbES
usando el modo Navegación Libre, viajando a su propio ritmo todos los espacios
representados. Una vez que ellos terminan de explorar el modelo virtual, los estudiantes
5
recrean los espacios como ellos los recuerdan utilizando material concreto de su
elección.
Figura 2. 1. (A) Modelo táctil que representa el espacio navegado virtualmente. (B)
Niño ciego explorando el modelo táctil; 2. (A) Distribución espacial de los diferentes
espacios del ambiente. (B) Representación dibujada del espacio recorrido; 3. Usuarios
jugando AbES y transfiriendo lo aprendido al ambiente real; 4. Representación concreta
del ambiente recorrido (A) Representación con Lego® (B) Representación dibujada
3. Misión de Navegación por Ruta. En esta actividad los estudiantes parten desde un
punto predeterminado (Sala de Computación) y viajan a cuatro destinos diferentes
distribuidos por todo el primer piso del edificio (Sala de masaje terapéutico, sala de 4to
año, el hall de acceso y la Sala de intervención temprana). Ellos fueron instruidos para
tomar la ruta más corta posible (Figura 2.2.). Una vez que habían terminado de explorar
el modelo virtual, los estudiantes tuvieron que representar los espacios que podían
recordar a través de material concreto.
4. El Juego. En esta actividad los estudiantes tuvieron que interactuar con AbES en el
modo de juego, en busca de las joyas ocultas para llevarlas al patio interior de la
escuela. Esta actividad permite a los estudiantes tomar rutas diferentes de las utilizadas
en la "Misión de Navegación por Ruta ", ya que ahora conocen otras habitaciones y por
medio de esto construye una imagen mental de los espacios recorridos. En esta
actividad, los estudiantes interactuaron durante la mitad del tiempo con el simulador y
durante la otra mitad realizaron la misma tarea en el entorno real (Figura 2.3.).
6
5. Representación Concreta. En esta actividad los estudiantes interactúan libremente con
el ambiente (tal como lo hicieron en la actividad 2). Una vez que completan la
navegación libre, se les pide que representen los entornos con material concreto (Lego®
y dibujos) (Figura 2.4.).
4. Resultados
En general, los estudiantes obtuvieron altos puntajes en todas las actividades desarrolladas.
En Orientación Espacial, las 5 actividades con AbES demostraron un alto logro en términos
de porcentaje (Modelo Concreto: 74%, Navegación Libre: 84%, Misión de Navegación por
Ruta: 81%, El Juego: 77%, Representación Concreta: 80%). No hubo diferencias
significativas entre ellas (Chi Square=1.895; p>0.05).
Conocimiento Espacial también obtuvo altos puntajes para todas las actividades (Modelo
Concreto: 81%, Navegación Libre: 87%, Misión de Navegación por Ruta: 80%, El Juego:
88%, Representación Concreta: 79%). La actividad “El Juego” tuvo el mayor logro (Chi
Square=9,714; p<0.05) mostrando que hubo diferencia significativa entre las actividades. A
través del juego los estudiantes se mueven e interactúan con el entorno, concentrándose y
poniendo atención a detalles del espacio, principalmente considerando que la actividad
implica ubicar la joya y llevarla al patio. Para hacer esto, ellos no sólo deben conocer dónde
están sino también recordar las rutas que pueden seguir para dejar la joya en el lugar
correcto, evitando que se la roben. Toda esta información fue exitosamente transferida
cuando ellos jugaron en el ambiente real.
Para la Representación Espacial no hubo diferencia significativa entre las actividades (Chi
Square=5,837; p>0.05) (Modelo Concreto: 42%, Navegación Libre: 52%, Misión de
Navegación por Ruta: 53%, El Juego: 86%, Representación Concreta: 59%).
En resumen, la actividad que generó mejores resultados fue sin duda El Juego (84%), (Chi
Square=4.000; p>0.05). Cuando los estudiantes juegan, ellos obtienen mejores puntajes que
cuando ellos realizan otras actividades con AbES. Cuando juegan, ellos se mantienen más
concentrados y enfocados en terminar todos los objetivos del juego, siendo capaces de
recoger la mayor cantidad de información entregada por el simulador y de una forma
eficiente.
7
5. Conclusiones
El propósito de esta investigación es evaluar un simulador de entornos virtuales basados en
audio desarrollado por nuestro grupo, llamado Audio-based Environment Simulator (AbES),
y que fue diseñado para mejorar las habilidades de movilidad y orientación en personas
ciegas.
El entrenamiento en habilidades de navegación sigue siendo fundamental en ciegos. A
través de un entrenamiento sistemático y riguroso, las personas con discapacidad visual
podrán ganar independencia funcional. Hemos logrado que los usuarios puedan jugar y
disfrutar del juego y al mismo tiempo, aprender a navegar el entorno que los rodea, entender
la organización espacial y la disposición de sus espacios. Clave en este acercamiento es el
hecho que la información puede ser adquirida de manera implícita a través de la interacción
con juegos comparado con una ruta explicita de aprendizaje. Los usuarios se vuelven más
hábiles al jugar AbES, navegando libremente y a su propio ritmo, sentándose las bases sobre
la posibilidad de transferir el aprendizaje virtual de navegación al entorno real. El modo
juego ha sido la actividad que ha generado mejores resultados en la representación espacial
de los usuarios, mostrando que este tipo de interacción requiere concentrarse en la tarea que
están llevando a cabo. Esto hace que ellos sean más cuidadosos y más atentos para captar
información acerca de los lugares por los cuales navegan. Ellos obtienen información más
robusta acerca de su entorno logrando un mejor desempeño en su transferencia de aquel
conocimiento al mundo real.
Continuamos investigando la viabilidad, la eficacia y los posibles beneficios del
entrenamiento y aprendizaje de la navegación a través de ambientes desconocidos mediante
el uso de videojuegos basados en audio. Al mismo tiempo, estamos desarrollando métodos
para cuantificar las mejoras de comportamiento, así como descubrir los mecanismos
cerebrales asociados con las habilidades de navegación.
6. Agradecimientos
Este trabajo ha sido financiado en parte por el Fondo Nacional de Ciencia y Tecnología,
Fondecyt #1090352 y el Proyecto CIE-05 Programa de Centros de Educación PBCT-
Conicyt.
8
7. Referencias
[1] Amandine, A., Katz, B., Blum, A., Jacquemin, C., Denis, M. (2005) A Study of Spatial
Cognition in an Immersive Virtual Audio Environment: Comparing Blind and
Blindfolded Individuals. Proc. of 11
th
ICAD, pp. 228-235
[2] Cipolla-Ficarra, F. (2007). A Study of Acteme on users Unexpert of VideoGames. J.
Jacko (Ed.): Human-Computer Interaction, Part IV, HCII 2007, LNCS 4553, pp. 215-
224
[3] González, F., Millán, L., Rodríguez, C. (2003). Orientación y Movilidad. Apuntes del
curso “Psicomotricidad, y Orientación y Movilidad para la persona con discapacidad
visual”, VII semestre Trastornos de la visión, Universidad Metropolitana de Ciencias de
la Educación. Sin numeración.
[4] Kehoe, A., Neff, F., Pitt, I. (2007) Extending traditional user assistance systems to
support an auditory interface. Proc. of the 25th IASTED International Multi-Conference:
artificial intelligence and applications, pp. 637 – 642
[5] McDonald, K., Hannafin, R. (2003). Using web-based computer games to meet the
demands of today’s high stakes testing: A mixed method inquiry. Journal of Research on
Technology in Education, 55(4), pp. 459-472
[6] Murai, Y., Tatsumi, H., Nagai, N., Miyakawa, M. (2006). A Haptic Interface for an
Indoor-Walk-Guide Simulator. K. Miesenberger et al. (Eds.); ICCHP 2006, LNCS 4061,
pp. 1287 – 1293
[7] Pellegrini, A., Blatchford, P., Kentaro, B. (2004). A Short-term Longitudinal Study of
Children's Playground Games in Primary School: Implications for Adjustment to School
and Social Adjustment in the USA and the UK. Social Development 13(1), pp. 107–123
[8] Sánchez, J. (2008). User-Centered Technologies for Blind Children. Human Technology
Journal, 45(2), pp. 96-122
[9] Sánchez, J., Elías, M. (2007). Science Learning by Blind Children through Audio-Based
Interactive Software. 12th Annual CyberTherapy 2007 Conference: Transforming
Healthcare Through Technology, pp. 40
[10] Steinkuehler, C. (2008). Cognition and literacy in massively multiplayer online
games. In Leu, D., Coiro, J., Lankshear, C. & Knobel, K. (Eds.), Handbook of Research
on New Literacies. Mahwah NJ: Erlbaum, pp. 1-38
