ChapterPDF Available

Interfaz conversacional para facilitar la lectura activa de textos a personas con discapacidad visual y/o motriz

Authors:

Abstract and Figures

En este documento se describen las principales dificultades enfrentadas por las personas con discapacidad visual y motriz que utilizan dispositivos móviles. Asimismo, se hace una revisión del estado del arte de las propuestas para subsanar las dificultades de navegación, lectura y escritura de contenidos, y se describe el desarrollo de nuestra propuesta de prototipo de interfaz conversacional de usuario para facilitar la lectura activa de textos a usuarios con discapacidad visual y/o motriz, utilizando Google Assistant. Nuestro trabajo se enfoca en mejorar la navegación en materiales textuales de estudio, a fin de contribuir al acceso a la educación de personas con este tipo de discapacidad.
Content may be subject to copyright.
16
INTERFAZ CONVERSACIONAL PARA FACILITAR LA LECTURA ACTIVA DE
TEXTOS A PERSONAS CON DISCAPACIDAD VISUAL Y/O MOTRIZ
Miguel Ángel Rodríguez Ortiz, Silvia Berenice Fajardo Flores, Pedro César Santana Mancilla,
Laura Sanely Gaytán Lugo (maro, medusa, psantana, laura @ucol.mx)
Universidad de Colima
Resumen
En este documento se describen las principales dificultades enfrentadas por las personas con
discapacidad visual y motriz que utilizan dispositivos móviles. Asimismo, se hace una revisión del
estado del arte de las propuestas para subsanar las dificultades de navegación, lectura y escritura
de contenidos, y se describe el desarrollo de nuestra propuesta de prototipo de interfaz
conversacional de usuario para facilitar la lectura activa de textos a usuarios con discapacidad
visual y/o motriz, utilizando Google Assistant. Nuestro trabajo se enfoca en mejorar la navegación
en materiales textuales de estudio, a fin de contribuir al acceso a la educación de personas con este
tipo de discapacidad.
Palabras clave: asistentes de voz, discapacidad visual, discapacidad motriz, lectura activa
Introducción
Las personas con discapacidad visual y/o motriz tienen dificultades para acceder a contenidos en
dispositivos móviles. Las características de la discapacidad motriz que afectan a las manos varían
de usuario a usuario: movilidad completa solo en una mano, movilidad en ambas manos, pero con
debilidad, falta de movilidad en algunos dedos o partes de los mismos, deformaciones, manos con
temblores, entre otros; es por eso que proponer una solución completa es tan complicado.
Los dispositivos móviles pueden contribuir a la independencia de los usuarios con diferentes
discapacidades, siempre y cuando se realicen los ajustes de configuración de accesibilidad, y
adquiriendo práctica. Sin embargo, cuando el usuario tiene discapacidad visual además de la
motriz este tipo de ajustes de configuración dejan de ser útiles, pues no funcionan en conjunto
17
debido al tipo de interacción que se requiere. Un ejemplo de esto se puede exponer con el uso de
TalkBack, un lector de pantalla para dispositivos Android, el cual está dirigido a personas con
discapacidad visual y cuyo uso implica gestos diferentes para interactuar: un toque para
preseleccionar un elemento independientemente de su ubicación en la pantalla, y dos toques
rápidos para abrirlo o ejecutarlo; esto no presenta problemas para una persona ciega, pero es muy
complejo de realizar para una persona con discapacidad motriz ya que muy probablemente no
puede realizar los dos toques consecutivos con la suficiente rapidez. Por otro lado, los ajustes de
accesibilidad para personas con discapacidad motriz facilitan la interacción a personas con temblor
en las manos y a las que solo pueden hacer movimientos lentos, pero se asume que la persona
puede percibir la ubicación de los elementos con los que interactúa, por lo que no son útiles a una
persona con discapacidad visual. Por lo anterior es necesario proponer alternativas de interacción
para los usuarios con ambos tipos de discapacidad.
Estado del arte
En el estudio de Naftali & Findlater (2014) con 16 personas con discapacidad motriz, se reportó
que al utilizar un teléfono móvil los problemas más comunes son: 1) introducir y corregir texto
con el teclado; 2) la dificultad para sostener y levantar el móvil; y 3) hacer un toque en el móvil,
presionar botones físicos y usar entrada por voz. Por otro lado, los usuarios con discapacidad
motriz cometen más errores y son más lentos al usar dispositivos móviles que los usuarios sin
discapacidad, además de que en muchos casos no pueden realizar los gestos necesarios para la
interacción; algunos de ellos tienen dificultad incluso para sostener el teléfono y hacer los gestos
básicos (Naftali y Findlater, 2014; Fajardo-Flores, Gaytán-Lugo, Santana-Mancilla y Rodríguez-
Ortiz, 2017). Lo anterior resulta en graves complicaciones para que dichos usuarios realicen
actividades cotidianas, tales como la navegación, la escritura, y en algunos casos la lectura.
Existen distintas propuestas que se han presentado para apoyar a personas con discapacidad motriz.
Con respecto a la navegación, Froehlich, Wobbrock, & Kane (2007) proponen el uso de barreras
físicas en el teléfono para delimitar los bordes de la pantalla, a fin de mejorar la precisión al
apuntar. Su propuesta incluye opciones a lo largo de los bordes horizontales que pueden ser
alcanzados más fácilmente; este diseño está basado en la Ley de Fitts, la cual implica que los
bordes de la pantalla son un objetivo fácil y rápido de alcanzar con un puntero manipulado
18
físicamente con un ratón o una pluma, ya que representan un objeto de dimensiones infinitas al
estar en los límites de la pantalla (Figura 1).
Figura 1. Del lado izquierdo se observa el movimiento hacia los bordes de la pantalla usando
barreras físicas; mientras que en el lado derecho se encuentran las opciones seleccionables en
distintos momentos de la interacción (Froehlich et al., 2007).
Su propuesta ofrece una solución parcial para usuarios con discapacidad motriz, ya que se enfoca
en la navegación únicamente. A fin de facilitar la escritura en dispositivos móviles, Condado,
Godinho, Zacarias, & Lobo (2011) proponen el uso de un teclado virtual con menos y más grandes
teclas, llamado EasyWrite. Este diseño facilita el alcance de las teclas al hacerlas disponibles en
una superficie más grande que en los teclados comunes de móvil; la desventaja que presenta dicha
propuesta es que no todas las teclas están disponibles a la vez en la misma interfaz, sino que el
usuario tiene que realizar la navegación por grupos de teclas (ver Figura 2).
Figura 2. Teclado EasyWrite (Condado et al, 2011)
19
La lectura de contenidos no representa propiamente un reto a los usuarios con discapacidad motriz,
pero a los que tienen discapacidad visual, específicamente a aquellos con ceguera total. Los
lectores de pantalla son una herramienta muy útil para el acceso a contenidos textuales; sin
embargo, a fin de realizar la lectura en dispositivos móviles se requieren gestos que pueden ser
difíciles de ejecutar por una persona con discapacidad motriz; por otro lado, el acceso a los
contenidos textuales en web depende de la accesibilidad del navegador que se esté usando.
Lectura activa
En un sentido general, se le llama lectura activa a la combinación de lectura con pensamiento
crítico y aprendizaje (Tashman, 2010; Adler, & Van Doren, 2014), para lo cual se requiere además
no solo mirar las palabras en una página, sino también subrayar, resaltar y comentar en el texto o
en un cuaderno separado. Desde el punto de vista de la interacción, la lectura activa consiste en
dar al usuario el control del contenido que lee; es decir, permitirle ubicar las secciones,
subsecciones, páginas y otros elementos específicos a voluntad, y navegar libremente a través de
ellos. Este tipo de lectura difiere de la lectura pasiva, en la que el usuario lee o escucha los
contenidos de manera secuencial sin tener el control deseado sobre los mismos.
Una de las alternativas preferidas por las personas con discapacidad motriz y/o visual que requieren
hacer lecturas es grabar contenidos en audio de manera que puedan escucharlos con un
reproductor, el cual les da la posibilidad de avanzar y retroceder, pero no toma en cuenta
marcadores de ningún tipo. Si bien los reproductores de audio dan cierto nivel de control, no
posibilitan la lectura activa que se requiere para analizar y estudiar contenidos, por lo que es
necesario otro tipo de interacción (Abejón Mendoza, Martínez Solana, & Terrón López, 2017).
Una alternativa prometedora de interacción con dispositivos móviles para un usuario con
discapacidad visual y/o motriz es el uso de comandos de voz. Actualmente, los teléfonos móviles
cuentan con asistentes de voz como Siri, Cortana y Google Assistant, los cuales facilitan el acceso
a una gran cantidad de aplicaciones, sin embargo, no cubren las necesidades de interacción para
permitir a los usuarios con estas características la lectura activa de textos. En un caso de estudio
sobre una persona con discapacidad visual y motriz que cursa la maestría en Administración de
Negocios, se detectaron algunas necesidades académicas que no han sido subsanadas mediante el
20
uso de un dispositivo móvil, tales como búsquedas por internet, toma de notas y lectura de
contenidos textuales (Fajardo-Flores et al, 2017). El uso de comandos de voz puede facilitar no
solamente el acceso a contenidos, sino la navegación en los mismos.
Agentes de voz
Desde el inicio de las interfaces de los asistentes de voz, su principal reto ha sido la facilidad de
aprendizaje y descubrimiento, ya que los usuarios podrían asumir que este tipo de sistemas puede
entender más de lo que es capaz, y que podrían no darse cuenta de la funcionalidad que sí tiene.
Al tratarse de una interfaz natural, el usuario puede asumir que puede formular los comandos de
la manera como se comunica con otro humano; por ejemplo, en una aplicación de agenda, la
pregunta “¿Qu tengo ma ana en la ma ana?” es perf ect a ment e ent endi bl e por otr o hu mano, si n
embargo, ha mostrado ser difícil de entender por un agente de voz (Yankelovich, 1996). En el
contexto de dictado de contenidos, la corrección de textos es poco eficiente y muy tardado. En un
estudio de Karat, Halverson, Horn, & Karat, (1999) reportaron que usuarios con experiencia en
aplicaciones de reconocimiento de voz pasaban un 75% del tiempo en acciones de navegación y
corrección, y solo un 25% en dictar contenidos. En el estudio de Feng & Sears (2004) sobre dictado
utilizando software de reconocimiento de voz se propone una técnica de navegación basada en el
uso de anclas en el texto, a través de las cuales se navega con los comandos "Siguiente" y
"Anterior", mientras que los comandos "Mover arriba", "Mover abajo", "Mover a la izquierda" y
"Mover a la derecha", permitían mover el cursor una línea o palabra en la dirección especificada.
El uso de dichos comandos tuvo una eficiencia satisfactoria, con una tasa de error de 5%. Dicho
estudio consistió en evaluar la navegación, y no incluyó la corrección de texto. En un estudio más
reciente, Feng et al. (2011) mejoran la técnica de anclaje y continúan utilizando los comandos de
navegación, esta vez en tareas de dictado y corrección. Ellos explican que, mientras que el uso de
comandos de voz es muy eficiente en el control de dispositivos como las luces o la televisión,
cuando se trata de control de actividades relacionadas con la la navegación, el dictado y corrección
a través de comandos de voz, la dificultad es significativa.
Actualmente, es posible utilizar comandos de voz gracias a agentes como Siri (Apple), Alexa
(Amazon), Cortana (Microsoft) y Google Assistant, además de Dragon Naturally Speaking
(Nuance), el cual antecede a los anteriores, pero no tiene alcance en nuevos dispositivos. Este tipo
22
del contexto, y más adelante se trabajó en una versión que ofrecía comandos dependiendo de la
situación en la que se encontraba el usuario, lo cual tuvo una gran aceptación entre los usuarios.
El objetivo de este trabajo es de diseñar e implementar una aplicación móvil que, por medio de
comandos en una VUI a través de Google Assistant, permita a usuarios con discapacidad visual
y/o motriz realizar la lectura activa de material textual de estudio. Nuestro trabajo se enfoca en
mejorar la navegación en los contenidos.
Desarrollo
Desde 2017 a la fecha se ha dado seguimiento a las necesidades escolares de una estudiante con
discapacidad visual y motriz de la maestría en Administración de Negocios en Colima, México.
Asimismo, se ha trabajado de manera continua en la adaptación de materiales impresos y en PDF
a documentos en Word que cumplan con los requisitos de accesibilidad, a fin de posibilitar el
acceso a la estudiante. Por medio del uso de estilos se establece la estructura jerárquica de los
documentos, así como el uso de viñetas y la inserción de títulos, la descripción de figuras y tablas.
Para una persona con discapacidad visual familiarizada con el uso de un lector de pantallas es
posible realizar la lectura activa en un documento con estas características. Sin embargo, para la
usuaria en cuestión, que además tiene discapacidad motriz, resulta muy complicado realizar
interacciones utilizando las manos ya que carece de la fuerza necesaria; por lo anterior, ella prefiere
que los textos se conviertan a audios para reproducirlos en su dispositivo móvil. La estudiante
utiliza un reproductor de música para escuchar las lecciones, lo cual por un lado le es más
conveniente que navegar en un texto, pero por otro lado no le permite tener el control suficiente
para desplazarse con precisión a las diversas partes del documento. El seguimiento y la
observación de la alumna en cuestión permitió detectar la necesidad de realizar una lectura activa.
Si bien la alumna no es una muestra representativa de la población con discapacidad visual y
motriz, sí nos permite identificar las características y necesidades más importantes de la población
con esta discapacidad en el contexto de la lectura activa. A continuación, se describen las fases de
desarrollo de nuestro proyecto:
23
1. Identificación de los comandos de voz necesarios para realizar la lectura activa
La propuesta de utilizar comandos de voz para permitir la lectura activa de documentos de texto
requiere la identificación de comandos básicos que puedan ser fácilmente aprendidos por los
usuarios potenciales. Las acciones básicas consideradas para realizar una lectura activa son:
Leer documentos disponibles
Leer lista de temas/secciones/capítulos del documento
Leer [Tema/sección] de [documento]
Ir a la sección siguiente
Ir a la sección anterior
Buscar palabra
Ir a la página [x]
Para este prototipo se tomarán en cuenta los siguientes casos:
Listado de libros o documentos registrados
Listado de temas de un documento o libro registrado
Leer el texto de un tema dado de un libro específico
2. Desarrollo del Agente “Lector UCOL”
Para dar soporte a los comandos previamente mencionados se desarrolló un Agente para Google
Assistant denominado “Lector UCOL”. Si bien se consider l a utili zaci n de Amazon Al exa,
preferimos Google Assistant debido a su facilidad de configuración, y a que cuenta con la ventaja
de que se pueden distribuir versiones de prueba sin pasar por el proceso de publicar el agente
diseñado, además de tener acceso a las frases dichas por el usuario en modo texto en nuestro
servidor para poder realizar un análisis de lo dicho durante su interacción con el agente.
Los conceptos clave para el desarrollo de agentes para Google Assistant son:
DialogFlow: Es la plataforma integrada de Google que permite crear interfaces
conversacionales por medio de un poderoso motor de lenguaje natural; esto facilita la tarea,
ya que es dicho motor el encargado de procesar lo que los usuarios dicen a nuestra
aplicación.
24
Action: es el punto de entrada a nuestra aplicación, la parte con la que habla el usuario y
se encarga de interpretar los comandos para desencadenar una interacción.
Intent: es el que representa la tarea que desea realizar el usuario (comandos), este se
configura y entrena para responder a determinadas frases enviadas por el Action, realizar
la interacción y generar una respuesta.
Fullfilment: en este elemento se encuentra la lógica que le da el funcionamiento al Intent.
Webhook: Cuando el Fullfilment detecta que es necesario hacer un llamado a un agente
externo al DialogFlow se configura un Webhook para que la lógica del comando se ejecute
en dicho servicio web externo.
El primer paso fue crear en DialogFlow el Action, que como se mencionó previamente, es el
equivalente a “la aplicaci n; se l e asi gn el n ombr e de “Lector UCOL”. Poster io r ment e se
definieron los Intents que van a permitir la interacción de los usuarios con los textos de estudio;
estos están basados en los comandos que se definieron previamente:
get-documents
Responde a frases tipo:
“Dame los nombres de los [libros/documentos] disponibles"
“Leme los [libros/documentos] disponibles"
“Dame la lista de [libros/documentos] disponibles"
get-topic-list-from-book
Responde a frases tipo:
“Dame la lista de temas del [libro/documento] [Nombre de
libro/documento]"
“Cuáles son los temas del [libro/documento] [Nombre del
libro/documento]"
read-intent
Responde a frases tipo:
“Lee [tema] del [documento/libro] [Nombre del documento/libro]"
25
“Abre el tema [tema] del [documento/libro] [Nombre del documento/libro]"
“Abre el tema [tema] del [documento/libro] [Nombre del documento/libro]"
El “Lector UCOL” requiere de un Webhook para responder con los textos de estudio de los
usuarios, por lo que se desarrolló uno en el lenguaje de programación PHP. Se requirió lo siguiente:
Instalar el manejador y administrador de componentes para PHP
denominado Composer.
Instalar la librería eristemena/dialogflow-fulfillment-webhook-php mediante
composer. Esta librería ya contiene encapsulada la funcionalidad para interactuar
con las llamadas de DialogFlow.
Diseñar una base de datos relacional usando el SGBD MySQL para almacenar los
textos divididos por bloques.
Desarrollar mecanismos de búsqueda según nombre del documento y nombre del
tema/capitulo/bloque de texto, para dar respuesta a los Intents.
La interacción entre el Fulfillment de DialogFlow y nuestro Webhook se dio por medio de una
Interfaz de Programación de Aplicación (API, por sus siglas en inglés), lo que permitió su
vinculación con Google Assistant. La interacción completa de la aplicación puede apreciarse en la
Figura 3. La interacción se desarrolla como sigue: el usuario solicita a Google Assistant hablar con
“Lector UCOL”; ste da una respuesta genrica y pide a DialogFlow la ejecución del agente
“Lector UCOL”. Al encontrar el Action “Lector UCOL”, DialogFlow llama el Intent inicial por
defecto “Welcome” para indicarle al usuario que ya se encuentra en ejecución la aplicación
solicitada. El siguiente paso es solicitar el texto o la información deseada, por lo que el usuario
habla con el asistente para indicarle lo que desea, por medio de uno de los comandos predefinidos;
posteriormente, DialogFlow lo interpreta y lo relaciona con alguno de los Intents creados, el cual
a su vez, ejecuta el Webhook que es el que se encargará de obtener la información deseada y
enviarla al asistente para que se la lea al usuario.
26
Figura 3. Diagrama del flujo de la interacci n de Lect or UCOL ( basado en Cát edra de
Viewnext, 2019)
Después de diseñar y desarrollar el prototipo de software, se realizaron pruebas básicas de
funcionalidad para asegurar que la implementación fue correcta. Las pruebas se realizaron en tres
fases:
Fase 1. Mandar llamar la aplicación con algunas de las frases para verificar que la
respuesta es la esperada. Al crear cada uno de los Intents, sin aún tener el Webhook,
se configuró el asistente para responder a cada una de las frases modelo y se integró
una respuesta estándar para cada uno de los casos.
Fase 2. Una vez desarrollado el sistema PHP que responde al asistente (Webhook),
con la aplicación Postman se envió un JSON de ejemplo para verificar que el
servicio web regresa una respuesta en formato JSON y no un error, para comprobar
que el servicio web estuviera enviando correctamente la respuesta hacia
DialogFlow.
27
Fase 3. Teniendo ya configurado el Action con los Intents identificando
correctamente las frases recibidas, así como las variables incluidas, y teniendo
desarrollado Webhook, se procedió a realizar las pruebas de integración para
comprobar la correcta comunicación entre DialogFlow y el Webhook. Las pruebas
consistieron en configurar un parámetro del DialogFlow para ingresar la url del
WebHook y posteriormente ejecutar la aplicación para verificar que las peticiones
hechas al asistente regresen la respuesta esperada y no un error. En este caso, la
respuesta esperada es el contenido solicitado del material de estudio.
Una vez comprobada la correcta funcionalidad del prototipo, se procedió a poblar la base de datos
con los bloques que componen el material de estudio: temas, capítulos o secciones.
Resultados
El resultado principal, en esta fase del proyecto, es el desarrollo de un prototipo funcional para
lectura activa de un texto por medio de Google Assistant. A continuación, se muestra la interacción
con el usuario en cada Intent.
get-documents
Una vez que el agente identifica la frase, envía al Webhook el nombre del intent y recibe como
resultado el listado de libros o documentos registrados, como se muestra en la Figura 4.
get-topic-list-from-book
En este Intent, el Action debe ser capaz de identificar el nombre del libro o documento para poder
enviarlo al webhook como parámetro. En caso de que el agente sea incapaz de identificar el nombre
del libro, esta lanza al usuario la siguiente pregunta:
“¿Cuál es el nombre del libro que deseas?"
28
Una vez que el agente identifica el nombre del libro o documento lo envía al Webhook junto con
nombre del intent y recibe como resultado el listado de temas/secciones/capítulos registrados del
documento buscado, para ver ejemplo de la conversación ver la Figura 5.
Figura 4. Ejemplo de conversación que activa el Intent get-documents.
Figura 5. Ejemplo de conversación que activa el Intent get-topic-list-from-book.
29
read-intent
En este caso, el agente debe ser capaz de identificar dos variables diferentes, el nombre del tema
y el nombre del libro, en caso de no ser identificados lanza las preguntas.
“¿Cuál es el nombre del libro que deseas?"
“¿Cuál es el nombre del tema a buscar?"
Una vez identificados tanto el nombre del libro como el tema a buscar, se envían como parámetros
junto con el nombre del Intent al Webhook, este a su vez regresa el texto correspondiente tanto en
formato texto como en formato audible. Para un ejemplo de conversación ver la Figura 6.
Figura 6. Ejemplo de conversación que activa el Intent read-intent.
Respecto a las pruebas de funcionalidad realizadas a “Lector UCOL”, se presentan los siguientes
resultados:
30
Fase 1. Se dise una res puest a est ándar : “Entendido, por lo pronto soy un
prototipo”. Esta respuesta sirvi para confi gurar en DialogFlow cada uno de los
Intents y comprobar que respondieron de forma correcta cada vez que el usuario
los invocaba.
Además, se realizaron pruebas con la herramienta de simulación que ofrece Google
llamada Actions console. Dicha herramienta permitió verificar que las variables de
entrada de cada uno de los Intents fueran identificadas correctamente para, en una
fase posterior, poder ser enviadas al servidor que respuesta a las peticiones
(Webhook).
Fase 2. Para probar la funcionalidad del Webhook se utilizó el software Postman,
el cual fue creado para realizar pruebas de API, este software nos permitió verificar
que la funcionalidad del Webhook era correcta y se encontraba listo para integrarse
con el asistente (ver Figura 7).
Figura 7. Uso de postman para probar la funcionalidad del Webhook.
31
Fase 3. Durante las pruebas de integración se identificó la importancia de tener
correctamente configurado el certificado SSL/TLS del servidor para evitar
problemas de comunicación, ya que al inicio no se podía lograr la comunicación
entre DialogFlow y el Webhook, y el problema se debía al certificado.
Discusión y Conclusiones
En este documento se presentó el desarrollo de un prototipo de una interfaz conversacional de
usuario para dispositivos móviles, la cual tiene por objetivo facilitar la lectura activa de textos a
personas con discapacidad visual y/o motriz. El prototipo pasó las pruebas funcionales y está listo
para una primera fase de pruebas con usuarios finales. A nivel de eficiencia, es necesario verificar
si las consideraciones iniciales de comandos son útiles para los usuarios, y a través de la
retroalimentación del usuario y de la observación del mismo utilizando la aplicación, identificar
nuevos comandos que podrían facilitar el acceso al material de estudio. También es necesario
observar el esfuerzo que implica el uso de la aplicación, en el sentido de que requiere que el usuario
presione el botón físico para activar el asistente; lo ideal en este sentido sería que el usuario
utilizara alguna de las bocinas como el Google Home o el Google Home Mini.
Como trabajo futuro se pretende rediseñar la base de datos para poder hacer búsquedas de
información, además de incluir una subdivisión de textos por página, para que en el momento de
que el usuario solicita determinado tema de un libro, el asistente lea la primera página encontrada
y al terminar el asistente quede en espera de un siguiente comando de control que permita la lectura
de la página siguiente o la posterior; para esto se necesita diseñar una estructura que vincule cada
bloque de información en un orden lógico, la cual no fue considerada en este primer prototipo.
El futuro de la interacción de personas con discapacidad visual y motriz en dispositivos móviles
es el uso de comandos de voz. Es necesario orientar esfuerzos para abrir las posibilidades del
acceso de este tipo de usuarios a la educación con equidad de oportunidades. Gracias al desarrollo
actual de la tecnología ya es posible hacerlo, y con este trabajo pretendemos contribuir a dicho
esfuerzo.
32
Referencias
Abejón Mendoza, P., Martínez Solana, M. Y., & Terrón López, M. J. (2017). Propuestas de acción
para la integración de universitarios con discapacidad visual y auditiva ante el reto de
Bolonia. REDU. Revista de Docencia Universitaria, 8(2), 175.
https://doi.org/10.4995/redu.2010.6202
Adler, M. J., & Van Doren, C. (2014). How to read a book: The classic guide to intelligent reading.
New York, New York: Simon and Schuster.
Bennett, B. (2018). Google Assistant is the most accurate digital assistant of 2018: Study.
MobileSyrup. Disponible en: https://mobilesyrup.com/2018/04/27/google-assistant-siri-
alexa-compare/
Bouziane, A., Bouchiha, D., Doumi, N., & Malki, M. (2015). Question Answering Systems:
Survey and Trends. Procedia Computer Science, 73, 366375.
https://doi.org/10.1016/j.procs.2015.12.005
Cátedra de Viewnext. (2019). Tutorial: Cómo desarrollar aplicaciones para el asistente de Google.
Disponible en: https://viewnext.usal.es/blog/tutorial-c%C3%B3mo-desarrollar-
aplicaciones-para-el-asistente-de-google
Condado, P. A., Godinho, R., Zacarias, M., & Lobo, F. G. (2011). EasyWrite: A touch-based entry
method for mobile devices. En Proceedings of the 13th IFIP TC13 International
Conference on Human-Computer Interaction (INTERACT 2011), Workshop on Mobile
Accessibility (MOBACC 2011), 18.
Corbett, E., & Weber, A. (2016). What can I say?: addressing user experience challenges of a
mobile voice user interface for accessibility. En Proceedings of the 18th International
Conference on Human-Computer Interaction with Mobile Devices and Services -
MobileHCI ’16 (pp. 72–82). New York, New York, USA: ACM Press.
https://doi.org/10.1145/2935334.2935386
Fajardo-Flores, S. B., Gaytán-Lugo, L. S., Santana-Mancilla, P. C., & Rodríguez-Ortiz, M. A.
(2017). Mobile Accessibility for People with Combined Visual and Motor Impairment.
En Proceedings of the 8th Latin American Conference on Human-Computer Interaction
-CLIHC ’17 (pp. 1–4). New York, New York, USA: ACM Press.
https://doi.org/10.1145/3151470.3151476
33
Feng, J., & Sears, A. (2004). Using confidence scores to improve hands-free speech based
navigation in continuous dictation systems. ACM Transactions on Computer-Human
Interaction, 11(4), 329356. https://doi.org/10.1145/1035575.1035576
Feng, J., Zhu, S., Hu, R., & Sears, A. (2011). Speech-based navigation and error correction: a
comprehensive comparison of two solutions. Universal Access in the Information
Society, 10(1), 1731. https://doi.org/10.1007/s10209-010-0185-9
Froehlich, J., Wobbrock, J. O., & Kane, S. K. (2007). Barrier pointing: using physical edges to
assist target acquisition on mobile device touch screens. En Proceedings of the 9th
international ACM SIGACCESS conference on Computers and accessibility - Assets ’07
(p. 19). New York, New York, USA: ACM Press.
https://doi.org/10.1145/1296843.1296849
Globalme Language and Technology (2018). A complete guide to speech recognition technology.
Disponible en: https://www.globalme.net/blog/the-present-future-of-speech-recognition
Karat, C.-M., Halverson, C., Horn, D., & Karat, J. (1999). Patterns of entry and correction in large
vocabulary continuous speech recognition systems. En Proceedings of the SIGCHI
conference on Human factors in computing systems the CHI is the limit - CHI ’99 (pp.
568575). New York, New York, USA: ACM Press.
https://doi.org/10.1145/302979.303160
Naftali, M., & Findlater, L. (2014). Accessibility in context. En Proceedings of the 16th
international ACM SIGACCESS conference on Computers & accessibility - ASSETS 14
(pp. 209216). New York, New York, USA: ACM Press.
https://doi.org/10.1145/2661334.2661372
Pundge, A., Khillare, S. A., & Namrata Mahender, C. (2016). Question Answering System,
Approaches and Techniques: A Review. International Journal of Computer Applications,
141(3), 3439. https://doi.org/10.5120/ijca2016909587
Tashman, C. (2010). LiquidText: active reading through multitouch document manipulation. En
Proceedings of the 28th of the international conference extended abstracts on Human
factors in computing systems - CHI EA ’10 (p. 2959). New York, New York, USA: ACM
Press. https://doi.org/10.1145/1753846.1753895
Yankelovich, N. (1996). How do users know what to say? Interactions, 3(6), 3243.
https://doi.org/10.1145/242485.242500
ResearchGate has not been able to resolve any citations for this publication.
Conference Paper
Full-text available
To date, mobile device users with disabilities still have access issues. While there exist satisfactory arrangements focused on specific impairments, users with multiple disabilities still struggle to find acceptable workarounds to everyday tasks that are straightforward for other users. In this paper we present a case study of an iPhone user with combined visual and motor impairment. The study includes the task analysis of some of the user's specific needs in everyday life, the problems faced by the user while trying to do them, a brief description of the workarounds and their degree of usability in terms of efficiency and satisfaction. While the combination of VoiceOver and Siri gives the user some degree of accessibility, the most notorious access problems were the difficulty to do manual gestures involving more than one finger, and editing text with the keyboard. Besides the obvious need to continue analyzing voice and manual interaction modes, it is required the exploration of other gesture controls on the device, or the use of alternative gadgets in order to improve the mobile accessibility of people with multiple disabilities.
Article
Full-text available
The need to query information content available in various formats including structured and unstructured data (text in natural language, semi-structured Web documents, structured RDF data in the semantic Web, etc.) has become increasingly important. Thus, Question Answering Systems (QAS) are essential to satisfy this need. QAS aim at satisfying users who are looking to answer a specific question in natural language. In this paper we survey various QAS. We give also statistics and analysis. This can clear the way and help researchers to choose the appropriate solution to their issue. They can see the insufficiency, so that they can propose new systems for complex queries. They can also adapt or reuse QAS techniques for specific research issues.
Article
Full-text available
El Sistema Europeo de Transferencia de Créditos (ECTS) expresa un auténtico cambio en la metodología de la Educación Superior europea. Un modelo más avanzado en el que el alumno pasa de la docencia por enseñanza, basada en la recepción de conocimientos, a la docencia basada en el aprendizaje, planteada sobre desarrollo de competencias en los estudiantes. Este sistema demanda del profesorado una formación que enseñe a aprender y, por tanto, exige de los estudiantes una mayor responsabilidad en su propia educación, algo que no hace sino agravar las dificultades de los alumnos con deficiencias sensoriales. En las universidades públicas constan 7.408 alumnos con discapacidad, el 0.53% del total de alumnado, según datos del Libro Blanco sobre Discapacidad en la Universidad realizado en base a datos del CERMI. En cuanto a las universidades privadas, y con los datos disponibles, el porcentaje de alumnado con discapacidad es del 0.24%. La Ley Orgánica de Universidades exige la atención individualizada a los estudiantes con discapacidad, pero en la práctica podemos constatar como aún siguen existiendo barreras originadas, sobre todo, por una todavía deficiente organización educativa y un casi inexistente material académico adaptado a las necesidades especiales que requieren.
Conference Paper
Full-text available
A study was conducted to evaluate user performance andsatisfaction in completion of a set of text creation tasks usingthree commercially available continuous speech recognition systems.The study also compared user performance on similar tasks usingkeyboard input. One part of the study (Initial Use) involved 24users who enrolled, received training and carried out practicetasks, and then completed a set of transcription and compositiontasks in a single session. In a parallel effort (Extended Use),four researchers used speech recognition to carry out real worktasks over 10 sessions with each of the three speech recognitionsoftware products. This paper presents results from the Initial Usephase of the study along with some preliminary results from theExtended Use phase. We present details of the kinds of usabilityand system design problems likely in current systems and severalcommon patterns of error correction that we found.
Conference Paper
Voice interactions on mobile phones are most often used to augment or supplement touch based interactions for users' convenience. However, for people with limited hand dexterity caused by various forms of motor-impairments voice interactions can have a significant impact and in some cases even enable independent interaction with a mobile device for the first time. For these users, a Mobile Voice User Interface (M-VUI), which allows for completely hands-free, voice only interaction would provide a high level of accessibility and independence. Implementing such a system requires research to address long standing usability challenges introduced by voice interactions that negatively affect user experience due to difficulty learning and discovering voice commands. In this paper we address these concerns reporting on research conducted to improve the visibility and learnability of voice commands of a M-VUI application being developed on the Android platform. Our research confirmed long standing challenges with voice interactions while exploring several methods for improving the onboarding and learning experience. Based on our findings we offer a set of implications for the design of M-VUIs.
Article
Lab-based studies on touchscreen use by people with motor impairments have identified both positive and negative impacts on accessibility. Little work, however, has moved beyond the lab to investigate the truly mobile experiences of users with motor impairments. We conducted two studies to investigate how smartphones are being used on a daily basis, what activities they enable, and what contextual challenges users are encountering. The first study was a small online survey with 16 respondents. The second study was much more in depth, including an initial interview, two weeks of diary entries, and a 3-hour contextual session that included neighborhood activities. Four expert smartphone users participated in the second study and we used a case study approach for analysis. Our findings highlight the ways in which smartphones are enabling everyday activities for people with motor impairments, particularly in overcoming physical accessibility challenges in the real world and supporting writing and reading. We also identified important situational impairments, such as the inability to retrieve the phone while in transit, and confirmed many lab-based findings in the real-world setting. We present design implications and directions for future work.
Article
Mobile phones and personal digital assistants (PDAs) are incredibly popular pervasive technologies. Many of these devices contain touch screens, which can present problems for users with motor impairments due to small targets and their reliance on tapping for target acquisition. In order to select a target, users must tap on the screen, an action which requires the precise motion of flying into a target and lifting without slipping. In this paper, we propose a new technique for target acquisition called barrier pointing, which leverages the elevated physical edges surrounding the screen to improve pointing accuracy. After designing a series of barrier pointing techniques, we conducted an initial study with 9 able-bodied users and 9 users with motor impairments in order to discover the parameters that make barrier pointing successful. From this data, we offer an in-depth analysis of the performance of two motor-impaired users for whom barrier pointing was especially beneficial. We show the importance of providing physical stability by allowing the stylus to press against the screen and its physical edge. We offer other design insights and lessons learned that can inform future attempts at leveraging the physical properties of mobile devices to improve accessibility.