Content uploaded by Pedro Luis Mateo Navarro
Author content
All content in this area was uploaded by Pedro Luis Mateo Navarro on Sep 03, 2014
Content may be subject to copyright.
Pedro Mateo, Diego Sevilla y Gregorio Martínez
CARIM: Un Modelo de Interacción
para el Análisis de la QoE en
Entornos Móviles
Este artículo describe un
nuevo enfoque para modelar
la calidad de la experiencia
de los usuarios (QoE) en
entornos móviles. El mode-
lo presentado tiene el nom-
bre de CARIM, e intenta dar
respuesta a las siguientes
preguntas: ¿cómo se puede
medir la QoE en entornos
móviles a partir del análisis
de la interacción usuario-
sistema? ¿cómo se pueden
comparar y contrastar dife-
rentes medidas de QoE?
Para ello, CARIM utiliza un
conjunto de parámetros con
los que describe, paso a
paso, la interacción entre el
usuario y el sistema, el con-
texto en el cual se produce
esta interacción, y el nivel
de calidad percibido por los
usuarios. Estos parámetros
se estructuran dentro de un
modelo, lo que proporciona
(1) una representación co-
mún de cómo transcurre el
proceso de interacción en
diferentes entornos móviles
y (2) una base para calcular
la QoE automáticamente así
como para comprar diferen-
tes registros de interacción.
CARIM es un modelo en
tiempo real que permite el
análisis dinámico de la in-
teracción, así como la toma
de decisiones basadas en
un cierto nivel de QoE en
tiempo de ejecución. Esto
es utilizado por ciertas apli-
caciones durante la ejecu-
ción para adaptarse y así
proporcionar una mejor ex-
periencia a los usuarios.
A modo de conclusión, CA-
RIM proporciona un criterio
unificado con el cual cal-
cular, analizar y comprar la
QoE en sistemas móviles de
distinta naturaleza.
Resumen
Pedro Mateo, Diego Sevilla y Gregorio Martínez
CARIM: Un Modelo de Interacción para el Análisis de la
QoE en Entornos Móviles
p59
1 Interfaces de Usuario Distribuidas
Los entornos móviles son aquellos en los que encontramos una serie
de personas con sus dispositivos móviles, los cuales están continua-
mente en movimiento en un entorno difuso y cambiante [9]. En estos
entornos participan numerosos elementos que pueden ser analizados. No
sólo tenemos el usuario y el dispositivo móvil, sino también el propio pro-
ceso de interacción entre ellos, el contexto que los rodea y la calidad de
la experiencia del propio usuario (i.e., la QoE). Por lo tanto, estos entornos
plantean un nuevo desafío para el análisis de la interacción y las experien-
cias de los usuarios con sus dispositivos y aplicaciones móviles. A esto se
une la existente y urgente necesidad de herramientas que nos permitan
modelar y analizar la interacción y su contexto desde un punto de vista más
genérico y uniforme [2].
La QoE es una medida subjetiva que mide la experiencia de un usuario
con un servicio. Ésta se basa en los propios sentimientos de los usuarios
cuando realizan una tarea específica [27, 5, 19] y engloba aspectos como
el comportamiento de los usuarios y su estado cognitivo y psicológico, así
como el contexto en el cual los servicios son proporcionados. El contexto
es un elemento esencial en la experiencia de los usuarios con productos y
servicios móviles [13]. Por contexto entendemos cualquier dato utilizado
para caracterizar la situación de una entidad (e.g., persona, lugar, objeto) y
que se considere relevante para el análisis de la interacción usuario-siste-
ma.
Como podemos leer en [10], hasta el momento no se conoce ninguna
metodología robusta que combine, por una parte procesos de análisis
cualitativo para la evaluación de la usabilidad del sistema, y por otra parte
procesos de análisis cuantitativo para la evaluación del rendimiento del
usuario y la calidad del servicio. Para intentar dar solución a este problema,
este trabajo propone incorporar información sobre el contexto y sobre la
calidad percibida por los usuarios dentro de un método para el análisis de
la interacción usuario-sistema.
58 - 73
Sin embargo, integrar este tipo de datos de naturaleza tan diferente no es
tarea sencilla. Primero tenemos el problema de que existe un bajo nivel de
estandarización a la hora de definir el contexto de una aplicación móvil [9].
Otro problema consiste en tratar la gran variedad y diversidad de datos
sobre la interacción y el contexto, así como decidir cuáles de ellos son útiles
para medir la QoE en escenarios móviles [19]. Finalmente, cómo integrar
estos datos en un proceso automático para el análisis de la interacción
usuario-sistema es también un problema a resolver [10].
En este contexto, este trabajo presenta el diseño de CARIM, un modelo
dinámico que integra diferentes parámetros para describir la interacción
entre el usuario y el sistema paso a paso. CARIM también incluye paráme-
tros para describir el entorno que rodea al usuario con el fin de permitir el
análisis de la interacción móvil. Además, el modelo propuesto también in-
cluye parámetros para describir la percepción de la calidad de los usuarios.
Como resultado, las instancias de CARIM proporcionan una base común
para calcular y comparar la QoE en sistemas de diferente naturaleza. Estas
instancias también permiten la toma de decisiones en tiempo real con el
objetivo de adaptar las aplicaciones y ofrecer así una mejor experiencia a
los usuarios.
2 El Diseño De Carim
El diseño que proponemos en este trabajo está basado en PALADIN [16,
17, 18], un modelo destinado a cuantificar y describir de forma dinámica
(i.e., paso a paso) el proceso de interacción en entornos multimodales.
Este modelo fue resultado de un trabajo conjunto entre la Cátedra SAES de
la Universidad de Murcia [4] y Telekom Innovation Laboratories [22].
El diseño de CARIM incluye datos sobre el proceso de interacción entre el
usuario y el sistema (proporcionados por PALADIN) junto con datos sobre el
contexto donde este proceso de interacción es realizado. También incluye
valoraciones de los usuarios sobre la calidad del producto o servicio utiliza-
do. Todos estos datos son estructurados en una representación común con
el objetivo de servir como base para calcular, analizar y comparar la QoE de
cualquier sistema.
La Figura 1 muestra una visión global de CARIM y los distintos tipos de pa-
rámetros que incluye. Estos parámetros se pueden dividir en tres categorías
principales:
Pedro Mateo, Diego Sevilla y Gregorio Martínez
CARIM: Un Modelo de Interacción para el Análisis de la
QoE en Entornos Móviles
58 - 73
p61
· Interacción usuario-sistema: parámetros usados para describir y cuanti-
ficar el proceso de interacción (e.g., número de datos proporcionados por
el sistema, tiempo medio de reacción del usuario). Estos parámetros son
heredados del modelo base PALADIN.
· Contexto: parámetros que describen el contexto donde se realiza el pro-
ceso de interacción (e.g., tamaño de la pantalla, localización del usuario,
número de personas alrededor).
· Valoraciones del usuario: parámetros utilizados para medir la calidad que
percibe el usuario sobre el producto o servicio que está utilizando (e.g., sim-
plicidad de uso del sistema, aspectos del producto que motivan al usuario,
calidad del aspecto exterior.)
Figura 1: Distintas categorías de parámetros que incluye CARIM
La mayoría de estos parámetros pueden ser obtenidos de forma automá-
tica mientras el usuario interactúa con el sistema. Por ejemplo, se pueden
utilizar herramientas de extracción del estilo de Android HCI Extractor [15].
Incluso aquellos parámetros basados en opiniones y juicios subjetivos
del usuario pueden obtenerse automáticamente en el propio dispositivo
mediante el uso de aplicaciones de cuestionario. En casos excepcionales
puede que las limitaciones de la tecnología obliguen a que se requiera la
anotación de algunos de los parámetros de forma manual.
La Figura 2 muestra una versión simplificada del diseño propuesto. CARIM
está estructurado en torno al concepto de ensayo. Un ensayo se puede
definir como “uno o varios diálogos pertenecientes a un mismo experimento
destinado a medir una experiencia de uso concreta”. A su vez, un diálogo
se puede definir como “una secuencia de turnos que son producidos alter-
nativamente por cada una de las dos partes (usuario y sistema) que parti-
cipan en el proceso de interacción” (Moller, [20]). Por otra parte, el sujeto
del modelo (concepto introducido por Bolchini et al. en [3]) es el usuario.
CARIM asume que existe un único usuario realizando una única tarea y utili-
zando un único dispositivo. Además, el contexto se describe desde el punto
de vista del propio usuario (i.e., como si fuera percibido por él o ella).
Los parámetros relacionados con el usuario (e.g., edad, nivel cultural) y
con su percepción de la calidad son de carácter más estático y por tanto se
anotan a nivel de ensayo. Esto significa que, durante un experimento, estos
Figura 2: Diseño propuesto para CARIM (versión simplicada).
Pedro Mateo, Diego Sevilla y Gregorio Martínez
CARIM: Un Modelo de Interacción para el Análisis de la
QoE en Entornos Móviles
58 - 73
p63
datos sólo se obtienen una vez (o más de una si fuese necesario) para el
conjunto de diálogos que componen el experimento completo. Sin embar-
go, los parámetros de contexto suelen tener un carácter más dinámico (e.g.,
orientación de la pantalla, nivel de señal 3G) y por tanto se anotan a nivel de
turno. Esto significa que se anotan paso a paso durante el proceso de inte-
racción. Esto permite describir la evolución del contexto en el tiempo como
proponía Jaroucheh et al. En [11] y nos permite analizarlo en todos los los
dominios que visita el usuario durante el experimento.
2.1 Partiendo de un Modelo de Interacción
Multimodal: PALADIN
CARIM está basado en PALADIN, el cual utiliza cuatro tipos de parámetros
para describir el proceso de interacción en entornos multimodales (Figura 2,
elementos coloreados en gris claro): (1) contenido de la comunicación, (2)
meta-comunicación, (3) información sobre la entrada y salida y (4) informa-
ción sobre las modalidades utilizadas. Al igual que se pretende con CARIM,
PALADIN proporciona una descripción dinámica (i.e., turno a turno) de la
interacción multimodal. Esto permite crear una relación entre los datos del
modelo y el tiempo, lo que permite implementar distintos tipos de análisis
dinámico del proceso de interacción.
El conjunto de parámetros que incluye PALADIN está basado parcialmen-
te en el trabajo de Möller y Kühnel [14, 21]. PALADIN utiliza parámetros
más genéricos y abstractos para que las diferentes modalidades puedan
ser analizadas utilizando las mismas métricas. Al mismo tiempo, PALADIN
utiliza una serie de parámetros más específicos destinados a describir las
particularidades de cada una de las diferentes modalidades y así permitir
un análisis más profundo cuando sea necesario. Como resultado, la interac-
ción en diferentes modalidades se describe utilizando las mismas métricas,
las cuales se organizan en una estructura común independientemente del
sistema que estemos analizando. Esto permite a los diseñadores y desarro-
lladores comparar fácilmente diferentes registros de interacción sin importar
de donde hayan sido obtenidos.
Por lo tanto, PALADIN proporciona una base idónea sobre la cual desarro-
llar nuestro nuevo modelo. Ya que el modelo base sólo describe la interac-
ción entre el usuario y el sistema, en este trabajo se le añaden nuevos pará-
metros para medir la QoE en entornos móviles. Por una parte se le añaden
parámetros para describir el contexto móvil donde tiene lugar el proceso
de interacción. Por otra parte se añaden nuevos parámetros que permiten
medir la usabilidad del producto o servicio que se está usando.
2.2 Incorporando información sobre el Contexto
Se ha analizado el estado del arte con el objetivo de encontrar aquellos
factores del contexto que puedan afectar a la experiencia de los usuarios
en entornos móviles. Tras este análisis, se han seleccionado un conjunto de
parámetros dividido en seis categorías inspiradas en las ocho que propo-
nen Korhonen et al. en [13].
Como resultado, CARIM describe el contexto de interacción utilizando seis
dimensiones diferentes: Contexto físico, Usuario, Contexto social, Contexto
espacio-temporal, Dispositivo y Conectividad. La Tabla 1 muestra algunos
ejemplos de estos atributos de contexto. Tras algunos experimentos pudi-
mos confirmar que este conjunto de parámetros es suficiente para describir
las condiciones externas que rodean al usuario mientras realiza una tarea o
utiliza un servicio en su dispositivo móvil.
Dimensión del Contexto Atributos
Entorno físico Temperatura, clima,...
Usuario Edad, género, nivel de edu-
cación,...
Contexto social Compañía, tipo de entorno
social,...
Contexto espacio-temporal Localización, nivel de movili-
dad actual,...
Dispositivo Tipo, tamaño de pantalla,
carga de CPU,...
Conectividad Tipo de acceso, fuerza de la
señal,...
Tabla 1: Dimensiones del contexto y ejemplos de atributos.
El proceso de interacción es dinámico por naturaleza, especialmente en los
entornos móviles. Este proceso puede describirse como un flujo de accio-
Pedro Mateo, Diego Sevilla y Gregorio Martínez
CARIM: Un Modelo de Interacción para el Análisis de la
QoE en Entornos Móviles
58 - 73
p65
nes e intercambio de información entre el usuario y el sistema, el cual tiene
lugar en un contexto que cambia en el tiempo. Esto queda reflejado en el
diseño final de CARIM, cuya estructura está especialmente influenciada por
el carácter estático o dinámico de los parámetros que describen el contexto
de interacción.
2.3 Incorporando las Valoraciones de los Usuarios
El diseño de CARIM también incorpora la percepción de calidad de los
usuarios. Como podemos leer en [10], las valoraciones de los usuarios son
puramente subjetivas. Se trata de evaluaciones puntuales que son propor-
cionadas por los usuarios en base a la percepción obtenida tras un episodio
concreto de uso de una aplicación o servicio.
CARIM utiliza un conjunto de parámetros para describir las impresiones y
valoraciones de los usuarios, así como algunos factores que influyen en
ellas. Como se puede ver en la Tabla 2, existen parámetros que se utilizan
para evaluar la calidad percibida por los usuarios durante el proceso de inte-
racción. Además podemos encontrar otros parámetros que se utilizan para
describir algunas particularidades de la personalidad de los usuarios, así
como su estado emocional durante el proceso de evaluación.
Dimensión de las
valoraciones Atributos
Calidad percibida:
- calidad pragmática (PQ)
- calidad hedónica (HQ)
- atractivo (ATT)
Práctico, predecible,...
Estilizada, premium, fascinante,...
Bonito, bueno,...
Estado de humor del usuario Se mide con una escala gráfica que
va desde el 0 (muy triste) hasta el 4
(muy feliz)
Actitud hacia el uso de la tecnología Cuestionario de 5 preguntas
Tabla 2: Parámetros utilizados para medir las valoraciones de los usuarios.
Con el objetivo de evaluar la calidad de la interacción CARIM utiliza la ver-
sión “mini” de AttrakDiff [8]. Este cuestionario está basado en el modelo de
experiencia del usuario propuesto por Hassenzahl, el cual usa 10 pares de
adjetivos opuestos para evaluar la calidad pragmática (i.e., la usabilidad), la
calidad hedónica (i.e., cómo de estimulante es un producto y en que medi-
da el producto permite a los usuarios identificarse con él) y el atractivo del
producto que se está utilizando. Cada uno de estos pares de adjetivos se
evalúa utilizando una escala Likert de siete puntos. AttrakDiff proporciona un
mecanismo adecuado y fiable para evaluar la calidad percibida por el usua-
rio en sistemas monomodales y multimodales [24, 23].
Sin embargo, la QoE es individual para cada usuario y depende de su per-
sonalidad y su estado actual en el momento en que ésta es cuantificada [6].
Algunos autores demostraron que tanto el estado de humor de los usuarios
como su actitud hacia el uso de la tecnología son dos de los factores que
más influyen en la percepción de la calidad de una persona [12, 1, 25]. Por
lo tanto, estos dos parámetros también fueron incorporados a modelo que
proponemos en este trabajo.
Para medir el estado de humor de los usuarios CARIM utiliza una escala de
expresiones faciales (i.e., escala gráfica que muestra diferentes estados de
humor). Este método ha sido bastante utilizado en la literatura para medir el
estado de humor o el dolor en usuarios y pacientes. En este trabajo se creó
una versión adaptada de la escala propuesta por Wong en [6]. La nueva
escala se compone de cinco expresiones faciales en vez de las seis origina-
les, y sus valores van desde “muy triste” a “muy contento”. Esto nos permite
tener una escala mejor balanceada, incluyendo una expresión neutral que
representa el “centro” de la escala, lo que nos permite simplificar el proceso
de medición.
Para medir la actitud de los usuarios hacia el uso de la tecnología usamos
una versión adaptada de ATTIS, una escala de seis elementos propuesta
por Hassad en [7]. La nueva escala se compone de cinco elementos, e
incluye preguntas más genéricas y orientadas a evaluar el uso de la tecnolo-
gía en un contexto más amplio que la escala original. Cada una de las cinco
preguntas evalúa una faceta diferente: (1) utilidad percibida, (2) afabilidad
percibida, (3) integración de la tecnología, (4) eficacia e intencionalidad y
(5) confort percibido. Cada uno de estos elementos se evalúa utilizando una
escala Likert de cinco puntos.
Pedro Mateo, Diego Sevilla y Gregorio Martínez
CARIM: Un Modelo de Interacción para el Análisis de la
QoE en Entornos Móviles
58 - 73
p67
3. Conclusiones Y Trabajo Futuro
Este trabajo describe un modelo dinámico destinado a (1) describir y cuanti-
ficar la interacción entre el usuario y el sistema, (2) describir el contexto que
les rodea y su evolución en el tiempo y (3) recoger la percepción de calidad
del producto o servicio por parte del usuario.
Este modelo está basado en un conjunto de parámetros que describen la
interacción entre el usuario y el sistema. Estos parámetros son integrados
en una representación genérica y reutilizable (i.e., el modelo) lo que pro-
porciona un criterio único para describir, analizar y comparar el proceso
de interacción en diferentes entornos y sistemas móviles. Las instancias
de CARIM pueden ser analizadas y/o comparadas independientemente de
la aplicación o servicio que se esté testando, del entorno de interacción, e
incluso de las distintas modalidades que se estén utilizando para la entrada
y salida de información.
La naturaleza runtime de CARIM crea un enlace entre el tiempo, los datos
de interacción y contexto, y las valoraciones de los usuarios. Esta caracterís-
tica abre nuevas posibilidades de análisis dinámico de la QoE de los usua-
rios. Como resultado, la QoE calculada para un usuario (cálculo basado en
una instancia del modelo) puede analizarse e interpretarse en términos de
qué acciones realizó el usuario y cómo las llevó a cabo, en qué condiciones,
y cuál era su estado emocional y su percepción de la calidad en ese preci-
so instante. Esto también permite a las aplicaciones sensibles al contexto
tomar decisiones de adaptación en base a valores actuales de QoE, y así
proporcionar una mejor experiencia a los usuarios.
Los parámetros incluidos en CARIM han sido cuidadosamente escogidos
para que puedan ser obtenidos de forma automática y utilizando las capa-
cidades ofrecidas por los dispositivos actuales. Con esto se intenta evitar el
uso de sensores especiales y otros métodos con alto coste. Herramientas
del estilo de Android HCI Extractor [15] facilitan la incorporación del mo-
delo propuesto en aplicaciones reales y en dispositivos tales como tablets,
smartphones, smart TV, etc. De la misma forma se evita que la realización de
experimentos quede reducida sólo a entornos de laboratorio [9].
Existen todavía algunos problemas por resolver antes de poder llevar a cabo
la implementación final de CARIM. Uno de ellos es lidiar con la gran canti-
dad, variedad y diversidad de parámetros de contexto disponibles. Se debe
escoger un conjunto de parámetros lo más pequeño posible pero suficiente
para permitir el análisis del contexto que rodea al usuario y al sistema en
entornos móviles. También es necesario escoger un nivel de abstracción
adecuado para estos parámetros (e.g., considerar al usuario en una coorde-
nada geográfica vs. considerar al usuario en un entorno como la oficina, su
casa, etc.) Otro problema importante consiste en obtener automáticamente
los datos cognitivos y subjetivos que forman parte del modelo, i.e., el estado
emocional del usuario, su percepción de la calidad y su actitud frente al uso
de la tecnología. Finalmente, el problema de la privacidad de los usuarios
también debería ser tratado.
Una vez resueltos estos problemas, el objetivo final de este trabajo de inves-
tigación es proporcionar una implementación open-source de CARIM así
como de todas aquellas librerías y herramientas necesarias para que pueda
ser fácilmente integrado en proyectos reales de análisis de la experiencia
del usuario. La evolución de este proyecto puede ser seguida en esta web:
http://www.catedrasaes.org/wiki/Carim
4. Agradecimientos
Este artículo ha sido parcialmente financiado por la Cátedra SAES de la
Universidad de Murcia [4], una iniciativa conjunta entre SAES (http://www.
electronica-submarina.com) y la Universidad de Murcia (http://www. um.es)
con el objetivo de trabajar en software de código abierto, herramientas de
pruebas y en sistemas de información en tiempo real.
Pedro Mateo, Diego Sevilla y Gregorio Martínez
CARIM: Un Modelo de Interacción para el Análisis de la
QoE en Entornos Móviles
58 - 73
p69
5. Bibliografía
1. Bowen, J., Reeves, S.: [1] A. D. Angeli, J. Hartmann, and
A. G. Sutcliffe. The effect of brand on the evaluation of web-
sites. In T. Gross, J. Gulliksen, P. Kotzé, L. Oestreicher, P. A. Palanque, R.
O. Prates, and M. Winckler, editors, INTERACT (2), volume 5727 of Lecture
Notes in Computer Science, pages 638–651. Springer, 2009.
[2] C. Bolchini, C. A. Curino, E. Quintarelli, F. A. Schreiber,
and L. Tanca. A data-oriented survey of context models. SIGMOD Rec.,
36:19–26, December 2007.
[3] C. Bolchini, C. A. Curino, E. Quintarelli, F. A. Schreiber,
and L. Tanca. A data-oriented survey of context models. volume 36, De-
cember 2007.
[4] Cátedra SAES Laboratories, University of Murcia, Spain.
http://www.catedrasaes.org.
[5] K.-T. Chen, C.-J. Chang, C.-C. Wu, Y.-C. Chang, and C.-L.
Lei. Quadrant of euphoria: a crowdsourcing platform for qoe assessment.
IEEE Network, 24(2):28–35, 2010.
[6] M. Fiedler, S. Moller, and P. Reichl. Quality of experience: From
user perception to instrumental metrics (dagstuhl seminar 12181). Dagstu-
hl Reports, 2(5):1–25, 2012.
[7] R. Hassad. Faculty attitude toward technology-assisted instruction
for introductory statistics in the context of educational reform. In IASE 2012.
Technology in Statistics Education: Virtualities and Realities, Cebu City, The
Philippines, 2012.
[8] M. Hassenzahl, M. Burmester, and F. Koller. Attrakdiff: Ein
fragebogen zur messung wahrgenommener hedonischer und pragmatis-
cher qualitat. (a questionnaire for measuring perceived hedonic and prag-
matic quality). In G. Szwillus and J. Ziegler, editors, Mensch & Computer,
pages 187–196. Teubner, 2003.
[9] J. Hong, E. Suh, and S. Kim. Context-aware systems: A literatu-
re review and classification. Expert Systems with Applications, 36(4):8509
– 8522, 2009.
[10] S. Ickin, K. Wac, M. Fiedler, L. Janowski, J.-H. Hong,
and A. K. Dey. Factors influencing quality of experience of commonly
used mobile applications. IEEE Communications Magazine, 50(4):48–56,
2012.
[11] Z. Jaroucheh, X. Liu, and S. Smith. Recognize contextual
situation in pervasive environments using process mining techniques. J.
Ambient Intelligence and Humanized Computing, 2(1):53–69, 2011.
[12] D. Kahneman, E. Diener, and N. Schwarz. Well-being: The
foundations of hedonic psychology. Russell Sage Foundation Publications,
2003.
[13] H. Korhonen, J. Arrasvuori, and K. Väananen-Vainio-Mat-
tila. Analysing user experience of personal mobile products through con-
textual factors. In M. C. Angelides, L. Lambrinos, M. Rohs, and E. Rukzio,
editors, MUM, page 11. ACM, 2010.
[14] C. Kühnel, B. Weiss, and S. Möller. Parameters describing
multimodal interaction - Definitions and three usage scenarios. In T. Koba-
yashi, K. Hirose, and S. Nakamura, editors, Proceedings of the 11th Annual
Conference of the ISCA (Interspeech 2010), pages 2014–2017, Makuhari,
Japan, 2010. ISCA.
[15] P. Mateo. Android HCI Extractor for API11. https://github.com/pe-
dromateo/android-hci-extractor-AHE11, 2013. [Online accessed Apr. 2014].
[16] P. Mateo and S. Hillmann. Model-based Measurement of Hu-
man-Computer Interaction in Mobile Multimodal Environments. In NordiCHI.
ACM, 2012.
[17] P. Mateo and S. Hillmann. PALADIN: a Run-time Model for Auto-
matic Evaluation of Multimodal Interfaces. http://www.catedrasaes.org/wiki/
MIM, 2012. [Online accessed Apr. 2014].
[18] P. Mateo and S. Hillmann. PALADIN metamodel implementation.
https://github.com/pedromateo/paladin, 2012. [Online accessed Apr. 2014].
Pedro Mateo, Diego Sevilla y Gregorio Martínez
CARIM: Un Modelo de Interacción para el Análisis de la
QoE en Entornos Móviles
58 - 73
p71
[19] K. Mitra, A. B. Zaslavsky, and C. Ahlund. A probabilistic
context-aware approach for quality of experience measurement in pervasive
systems. In W. C. Chu, W. E. Wong, M. J. Palakal, and C.-C. Hung, editors,
SAC, pages 419–424. ACM, 2011.
[20] S. Moller. Quality of Telephone-Based Spoken Dialogue Systems.
Springer, New York, United States, 2005. [21] S. Moller. Parameters descri-
bing the interaction with multimodal dialogue systems. ITU-T Recommen-
dation Supplement 25 to P-Series Rec., International Telecommunication
Union, Geneva, Switzerland, January 2011.
[22] Telekom Innovation Laboratories, Berlin, Germany. http://
www.laboratories.telekom.com.
[23] I. Wechsung, K.-P. Engelbrecht, A. B. Naumann, S. Scha-
ffer, J. Seebode, F. Metze, and S. Moller. Predicting the quality of
multimodal systems based on judgments of single modalities. In INTERS-
PEECH, pages 1827–1830. ISCA, 2009.
[24] I. Wechsung and A. Naumann. Evaluation methods for multi-
modal systems: A comparison of standardized usability questionnaires. In E.
Andr´e, L. Dybkjaer, W. Minker, H. Neumann, R. Pieraccini, and M. Weber,
editors, PIT, volume 5078 of Lecture Notes in Computer Science, pages
276–284. Springer, 2008.
[25] I. Wechsung, M. Schulz, K.-P. Engelbrecht, J. Niemann,
and S. Moller. All users are (not) equal - the influence of user charac-
teristics on perceived quality, modality choice and performance. In R. L.-C.
Delgado and T. Kobayashi, editors, Proceedings of the Paralinguistic Infor-
mation and its Integration in Spoken Dialogue Systems Workshop, pages
175–186. Springer New York, 2011.
[26] D. Wong and C. Baker. Pain in children: comparison of as-
sessment scales. IJI, 50:7, 1988.
[27] W. Wu, M. A. Arefin, R. Rivas, K. Nahrstedt, R. M.
Sheppard, and Z. Yang. Quality of experience in distributed interactive
multimedia environments: toward a theoretical framework. In W. Gao, Y. Rui,
A. Hanjalic, C. Xu, E. G. Steinbach, A. El-Saddik, and M. X. Zhou, editors,
ACM Multimedia, pages 481–490. ACM, 2009.
Sobre los autores
Pedro Mateo es Ingeniero en Informática por la Universi-
dad de Murcia (UMU) donde realiza su doctorado en “Cali-
dad del Software y Calidad de la Interacción Humano-Má-
quina” a la vez que trabaja en la Cátedra SAES para I+D+i.
Ha participado en distintos proyectos de investigación y
desarrollo relacionados con las pruebas de software (QA)
y con el análisis de la interacción entre el usuario, los siste-
mas y el entorno que los rodea.
pedromateo@um.es
Diego Sevilla Ruiz es Doctor en Ingeniería Informática
por la Universidad de Murcia (UMU) donde trabaja como
profesor. Sus áreas de trabajo e investigación se centran en
los sistemas distribuidos, el desarrollo de software basado
en modelos, la programación funcional y el testing de inter-
faces de usuario.
dsevilla@um.es
Gregorio Martínez es Doctor en Ingeniería Informática
por la Universidad de Murcia (UMU) donde trabaja como
profesor. Ha participado en distintos proyectos e iniciativas
relacionados con las comunicaciones distribuidas y la segu-
ridad de las mismas y desde hace unos pocos años se ha
incorporado una línea de trabajo relacionada con la mejora
de las interacciones humano-máquina.
gregorio@um.es
Pedro Mateo, Diego Sevilla y Gregorio Martínez
CARIM: Un Modelo de Interacción para el Análisis de la
QoE en Entornos Móviles
Este artículo describe un nuevo enfoque para modelar la calidad de
la experiencia de los usuarios (QoE) en entornos móviles. El modelo
presentado tiene el nombre de CARIM, e intenta dar respuesta a las
siguientes preguntas: ¿cómo se puede medir la QoE en entornos móviles
a partir del análisis de la interacción usuario-sistema? ¿cómo se pueden
comparar y contrastar diferentes medidas de QoE?
Para ello, CARIM utiliza un conjunto de parámetros con los que describe,
paso a paso, la interacción entre el usuario y el sistema, el contexto en el
cual se produce esta interacción, y el nivel de calidad percibido por los
usuarios. Estos parámetros se estructuran dentro de un modelo, lo que
proporciona (1) una representación común de cómo transcurre el proceso
de interacción en diferentes entornos móviles y (2) una base para calcular
la QoE automáticamente así como para comprar diferentes registros de
interacción.
CARIM es un modelo en tiempo real que permite el análisis dinámico de
la interacción, así como la toma de decisiones basadas en un cierto nivel
de QoE en tiempo de ejecución. Esto es utilizado por ciertas aplicaciones
durante la ejecución para adaptarse y así proporcionar una mejor
experiencia a los usuarios.
A modo de conclusión, CARIM proporciona un criterio unificado con el
cual calcular, analizar y comprar la QoE en sistemas móviles de distinta
naturaleza.
CARIM: Un Modelo de Interacción para el Análisis de la QoE
en Entornos Móviles
© Leonardo Infante
