Localización de eventos táctiles en Interacción Humano-Robot

Abstract

Resumen En la actualidad, el sentido del tacto juega un papel importante en la Interacción Humano-Robot, sobre todo si pensamos en robótica social, donde la proximidad al robot es aún mayor. Nuevos desafíos se abren para dotar a los robots de mayor capacidad de interactuar con el usuario. Hasta la fecha, la mayor parte de sistemas que permiten reconocer el contacto físico con un robot se han basado en sensores capacitivos, de fuerza o de temperatura. En este trabajo se profundiza en la aproximación, seguida en trabajos previos, de integrar en robots sociales sensores sensibles a las vibraciones, específicamente micrófonos de contacto, como alternativa a los anteriormente citados. Una de las ventajas que proporcionan estos dispositivos es que son capaces de detectar el contacto no sólo en el punto donde que se encuentran situados (como ocurre con los sensores capacitivos), sino que son capaces de cubrir zonas completas de un robot. Además de esto, los micrófonos de contacto proporcionan una gran cantidad de información relativa al contacto mismo. Pese a esto, cuando en la misma plataforma robótica se integran múltiples micrófonos, cubriendo cada uno diferentes zonas del robot, pueden surgir ambigüedades en la detección de la zona donde se ha establecido un contacto, ya que los alcances de los micrófonos se pueden solapar entre sí. Por tanto, el objetivo de este trabajo es proponer un sistema basado en aprendizaje automático capaz de resolver esta ambigüedad y permitir una detección de toques robusta.

Full text

Jornadas Nacionales de Rob´
otica
Spanish Robotics Conference
14-15 Junio 2018 http://jnr2018.eii.uva.es
Localizaci´
on de eventos t´
actiles en Interacci´
on Humano-Robot
Juan Jos´
e Gamboa-Monteroa,∗, Fernando Alonso-Mart´
ına, Jos´
e Carlos Castilloa, Miguel A. Salichsa
aRobotics Lab, Departmento de Ingenier´ıa de Sistemas y Autom´atica, Universidad Carlos III de Madrid, Avda. de la Universidad 30, 28911 Legan´es, Espa˜na
Resumen
En la actualidad, el sentido del tacto juega un papel importante en la Interacci´
on Humano–Robot, sobre todo si pensamos en rob´
otica
social, donde la proximidad al robot es a´
un mayor. Nuevos desaf´
ıos se abren para dotar a los robots de mayor capacidad de interactuar
con el usuario. Hasta la fecha, la mayor parte de sistemas que permiten reconocer el contacto f´
ısico con un robot se han basado
en sensores capacitivos, de fuerza o de temperatura. En este trabajo se profundiza en la aproximaci´
on, seguida en trabajos previos,
de integrar en robots sociales sensores sensibles a las vibraciones, espec´
ıficamente micr´
ofonos de contacto, como alternativa a los
anteriormente citados. Una de las ventajas que proporcionan estos dispositivos es que son capaces de detectar el contacto no s´
olo en el
punto donde que se encuentran situados (como ocurre con los sensores capacitivos), sino que son capaces de cubrir zonas completas
de un robot. Adem´
as de esto, los micr´
ofonos de contacto proporcionan una gran cantidad de informaci´
on relativa al contacto mismo.
Pese a esto, cuando en la misma plataforma rob´
otica se integran m´
ultiples micr´
ofonos, cubriendo cada uno diferentes zonas del robot,
pueden surgir ambig¨
uedades en la detecci´
on de la zona donde se ha establecido un contacto, ya que los alcances de los micr´
ofonos
se pueden solapar entre s´
ı. Por tanto, el objetivo de este trabajo es proponer un sistema basado en aprendizaje autom´
atico capaz de
resolver esta ambig¨
uedad y permitir una detecci´
on de toques robusta.
Palabras Clave:
Rob´
otica social, interacci´
on humano-robot, interacci´
on t´
actil, micr´
ofonos de contacto, an´
alisis sonoro
Datos de la tesis: Interacci´
on t´
actil en rob´
otica social empleando dispositivos de audio
Doctorando: Juan Jos´
e Gamboa Montero
Directores: Miguel ´
Angel Salichs S´
anchez-Caballero
Fecha Inicio/Fecha estimada terminaci´on: 11-2017/11-2020
Programa de doctorado: Ingenier´
ıa El´
ectrica, Electr´
onica y Autom´
atica
Universidad: Carlos III de Madrid
1. Introducci´
on
El sentido del tacto, como canal no verbal, juega un rol cru-
cial en comunicaci´
on interpersonal (Gallace y Spence,2010), ya
que permite establecer interacciones sociales mostrando emo-
ciones y otros tipos de mensajes sociales (Hertenstein et al.,
2006). De hecho, gracias a la contribuci´
on de la interacci´
on
t´
actil se han desarrollado los complejos c´
odigos y lenguajes
con los que nos comunicamos en la actualidad (Wilhelm et al.,
2001). Prueba de ello son gestos como un firme apret´
on de ma-
nos o un sencillo abrazo. En la actualidad, existen l´
ıneas de in-
vestigaci´
on explorando las posibilidades comunicativas ofreci-
das por la interacci´
on t´
actil aplicadas a la interacci´
on humano-
robot (HRI, por sus siglas en ingl´
es). Estos trabajos var´
ıan des-
de el control de un robot a trav´
es de comandos t´
actiles (Schmid
∗Autor en correspondencia.
Correos electr´onicos: jgamboa@ing.uc3m.es (Juan Jos´
e
Gamboa-Montero), famartin@ing.uc3m.es (Fernando Alonso-Mart´
ın),
jocastil@ing.uc3m.es (Jos´
e Carlos Castillo), salichs@ing.uc3m.es
(Miguel A. Salichs)
URL: http://roboticslab.uc3m.es/roboticslab/ (Juan Jos´
e
Gamboa-Montero)
et al.,2007), hasta intentar dotar a un robot de la habilidad de
comprender estados emocionales humanos (Kwon et al.,2007).
Este trabajo surge como una continuaci´
on de una contri-
buci´
on previa en la que se explor´
o un sistema basado en un
micr´
ofono de contacto con el objetivo de detectar y clasificar di-
versos gestos t´
actiles sobre una de las superficies s´
olidas de un
robot (Alonso-Mart´
ın et al.,2017). En dicho trabajo se propu-
so la idea de experimentar ampliando el n´
umero de micr´
ofonos
para cubrir cada una de las partes s´
olidas del robot, pero co-
mo se explicar´
a posteriormente en detalle, extender el sistema
a˜
nadiendo varios micr´
ofonos provoca ambig¨
uedades en la de-
tecci´
on. Esta problem´
atica est´
a enraizada en el comportamiento
mismo de las ondas sonoras al propagarse por un medio s´
olido.
Debido a dicha propagaci´
on, cada gesto t´
actil (entendi´
endose
como tal un contacto realizado sobre una superficie con una de-
terminada intenci´
on comunicativa) puede provocar que varios
micr´
ofonos reciban informaci´
on similar al mismo tiempo. Es-
te comportamiento dificultar´
ıa la identificaci´
on de la zona en la
que se ha producido el contacto.
En un principio se explora que el sistema sea capaz de so-
lucionar el solapamiento en las detecciones. De esta forma, el
sistema deber´
ıa ser capaz de asignar el origen del contacto a una
zona concreta del robot. Esto se logra a trav´
es de un sistema de

Jornadas Nacionales de Rob´otica 2018
clasificaci´
on categ´
orica empleando Random Forest, un algorit-
mo basado en el principio de combinaci´
on aleatoria de ´
arboles
de decisi´
on (Breiman,2001). Este algoritmo de clasificaci´
on es
capaz de discriminar efectivamente qu´
e caracter´
ısticas son m´
as
relevantes en instancias con una gran cantidad ve variables de
entrada (Caruana et al.,2008). Esta propiedad es particularmen-
te relevante en nuestro caso de uso, ya que la cantidad de va-
riables de entrada es directamente proporcional al n´
umero de
micr´
ofonos del sistema y de la se˜
nal ac´
ustica que recoge cada
micr´
ofono se pueden obtener m´
as de 20 caracter´
ısticas diferen-
tes. Actualmente, existen propuestas en la literatura que intentan
resolver este problema en superficies planas, empleando algorit-
mos basados en medir la diferencia de tiempo de llegada de la
se˜
nal (TDOA por sus siglas en ingl´
es) al receptor (Nikolovski,
2013). El principal inconveniente de ´
este tipo de t´
ecnicas es que
se encuentran limitadas a superficies sim´
etricas donde se reciba
un ´
unico tipo de contacto (un toque) realizado con los dedos.
En nuestro caso, la plataforma en la que el sistema se encuen-
tra implementado, el robot social Mini (Salichs San Jose et al.,
2016), posee una forma tridimensional e irregular, lo que impide
la adaptaci´
on de estas t´
ecnicas.
Este trabajo se estructura tal y como se explica a continua-
ci´
on. En la Secci´
on 2se detalla la implementaci´
on del sistema,
incluyendo la descripci´
on de los elementos que componen el
mismo, y se explica la problem´
atica que motiva el trabajo. La
Secci´
on 3describe las distintas fases que componen el sistema
propuesto. En la Secci´
on 4se analizan los resultados obtenidos.
Y, por ´
ultimo, en la Secci´
on 5se cierra el trabajo con las venta-
jas y desventajas que ofrece el sistema en perspectiva, y de qu´
e
modo se puede proseguir el trabajo en futuras iteraciones del
mismo.
2. Configuraci´
on del sistema
En esta secci´
on se describen los elementos que forman parte
del sistema. En primer lugar, la plataforma rob´
otica en la que
se instalan, para dar paso a los micr´
ofonos que se han emplea-
do y c´
omo se han instalado en el robot. Por ´
ultimo, y tras tener
una visi´
on general de los elementos del sistema, se pasa a intro-
ducir la problem´
atica particular que en este trabajo se pretende
resolver.
2.1. Plataforma rob´otica: Mini, el robot social
La plataforma rob´
otica en la que se implementa el sistema es
el robot social Mini (ver Fig. 1), desarrollado en el RoboticsLab
de la Universidad Carlos III de Madrid . Dise˜
nado para asistir
y entretener personas de avanzada edad con deterioro cognitivo,
Mini es un robot de escritorio basado en su predecesor, Maggie
(Salichs et al.,2006;Gonzalez-Pacheco et al.,2011). Mini posee
m´
ultiples habilidades sociales con el objetivo de establecer una
interacci´
on natural con el usuario. Entre estas habilidades est´
a
contar historias, recordar fechas importantes al usuario, mostrar
im´
agenes o v´
ıdeos a trav´
es de su tablet y hacer diferentes juegos
que forman parte de un programa de ejercicios de estimulaci´
on
cognitiva (Salichs San Jose et al.,2016).
Con el objetivo de potenciar su expresividad, mini posee lu-
ces LED’s en sus mejillas y en su coraz´
on, su boca es un v´
ume-
tro y sus ojos son dos pantallas OLED. Para dar vivacidad al
robot, la cabeza, la base y las extremidades de Mini est´
an con-
troladas por servomotores. Adem´
as de esto, Mini posee sensores
Figura 1: El robot social Mini, desarrollado por el grupo de rob´
otica social
del RoboticsLab (Universidad Carlos III de Madrid). En el interior de sus
brazos y su cabeza se encuentran instalados los micr´
ofonos de contacto.
capacitivos que le permiten detectar contacto en zonas espec´
ıfi-
cas de su torso. El robot est´
a tambi´
en equipado con otro tipo de
sensores, como una c´
amara RGB-D o un dispositivo LeapMo-
tion. Para mostrar contenido multimedia y permitir una mayor
interacci´
on con el usuario, Mini incorpora una tablet. Para fina-
lizar, Mini es capaz de identificar y sintetizar voz a trav´
es de una
aplicaci´
on TTS (Text-To-Speech por sus siglas en ingl´
es). Todo
ello se encuentra implementado a trav´
es del sistema operativo
orientado a la rob´
otica ROS, un entorno de trabajo que propor-
ciona las herramientas y bibliotecas necesarias para desarrollar
el software del robot.
2.2. Instalaci´on de los dispositivos de audio
La principal ventaja de usar micr´
ofonos de contacto es su
capacidad de percibir las vibraciones en superficies s´
olidas, ac-
tuando particularmente bien si la superficie es r´
ıgida. Una se˜
nal
sonora provee una gran cantidad de informaci´
on que las t´
ecnicas
de aprendizaje autom´
atico pueden interpretar para detecci´
on de
gestos t´
actiles. Adem´
as, los micr´
ofonos de contacto son resis-
tentes a las perturbaciones ac´
usticas que se propagan por el ai-
re. Esta propiedad los hace robustos ante los ruidos ambientales
tales como una conversaci´
on cercana. Por contra, esto tambi´
en
provoca que sean sensibles a los ruidos internos del robot, pe-
ro la creciente tendencia a crear servomotores progresivamente
menos ruidosos permite que estas se˜
nales sean filtradas por el
sistema. Los micr´
ofonos de contacto elegidos para este trabajo
fueron unos Oyster Schaller 723 1.
1https://schaller.info/en/megaswitches-preamp-pickups/412/oyster-
s/p?number=16050103

Jornadas Nacionales de Rob´otica 2018
Figura 2: Estructura interna del robot Mini. Todas las partes est´
an interco-
nectadas a trav´
es de una estructura r´
ıgida que propaga las vibraciones.
En lo referente a la integraci´
on en la plataforma rob´
otica an-
tes descrita, los micr´
ofonos de contacto se instalaron en cada
la cabeza y los dos brazos del robot (ver Fig. 1). Para facilitar
el montaje de los micr´
ofonos en el robot, se han hecho modifi-
caciones en forma de dos compartimentos en los brazos, con el
objetivo de que, durante la interacci´
on con el robot, el micr´
ofono
interfiera lo m´
ınimo posible. El ´
ultimo sensor se ha instalado en
la cara interna de una de las mejillas del robot. Adem´
as, para
facilitar la transmisi´
on de las vibraciones, los micr´
ofonos incor-
poran un adhesivo especial con el que se fijaron a la superficie
del robot.
2.3. Problem´atica
Este art´
ıculo aborda la problem´
atica inherente a la transmi-
si´
on de vibraciones en estructuras r´
ıgidas conectadas. En ese
sentido, nuestro robot se comporta como tal, al poseer una es-
tructura central a la que se acoplan los brazos y la cabeza (ver
Fig. 2). Dicha estructura se ha desarrollado en ABS, un pl´
astico
r´
ıgido capaz de transmitir las vibraciones. En nuestro caso, se
han acoplado tres micr´
ofonos al robot en brazos y cabeza con
el objetivo de estos micr´
ofonos de detectar gestos t´
actiles fruto
de la interacci´
on de los usuarios con el robot. En algunos casos,
se han observado situaciones en las que el contacto en una su-
perficie del robot, donde se ha instalado un micr´
ofono, origina
detecciones en los otros receptores, dando lugar a ambig¨
ueda-
des.
Este problema se ilustra en la Figura 3, donde se ofrece una
representaci´
on gr´
afica de las caracter´
ısticas m´
as aparentemente
relevantes de la se˜
nal (las caracter´
ısticas obtenidas de la onda se
detallan en la Secci´
on 3.1), pertenecientes a dos instancias del
conjunto de datos que ser´
a explicado m´
as adelante. Cada gr´
afica
muestra c´
omo existe una inconsistencia a la hora de determinar
la caracter´
ıstica de mayor relevancia en un contacto. En la Fi-
gura 3a), donde se da una manotazo al robot en la cabeza, las
(a) Instancia 717 del conjunto de datos, donde se recoge informaci´
on de un
manotazo en la cabeza del robot.
(b) Instancia 1084 del conjunto de datos, un manotazo en el brazo izquierdo
del robot.
Figura 3: Diferentes instancias del conjunto de datos representadas en gr´
afi-
cos de barras. Se han seleccionado solo las caracter´
ısticas m´
as significativas
para mostrar las variaciones recogidas por los tres micr´
ofonos.
caracter´
ısticas que sobresalen son el pitch o tono y el centroide
de la se˜
nal. Pero en la Figura 3b), en la que el contacto es en uno
de los brazos, el izquierdo, la caracter´
ıstica de mayor magnitud,
en comparaci´
on con las hom´
ologas del resto de micr´
ofonos, es
el SNR. Este comportamiento se replica en varias instancias del
conjunto. Cabe recordar tambi´
en que el interior de nuestra pla-
taforma rob´
otica es una estructura r´
ıgida a la que se conectan
m´
ultiples partes, lo que provoca que la propagaci´
on de una on-
da sonora por el robot sea irregular, potenciando la aparici´
on
de estas inconsistencias. El objetivo de este trabajo es explorar
c´
omo el uso de t´
ecnicas de aprendizaje autom´
atico puede ayu-
dar a mitigar este problema.
3. Detecci´
on de contacto y posicionamiento empleando
aprendizaje autom´
atico
Tras describir los elementos que constituyen la infraestructu-
ra del sistema, el siguiente paso es describir el funcionamiento
del mismo. Esto implica explicar las diferentes fases por las que
pasa la se˜
nal una vez que ha sido recogida por el o los recepto-
res, teniendo el sistema que acotar cu´
al es la duraci´
on del gesto
y cuantos micr´
ofonos participan de la detecci´
on hasta que final-
mente es convertida en una instancia legible para un algoritmo
de aprendizaje autom´
atico, en este caso Random Forest. Todo

Jornadas Nacionales de Rob´otica 2018
ello se ha implementado usando ROS para poder incorporar es-
te sistema al software del propio robot.
Cuando un usuario toca el robot se produce una vibraci´
on
que se propaga por las superficies s´
olidas de ´
este, siendo reco-
gida por los micr´
ofonos de contacto. Debido a los patrones de
propagaci´
on de las ondas sonoras (Thomson,1950), se podr´
ıa
anticipar que los micr´
ofonos que m´
as cerca se encuentran del
punto de origen del toque reciban una se˜
nal m´
as intensa que los
que se encuentren a mayor distancia. Pero como se ha descrito
en la Subsecci´
on 2.3, este fen´
omeno no se produce exactamente
as´
ı en un robot, por lo que no se puede anticipar c´
omo se propa-
gar´
an las ondas sonoras y, debido a las uniones entre las distin-
tas partes del robot, cu´
antos micr´
ofonos se activar´
an durante el
contacto.
3.1. Detecci´on de contacto y extracci´on de caracter´ısticas
ac´usticas
En esta fase se engloban varias tareas que el sistema ha de
realizar. El subsistema implementado para esta fase se ha desa-
rrollado empleando ChucK (Hall et al.,2009;Alonso-Martin
et al.,2013), un lenguaje de programaci´
on dise˜
nado espec´
ıfica-
mente para tareas de procesamiento musical y an´
alisis y gene-
raci´
on de se˜
nales ac´
usticas. En primer lugar, la se˜
nal recibida
por cada micr´
ofono es procesada por separado. El sistema en
este punto recibir´
a continuamente la informaci´
on proveniente
de cada uno de micr´
ofonos, muestre´
andola independientemen-
te a una tasa de 44100 Hz y almacen´
andola en ventanas de un
total de 256 muestras. En cada ventana se extraen una serie de
caracter´
ısticas sonoras en dos dominios diferentes: tiempo y fre-
cuencia. Las caracter´
ısticas que se extraen y sus descripciones
se muestran en la Tabla 1, en la que se indica adem´
as a que
dominio pertenece cada caracter´
ıstica.
Tabla 1: Caracter´
ısticas ac´
usticas procesadas por el subsistema de extrac-
ci´
on.
Caracter´
ıstica Descripci´
on Dominio
Frecuencia
fundamental
Tono o frecuencia percibida por el o´
ıdo
humano.
Tiempo, Fre-
cuencia
Flujo Indica si hay grandes variaciones en el
dominio de la frecuencia.
Frecuencia
RollOff-95 Valor de frecuencia que contiene el 95 %
de la energ´
ıa de la se˜
nal.
Frecuencia
Centroide Representa la mediana del espectro de la
se˜
nal, es decir, la frecuencia a la que la
perturbaci´
on se aproxima en mayor me-
dida.
Frecuencia
Zero Crossing
Rate (ZCR)
Indica el numero de veces que la se˜
nal
cruza el cero (en el eje x).
Tiempo
Root Mean
Square (RMS)
Amplitud del volumen de la se˜
nal. Tiempo
Signal to Noise
Ratio (SNR)
Permite relacionar el sonido que genera
el gesto con respecto al volumen del rui-
do de fondo.
Tiempo
El siguiente paso consiste en detectar el comienzo del con-
tacto y su final. Para ello se establecen umbrales para comparar
los diferentes valores que toman las caracter´
ısticas de cada ven-
tana. La caracter´
ıstica que se toma en consideraci´
on es el SNR,
ya que permite detectar una perturbaci´
on frente a ruidos de fon-
do. Se establece entonces una regla de decisi´
on como la mostra-
da en la Ecuaci´
on 1para detectar el comienzo del gesto t´
actil.
Esta ecuaci´
on representa que el sistema solo detecta actividad
t´
actil (Ta) cuando el SNR instant´
aneo en ese momento (S NRc)
es mayor que el definido por el umbral (S NRτ).
Ta=







VERDADERO,si S NRc>S NRτ
F ALS O,en cualquier otro caso (1)
Para marcar el final del gesto, se establece un tiempo de es-
pera de 500ms. Cuando el gesto en el micr´
ofono se da por ter-
minado, se calculan valores m´
ınimos, m´
aximos, el valor medio,
la diferencia entre m´
aximo y m´
ınimo, se a˜
nade la duraci´
on del
gesto y se env´
ıan todas estas caracter´
ısticas al subsistema de
construcci´
on de la instancia.
3.2. Construcci´on de la instancia
Este subsistema es el encargado de supervisar las activacio-
nes de cada uno de los micr´
ofonos ante un contacto, de tal mo-
do que es capaz de identificar qu´
e micr´
ofonos forman parte de
un determinado contacto y cu´
ando dar por finalizado el even-
to. Si bien en la fase anterior hay una peque˜
na ventana que
indica cu´
ando ha terminado el gesto en dicho micr´
ofono, en
este subsistema se ha de tener en cuenta a todos los micr´
ofo-
nos que se hayan activado al mismo tiempo, y esperar a que el
´
ultimo de ellos marque el final del evento a nivel global. Este
comportamiento en forma de doble espera se ha comprobado
emp´
ıricamente, debido a que la propagaci´
on de una onda sono-
ra en una superficie s´
olida, como se ha descrito anteriormente,
no asegura que todos los micr´
ofonos finalicen la detecci´
on al
mismo tiempo. Cuando se da por terminado el contacto, se ge-
nera la instancia y se almacena en un fichero. De este modo una
instancia seguir´
ıa el siguiente patr´
on con respecto al orden de
las variables de entrada: I=(f mic1,f mic2,..., f micn) donde
nes el n´
umero de micr´
ofonos de contacto. Cada conjunto f mic
estar´
ıa formado por las caracter´
ısticas descritas en la fase ante-
rior: f mici=(f eature1,f eatur e2,..., f eaturem) donde mes el
n´
umero de caracter´
ısticas computadas.
3.3. Localizaci´on de contacto empleando el algoritmo
Random Forest
La ´
ultima fase del sistema consiste en la clasificaci´
on de la
localizaci´
on del gesto t´
actil. Este subsistema se ha implementa-
do a trav´
es de las librer´
ıas de aprendizaje autom´
atico de Weka
(Hall et al.,2009). Weka incorpora m´
ultiples algoritmos para
resolver problemas de clasificaci´
on multiclase, como el que se
trata de resolver en este trabajo. Por tanto, en esta fase se ha de
construir un conjunto de datos de entrenamiento con m´
ultiples
usuarios a trav´
es de los subsistemas anteriormente explicados.
Cada instancia estar´
a formada por un conjunto de caracter´
ısticas
y la etiqueta con la zona, de este modo la instancia de entrena-
miento ser´
ıa T I =(I,lgl), donde la etiqueta lgl define el nombre
de la zona. Durante el entrenamiento, cada instancia se a˜
nade al
conjunto de datos DS :
DS ={T I1,...,T In}(2)
donde nes el n´
umero de instancias del conjunto de datos.
Una vez que la fase de entrenamiento haya finalizado, el sis-
tema emplear´
a el algoritmo de aprendizaje autom´
atico sobre el
conjunto de datos obtenido para clasificar en qu´
e zona se ha
producido el contacto.
El algoritmo que se implementa a trav´
es de Weka para reali-
zar la clasificaci´
on ser´
a el algoritmo Random Forest (Breiman,

Jornadas Nacionales de Rob´otica 2018
2001). Entre las ventajas que hacen de este algoritmo el indi-
cado para realizar una tarea como esta se incluyen la capacidad
de manejar cientos de variables de entrada sin excluir ninguna,
adem´
as de estimar qu´
e variables son importantes en la clasifi-
caci´
on. Tambi´
en es capaz de detectar las interacciones entre las
variables, localizando valores at´
ıpicos incluso en bases de da-
tos de gran tama˜
no. El funcionamiento del algoritmo se divide
en las siguientes fases. En primer lugar, selecciona individuos
al azar a trav´
es de muestreo con reemplazo, creando diferentes
conjuntos de datos. Tras esto, crea un ´
arbol de decisi´
on con ca-
da conjunto de datos, obteniendo diferentes ´
arboles, ya que cada
conjunto contiene individuos y variables diferentes. Al crear los
´
arboles se eligen variables al azar en cada nodo del ´
arbol, dejan-
do crecer el ´
arbol en profundidad sin ser podado. Finalmente,
predice los nuevos datos usando la t´
ecnica de “voto mayorita-
rio”, en la que la observaci´
on se clasificar´
a como “positiva” si
la mayor´
ıa de los arboles la predicen como tal.
4. Metodolog´
ıa y resultados
Finalmente, esta secci´
on presenta la evaluaci´
on de los resul-
tados obtenidos con el sistema descrito, adem´
as de explicar las
m´
etricas y metodolog´
ıas empleadas para obtener los mismos. Se
ha de matizar que no se ha implementado ning´
un algoritmo de
reajuste de par´
ametros ni de selecci´
on de variables de entrada.
4.1. M´etricas de aprendizaje autom´atico
Existen m´
ultiples m´
etricas para evaluar el grado de acierto de
un algoritmos de clasificaci´
on. Entre las m´
etricas que se pueden
emplear para un tipo de clasificaci´
on multiclase se encuentran
la accuracy, la medida-G, ROC, AUC o PRC. Pero como m´
as
frecuentemente se eval´
ua es a trav´
es del F-score. El F-score, co-
nocido tambi´
en como F-measure es un valor que mide el grado
de exactitud de un sistema de aprendizaje a trav´
es de sus me-
didas de precisi´
on y exhaustividad (recall en ingl´
es). El c´
alculo
de esta m´
etrica se muestra en la Ecuaci´
on 3.
F-score =2×Precision ×E xhaustividad
Precision +E xhaustividad (3)
Donde la precisi´
on es la fracci´
on de instancias relevantes en-
tre las instancias que han sido devueltas y la exhaustividad es
la fracci´
on de instancias relevantes que se han devuelto sobre la
totalidad de instancias relevantes.
4.2. Resultados preliminares
El conjunto de datos se ha obtenido a partir de informaci´
on
de 20 usuarios y est´
a compuesto por un total de 2777 instancias.
De este conjunto de datos se obtienen dos totalmente indepen-
dientes, uno con 1833 muestras que se emplear´
a para realizar
el entrenamiento y otro con las 944 instancias restantes, que
se usar´
a para la evaluaci´
on. Tras el entrenamiento, el algoritmo
Random Forest alcanz´
o un F-score de 0,987. La Tabla 2mues-
tra tambi´
en la matriz de confusi´
on donde se observan algunos
errores, sobre todo en las detecciones provenientes del brazo
derecho, aunque con un impacto limitado en los resultados.
Tabla 2: Matriz de confusi´
on del algoritmo Random Forest aplicado a 944
instancias de test. Las filas corresponden al valor correcto de la instancia,
mientras que las columnas representan el valor asignado en la predicci´
on.
Cabeza Brazo Iz. Brazo Dcho.
Cabeza 318 0 0
Brazo Iz. 0 306 4
Brazo Dcho. 3 5 308
5. Conclusi´
on
Este trabajo se ha centrado en la mejora de las capacidades
de interacci´
on t´
actil apuntadas por trabajos anteriores. M´
as con-
cretamente, se ha abordado la tarea de distinguir en qu´
e parte
del cuerpo del robot se produce el contacto f´
ısico con el usua-
rio. Para ello, se ha llevado a cabo una aproximaci´
on basada en
el an´
alisis sonoro de las vibraciones producidas durante el con-
tacto y el uso del algoritmo de aprendizaje autom´
atico Random
Forest. En este caso, se han explotado las capacidades de los
micr´
ofonos de contacto como sensor que recoge estas vibracio-
nes. El uso de esta metodolog´
ıa arroja resultados prometedores
en entornos controlados, con una evaluaci´
on de conjunto de en-
trenamiento del 66 % de muestras sobre el conjunto total, em-
ple´
andose el resto como instancias de test. Se ha de recalcar que
este m´
etodo de evaluaci´
on, elegido sobre la validaci´
on cruzada,
permite aproximar de forma mas fidedigna los resultados obte-
nidos a una aplicaci´
on real, en la que el clasificador no posee
informaci´
on sobre la instancia que est´
a clasificando.
Pese a esto, el trabajo presenta algunos inconvenientes rela-
cionados con el marco que se ha elegido para hacer la experi-
mentaci´
on. Por ello es necesario profundizar y estudiar nuevos
caminos por los que se puede seguir desarrollando el sistema. El
primer escollo a superar radica en que durante la toma de mues-
tras el robot se encontraba parado. A´
un as´
ı, es cierto que varias
pruebas realizadas ajustando los umbrales en la fase de detec-
ci´
on del contacto apuntan a que es posible atenuar la influencia
de los servomotores y por lo tanto una recogida de datos en
movimiento. El segundo inconveniente radica en que la loca-
lizaci´
on presentada se podr´
ıa considerar de “baja resoluci´
on”,
ya que establece tantas zonas como micr´
ofonos implementados.
A´
un as´
ı, en trabajos futuros se pretende explorar hasta qu´
e punto
se puede profundizar en la resoluci´
on de la localizaci´
on, siendo
capaz el sistema de detectar contacto en m´
as zonas que micr´
ofo-
nos instalados. Adem´
as, la implementaci´
on del algoritmo ha si-
do preliminar y no se han aplicado sobre el sistema de clasi-
ficaci´
on algoritmos de reajuste de hiperpar´
ametros (par´
ametros
de configuraci´
on del algoritmo de aprendizaje Random Forest)
ni de preselecci´
on de variables de entrada (selecci´
on de carac-
ter´
ısticas). Todas estas mejoras se pretenden incorporar sobre
un sistema m´
as maduro, que permita reconocer en escenarios
reales, y de forma conjunta y coordinada, el tipo y la localiza-
ci´
on precisa del gesto realizado.

Jornadas Nacionales de Rob´otica 2018
English Summary
Touch Event Localization in Human-Robot Interaction.
Abstract
Nowadays, the sense of touch plays a relevant role in
Human-Robot Interaction, and even more in social robotics sin-
ce the proximity with robots increases. New challenges are ope-
ned by endowing robots with more capability of interacting with
the user. Traditionally, most of the touch recognition systems
capable of detect contact with humans were based in capaciti-
ve, force or temperature sensors. This work follows the idea of
implementing acoustic sensing devices, specifically piezoelec-
tric pickups, as an alternative to the conventional sensors. This
initiative is motivated by the ability of this kind of sensors to de-
tect contacts relatively far away from the point where they are
located, allowing to cover complete areas of a robot’s shell. Mo-
reover, these microphones provide of a large amount of informa-
tion relative to the contact itself. Despite all this, when multi-
ple microphones are implemented in the same robotic platform,
each of them covering a different area of the robot, some ambi-
guities related to the ability to locate the source of the contact
may appear, since the ranges of the microphones can intersect
with each other. In this paper we try to solve these ambiguities
by applying machine learning, specifically the Random Forest
algorithm.
Keywords:
Social Robots, Human–Robot Interaction, Touch interaction,
Contact Microphones, Acoustic Sensing.
Agradecimientos
La investigaci´
on desarollada ha recibido financiaci´
on de dos
proyectos: “Development of social robots to help seniors with
cognitive impairment” (ROBSEN), financiado por el Ministerio
de Economia y Competitividad; y “RoboCity2030-III-CM”, fi-
nanciado por la Comunidad de Madrid y cofinanciado por los
Fondos Estructurales de la Uni´
on Europea.
Referencias
Alonso-Mart´
ın, F., Gamboa-Montero, J. J., Castillo, J. C., Castro-Gonz´
alez,
´
A., Salichs, M. ´
A., May 2017. Detecting and Classifying Human Tou-
ches in a Social Robot Through Acoustic Sensing and Machine Lear-
ning. Sensors 17 (5), 1138.
URL: http://www.mdpi.com/1424-8220/17/5/1138
DOI: 10.3390/s17051138
Alonso-Martin, F., Malfaz, M., Sequeira, J., Gorostiza, J., Salichs, M. A.,
2013. A Multimodal Emotion Detection System during Human-Robot
Interaction. Sensors 13 (11), 15549–15581.
URL: http://www.ncbi.nlm.nih.gov/pubmed/24240598
DOI: 10.3390/s131115549
Breiman, L., Oct. 2001. Random Forests. Machine Learning 45 (1), 5–32.
URL: https://link.springer.com/article/10.1023/A:
1010933404324
DOI: 10.1023/A:1010933404324
Caruana, R., Karampatziakis, N., Yessenalina, A., 2008. An Empirical Eva-
luation of Supervised Learning in High Dimensions. En: Proceedings
of the 25th International Conference on Machine Learning. ICML ’08.
ACM, New York, NY, USA, pp. 96–103.
URL: http://doi.acm.org/10.1145/1390156.1390169
DOI: 10.1145/1390156.1390169
Gallace, A., Spence, C., Feb. 2010. The science of interpersonal touch: An
overview. Neuroscience & Biobehavioral Reviews 34 (2), 246–259.
URL: http://www.sciencedirect.com/science/article/pii/
S0149763408001723
DOI: 10.1016/j.neubiorev.2008.10.004
Gonzalez-Pacheco, V., Ramey, A., Alonso-Martin, F., Castro-Gonzalez,
A., Salichs, M. A., Sep. 2011. Maggie: A Social Robot as a Gaming
Platform. International Journal of Social Robotics 3 (4), 371–381.
URL: http://www.springerlink.com/content/
b6166342874t2545/
DOI: 10.1007/s12369-011-0109-8
Hall, M., Frank, E., Holmes, G., Pfahringer, B., Reutemann, P., Witten, I. H.,
2009. The WEKA Data Mining Software: An Update. SIGKDD Explo-
rations 11 (1).
Hertenstein, M., Keltner, D., App, B., 2006. Touch communicates distinct
emotions. Emotion.
URL: http://psycnet.apa.org/journals/emo/6/3/528/
Kwon, D. S., Kwak, Y. K., Park, J. C., Chung, M. J., Jee, E. S., Park, K. S.,
Kim, H. R., Kim, Y. M., Park, J. C., Kim, E. H., Hyun, K. H., Min,
H. J., Lee, H. S., Park, J. W., Jo, S. H., Park, S. Y., Lee, K. W., Aug.
2007. Emotion Interaction System for a Service Robot. En: RO-MAN
2007 - The 16th IEEE International Symposium on Robot and Human
Interactive Communication. pp. 351–356.
DOI: 10.1109/ROMAN.2007.4415108
Nikolovski, J. P., Jun. 2013. Lamb-wave (X, Y) giant tap screen panel with
built-in microphone and loudspeaker. IEEE Transactions on Ultrasonics,
Ferroelectrics, and Frequency Control 60 (6), 1178–1191.
DOI: 10.1109/TUFFC.2013.2680
Salichs, M., Barber, R., Khamis, A., Malfaz, M., Gorostiza, J., Pacheco,
R., Rivas, R., Corrales, A., Delgado, E., Garcia, D., Dec. 2006. Mag-
gie: A Robotic Platform for Human-Robot Social Interaction. En: IEEE
(Ed.), 2006 IEEE Conference on Robotics, Automation and Mechatro-
nics. IEEE, Bangkok, pp. 1–7.
DOI: 10.1109/RAMECH.2006.252754
Salichs San Jose, E., Castro-Gonz´
alez, ´
A., Malf´
az, M., Salichs, M. ´
A.,
Nov. 2016. Mini: a social assistive robot for people with mild cognitive
impairment. En: Heerink, M., Vandenborght, B., Albo Canals, J.,
Barco Martelo, A., Datta, C., Sheutz, M., Gustafsson, C., Huijnen,
C., Broekens, J. (Eds.), New Friends 2016: The 2nd International
Conference on Social Robots in Therapy and Education. OmniaScience,
Barcelona, pp. 31–32.
URL: http://newfriends2016.org/http://newfriends2016.
org/wp-content/uploads/2017/03/Newfriends2016.pdf
DOI: 10.3926/newfriends2016
Schmid, A. J., Hoffmann, M., Woern, H., 2007. A Tactile Language for
Intuitive Human-robot Communication. En: Proceedings of the 9th In-
ternational Conference on Multimodal Interfaces. ICMI ’07. ACM, New
York, NY, USA, pp. 58–65.
URL: http://doi.acm.org/10.1145/1322192.1322206
DOI: 10.1145/1322192.1322206
Thomson, W. T., 1950. Transmission of Elastic Waves through a Stratified
Solid Medium. Journal of Applied Physics 21 (2), 89–93.
URL: http://dx.doi.org/10.1063/1.1699629
DOI: 10.1063/1.1699629
Wilhelm, F. H., Kochar, A. S., Roth, W. T., Gross, J. J., 2001. Social anxiety
and response to touch: incongruence between self-evaluative and physio-
logical reactions. Biological Psychology 58 (3), 181 – 202.
URL: http://www.sciencedirect.com/science/article/pii/
S0301051101001132
DOI: https://doi.org/10.1016/S0301-0511(01)00113-2