Conception d'interactions virtuelles et tangibles pour apprendre la collaboration motrice à des enfants avec Trouble du Spectre de l'Autisme: Design of virtual and tangible interaction to learn motor collaboration to children with ASD

Full text

Conception d’interactions virtuelles et tangibles pour apprendre
la collaboration motrice à des enfants avec Trouble du Spectre
de l’Autisme
Design of virtual and tangible interaction to learn motor collaboration to children with ASD
Tom Giraud
ESTIA Recherche, Institut de
Technologie ESTIA, Bidart,
FranceUniversité Paris-Saclay, CNRS,
Laboratoire Interdisciplinaire des
Sciences du Numérique, 91400, Orsay
FranceTom.giraud.utc@gmail.com
Brian Ravenet
Université Paris-Saclay, CNRS,
Laboratoire Interdisciplinaire des
Sciences du Numérique, 91400, Orsay
FranceBrian.ravenent@limsi.fr
Jacqueline Nadel
TEDyBEAR: centre médico-social
autisme
Francej.nadel@centretedybear.com
Brian Ravenet
Université Paris-Saclay, CNRS,
Laboratoire Interdisciplinaire des
Sciences du Numérique, 91400, Orsay
FranceBrian.ravenent@limsi.fr
Chi Tai Dang
Human-Centered Multimedia Lab,
Augsburg University
Germanydang@informatik.uni-
augsburg.de
Elise Prigent
Université Paris-Saclay, CNRS,
Laboratoire Interdisciplinaire des
Sciences du Numérique, 91400, Orsay
FranceElise.prigent@limsi.fr
Gael Poli
TEDyBEAR: centre médico-social
autisme
Franceg.poli@centretedybear.com
Elisabeth Andre
Human-Centered Multimedia Lab,
Augsburg University
Germanyandre@informatik.uni-
augsburg.de
Jean-Claude Martin
Université Paris-Saclay, CNRS,
Laboratoire Interdisciplinaire des
Sciences du Numérique, 91400, Orsay
Francejean-claude.martin@u-psud.fr
ABSTRACT
New technologies for autism focus on training either social skills
or motor skills, but never both. Such a dichotomy omits a wide
range of joint action tasks that require the coordination of two
people. Training these physical tasks performed in a dyad has great
potential to promote inclusion, especially of children with autism
spectrum disorders (ASD), including children who are nonverbal.
In this article, we present the design of a tangible and virtual inter-
active system for training ASD children to perform joint actions.
The proposed system consists of a virtual character projected onto
a surface on which a tangible object is magnetized: both the user
and the virtual character hold the object, thus simulating a joint
action. Here, we present how the proposed interaction paradigm is
innovative, while providing the results of a preliminary study with
10 typical children in order to prepare a long-term training with
children with ASD.
This is the author's version of the work. It is posted here for your personal use. Not for
redistribution. The definitive Version of Record was published in
IHM ’20.21, April 13–16, 2021, Virtual Event, France
©2021 Association for Computing Machinery.
ACM ISBN 978-1-4503-8362-2/21/04.. .$15.00
https://doi.org/10.1145/3450522.3451335
CCS CONCEPTS
•Human-centered computing →
Human computer interaction
(HCI); Interaction paradigms; Mixed / augmented reality; Interac-
tion design; Interaction design process and methods; User interface
design.
KEYWORDS
Joint action, autism, tangible interaction, virtual agent
RÉSUMÉ
Les nouvelles technologies pour l’autisme se concentrent sur
l’entraînement soit des aptitudes sociales, soit des aptitudes motri-
ces, mais jamais les deux à la fois. Une telle dichotomie omet un
large éventail de tâches d’action conjointe qui nécessitent la coordi-
nation de deux personnes. L’entraînement de ces tâches physiques
eectuées en dyade a un grand potentiel pour favoriser l’inclusion,
notamment des enfants avec troubles du spectre autistique (TSA)
et non verbaux. Dans cet article, nous présentons la conception
d’un système interactif tangible et virtuel pour la formation des en-
fants TSA à la réalisation d’actions conjointes. Le système proposé
est composé d’un personnage virtuel projeté sur une surface sur
laquelle un objet tangible est magnétisé : l’utilisateur et le person-
nage virtuel tiennent tous deux l’objet, simulant ainsi une action
conjointe. Ici, nous présentons en quoi le paradigme d’interaction
proposé est novateur, tout en fournissant les résultats d’une étude
préliminaire avec 10 enfants typiques dans l’objectif de préparer
un entraînement de long terme avec des enfants avec TSA.

IHM ’20.21, April 13–16, 2021, Virtual Event, France Tom Giraud et al.
MOTS-CLÉS
Action conjointe, autisme, interaction tangible, agent virtuel
ACM Reference Format:
Tom Giraud, Brian Ravenet, Jacqueline Nadel, Brian Ravenet, Chi Tai Dang,
Elise Prigent, Gael Poli, Elisabeth Andre, and Jean-Claude Martin. 2021.
Conception d’interactions virtuelles et tangibles pour apprendre la collabo-
ration motrice à des enfants avec Trouble du Spectre de l’Autisme: Design
of virtual and tangible interaction to learn motor collaboration to children
with ASD. In 32e Conférence Francophone sur l’Interaction Homme-Machine
(IHM ’20.21), April 13–16, 2021, Virtual Event, France. ACM, New York, NY,
USA, 12 pages. https://doi.org/10.1145/3450522.3451335
1 INTRODUCTION
De nombreuses situations d’interaction avec des objets physiques
nécessitent la collaboration d’une autre personne : un objet trop
lourd pour être porté seul, un objet trop grand pour être tenu à deux
mains, un objet trop glissant pour être tenu à deux bras... Comme de
telles situations nécessitent la participation d’autres personnes, la
question se pose de savoir de quoi sont capables des enfants atteints
de Trouble du Spectre de l’Autisme (TSA) et présentant des di-
cultés motrices et des dicultés d’interaction sociale. Lorsque des
individus se coordonnent pour réaliser des telles actions conjointes,
les capacités sociales et motrices sont en jeu, de telle sorte qu’elles
sont indissociables. Dans cette forme de "coopération incarnée" [1],
le mouvement de l’autre ore de nouvelles possibilités pour nos pro-
pres actions [2]. Aider l’autre physiquement ne nécessite pas de se
parler, et de ce fait un entraînement simulant une situation sociale
de collaboration motrice peut être plus accessible aux personnes
atteintes de TSA qui pour certaines n’ont pas accès au langage parlé.
L’imitation synchrone est un des moyens le plus précoce, le plus
simple et le plus ecace de partager un objectif moteur commun
[3]. L’action conjointe pourrait donc être un objectif pertinent pour
développer les capacités de collaboration des enfants atteints de
TSA. Nous parlerons de “collaboration” plutôt que de “coopération”.
En eet, l’addition de deux motricités individuelles (coopération) ne
sut pas pour réussir une action motrice à deux (collaboration). S’il
faut prendre en compte le mouvement de l’autre dans le contrôle de
son propre mouvement (collaboration), un aspect social intervient
sous la forme d’une synchronisation. Le système que nous avons
conçu et que nous décrivons dans cet article vise ainsi à entraîner
des enfants atteints de TSA à réaliser des actions conjointes, puis à
long-terme à transférer ces apprentissages dans des collaborations
motrices avec leurs pairs.
Comme les systèmes interactifs sont perçus par les enfants at-
teints de TSA comme des environnements stimulants, confortables
et ables [4], [5], de nombreux chercheurs ont conçu des interven-
tions basées sur des technologies interactives (voir l’état de l’art ci-
dessous). En ce qui concerne l’aspect spécique de l’interaction so-
ciale, les simulations informatiques orent la possibilité de proposer
une complexité sociale réduite et contrôlée. Cette complexité peut
être progressivement augmentée tout au long de l’entraînement
pour permettre un transfert en douceur vers les tâches du monde
réel. Les compétences sociales sont généralement entraînées soit sur
des tâches de communication via des robots ou des agents virtuels
[6], soit sur des tâches de collaboration ne via des objets tangibles
ou des tablettes [7].
Le système que nous avons conçu et que nous présentons dans cet
article vise à entraîner de façon personnalisée des enfants atteints
de TSA, y compris les enfants de type non verbaux, à réaliser des ac-
tions conjointes. L’approche sous-jacente pour ces enfants est que
le moyen le plus simple et le plus direct d’améliorer l’engagement
social est l’activité motrice. L’un des objectifs à long terme est
d’encourager les enfants à participer à la vie familiale à la mai-
son. Pour entraîner la collaboration motrice chez les enfants at-
teints de TSA, nous avons conçu une procédure ludique mais con-
trôlée expérimentalement. La procédure est implémentée dans une
plateforme virtuelle composée d’objets mixtes, mi-virtuels et mi-
tangibles, que l’enfant TSA doit déplacer à l’aide d’un agent virtuel.
L’un des agents collabore avec l’enfant tandis que l’autre agent
se comporte de manière autonome, ce qui oblige l’enfant à tenir
compte du choix d’un objet par l’agent, du choix d’une trajectoire
pour déplacer l’objet par l’agent et de la vitesse de déplacement de
l’agent. Dans cet article, nous présentons la méthode de conception
puis le système que nous avons conçu pour répondre à la problé-
matique de l’entraînement à l’action conjointe d’enfants avec TSA
; nous décrivons ensuite les résultats d’une étude préliminaire de
l’utilisation du système par des enfants typiques (étape intermédi-
aire dans le processus itératif de conception) , et nous concluons
par une discussion sur les étapes qui suivront ce travail en vue de
l’utilisation du système avec des enfants atteints de TSA.
2 ETAT DE L’ART
2.1 Interaction sociale médiée par ordinateur
Une première approche en Interaction Humain-Machine (IHM)
pour l’entraînement des enfants atteints de TSA aux compétences
sociales est de concevoir des dispositifs structurants l’interaction
sociale entre plusieurs enfants ou entre l’enfant et l’aidant. Dans
la plupart des projets, le principal intérêt de ces dispositifs est de
simplier l’interaction sociale (en attribuant des rôles clairs ou
en limitant les canaux de communications par exemple) tout en
encourageant l’enfant à participer aux activités collaboratives.
L’interaction tangible fournit des interfaces physiques partic-
ulièrement adaptées aux contextes sociaux et collaboratifs, per-
mettant à la fois un engagement corporel varié (orant de multi-
ples points d’entrée dans la situation interactive) et des contrôles
partagés [8]. Des interfaces tactiles ont été conçues pour les enfants
atteints de TSA an de développer des compétences individuelles
telles que la motricité ne [9] ou le jeu de simulation [10], avec la
remarque récurrente par les chercheurs que les jouets physiques
peuvent agir comme des facilitateurs sociaux. Dans le domaine des
thérapies sociales pour les enfants atteints de TSA, un entraîne-
ment collaboratif basé sur les LEGO a été conçu pour améliorer la
collaboration et les mécanismes de prise de rôle [11]. Un élément
clé de cette thérapie est qu’elle simplie l’interaction sociale en
dénissant explicitement le rôle de chaque enfant (un "ingénieur",
un "constructeur" et un "fournisseur de ressources"). En suivant ce
principe des thérapies de construction, Farr et ses collègues ont
ainsi étudié les avantages de l’utilisation de jeux tangibles aug-
mentés (d’abord avec le jeu Topobo
©
[12], ensuite avec un jeu de
château physique augmenté [13]) où les mécanismes de rétroac-
tion (visuels, kinesthésiques et sonores) rendent les objets plus
attrayants et favorisent la compréhension des causes et des eets.

Conception d’interactions virtuelles et tangibles pour apprendre la collaboration motrice à des enfants avec Trouble du
Spectre de l’Autisme IHM ’20.21, April 13–16, 2021, Virtual Event, France
Les mêmes conclusions ressortent de l’essai d’un entraînement aux
activités collectives via la table interactive Reactable [14] (pour les
performances musicales).
Des applications sur table interactives ont été développées pour
les enfants atteints de TSA car elles combinent la exibilité d’une
interface numérique avec la dimension collective d’une table [15].
Le projet SIDES propose un jeu coopératif où les enfants atteints
de TSA devaient construire ensemble à tour de rôle un chemin
avec des nénuphars [15]. Comme chaque joueur décide de la n
de son tour en appuyant sur un bouton, l’activité implique des
compétences de négociation et de prise de tour de rôle. Un résultat
intéressant de l’évaluation est que les enfants ont trouvé l’activité
plus facile et plus relaxante avec des règles gérées par ordinateur.
Dans le cadre du projet StoryTable [16], des dyades d’enfants at-
teints de TSA participent à l’écriture d’une narration collective.
Certaines actions pouvaient être réalisées par un seul enfant, tandis
que d’autres devaient être faites conjointement (par exemple, en
touchant ensemble un bouton pour sélectionner un arrière-plan).
Ce paradigme de collaboration forcée a montré qu’il favorise davan-
tage d’initiations sociales et de jeux partagés après l’intervention.
Ce type d’entraînement basé sur des gestes de coopération forcée a
également été utilisé avec succès dans le développement de deux
autres applications utilisant des tables : un puzzle collaboratif [17]
conçu pour être résolu par une dyade d’enfants à travers une série
de gestes coopératifs : se toucher, se déplacer et se relâcher en-
semble ; et une série de trois mini-jeux [18] visant à former trois
aptitudes sociales : l’action conjointe (via un jeu consistant à dé-
placer ensemble un panier pour attraper des pommes), le partage
des ressources (via un jeu de construction de ponts en partageant
des pièces complémentaires) et la planication mutuelle (via un
jeu de collecte d’étoiles, un enfant détachant les étoiles tandis que
l’autre les attrape avec un panier). Dans les deux cas, l’évaluation a
montré que la condition de collaboration forcée induisait davantage
de mouvements de coordination pour les enfants atteints de TSA.
Si ces projets d’interactions tangibles et de tables interactives
montrent l’intérêt d’une interaction sociale structurée et rendue
attractive ou forcée, ils restent limités sur deux aspects : l’interaction
reste complexe pour des enfants atteints de TSA sévère de types
non-verbaux, et la dimension motrice de l’entraînement n’est que
très peu considérée.
2.2 Entrainer des compétences non verbales
avec des agents incarnés
L’expressivité et l’interactivité contrôlées des agents incarnés, qu’il
s’agisse d’agents virtuels ou de robots, permettent aux chercheurs
de développer des applications adaptées à la formation de compé-
tences sociales spéciques. En raison de leur présence physique,
les robots sont de puissants attracteurs et peuvent proter de cette
attention pour engager l’enfant dans des activités interactives. Les
compétences d’imitation, avec leur dimension sociale et motrice,
ont été formées par des robots sociaux [19]. Robota et Nao sont
deux robots populaires utilisés dans ces thérapies d’imitation, où
des mouvements et des postures simples des bras doivent être suivis
ou initiés [20], [21], ce qui induit une imitation plus spontanée chez
les enfants atteints de TSA [22]. Des résultats similaires ont été
obtenus avec Tito, un robot ressemblant à une marionnette [23].
Des modèles interactifs plus complexes combinant l’imitation et les
mécanismes d’attention conjointe ont été développés [24].
Les agents virtuels ont été principalement développés pour en-
traîner la communication aective [25], [26] et l’attention conjointe
[27], [28], intégrés dans des jeux sérieux. JeMime est un jeu des-
tiné à entraîner les compétences de production d’émotions [26].
L’idée du projet est de guider la production d’expressions faciales
pertinentes (grâce à des jauges) en fonction de la situation sociale.
Le projet ASC-Inclusion propose un jeu qui comprend à la fois
des tâches de reconnaissance d’émotions et d’expressions pour le
visage, le corps et la voix [29]. Dans le projet ECHOES, l’agent
virtuel pouvait agir sur l’environnement virtuel, pointer des objets
et orienter son regard pour initier une attention conjointe [30].
À ce jour, les agents incarnés ont été développés pour former les
compétences sociales distales avec quelques succès, mais aucun
projet n’a été développé pour la formation de l’action conjointe
dans ses dimensions sociales et motrices. Les principales études
existantes sont limitées à la coopération (chacun utilise ses propres
mouvements indépendamment) et non à la collaboration.
2.3 Des agents incarnés pour l’entrainement à
l’action conjointe d’enfant atteint de TSA ?
Comme précisé dans l’introduction, l’action conjointe, dénie
comme la collaboration motrice en vue de manipuler un objet com-
mun, a le potentiel d’orir une porte d’entrée accessible (via la
motricité) dans la sphère du sociale pour des enfants atteints de
TSA [31]. La simulation de l’action conjointe est un domaine actif
de la robotique moderne [32] (gure 1), où les enjeux d’assignement
de rôles et de dynamiques collaboratives sont débattus [33]. Ces
travaux restent actuellement à l’état de recherche et sont donc loin
d’être transférables dans un contexte sensible comme celui d’une
tâche avec en enfant atteint de TSA.
La majeure partie des travaux en robotique sociale à destina-
tion d’enfants atteints de TSA garde à distance les robots, ceux-ci
remplissant en premier lieu une fonction de communication. Deux
projets intègrent la possibilité d’un engagement physique entre le
robot et les enfants atteints de TSA. Le robot Probo [35] (gure
2, gauche), un robot «attrapable », a la possibilité d’exprimer des
émotions, divers comportements non-verbaux et son enveloppe a
été pensée pour avoir une apparence chaleureuse encourageant
l’étreinte, notamment via son revêtement de mousse et de coton
similaire à celle d’une peluche éléphant. Pour permettre à des en-
fants d’interagir avec un robot dans un contexte terrain sensible,
la partie hardware a fait l’objet d’un travail de recherche à part
entière [36]. Ainsi, l’ensemble des actionneurs du dispositifs ont été
mis en série avec des ressorts pour apporter de l’élasticité au robot
en cas de collision et orir une expérience de «toucher doux »[37].
Très récemment, le projet CASTOR (CompliAnt SofT Robotics) a
développé un robot (gure 2, droite) aussi basé sur les principes de
la «robotique douce »(soft robotics) en vue de permettre la mise
en place de thérapies sociales en contexte réel et avec engagement
physique [38]. Si la robotique douce ouvre la porte des thérapies
motrices et sociales pour des enfants atteints de TSA, elle n’en est
qu’à ses débuts et l’élasticité inhérente de ces robots semblent aller
en contradiction avec le besoin de co-manipulation d’une action
conjointe.

IHM ’20.21, April 13–16, 2021, Virtual Event, France Tom Giraud et al.
Figure 1: Quatre tâches motrices collaboratives [34]
Figure 2: Gauche : le robot PROBO [35]. Droite : le robot CASTOR [38].
Figure 3: Gauche : Wobbly table [39]. Centre : tâche d’imitation [40]. Droite : tâche de jeu en miroir [41].
Une piste pour garder la dimension incarnée de l’agent et perme-
ttre une activité physique collaborative est d’augmenter physique-
ment l’achage d’un agent virtuel. C’est ce qui a été fait lors du
projet de la «Wobbly table »(gure 3, gauche) ayant pour objec-
tif d’augmenter l’eet de présence sociale par le partage entre
l’utilisateur et l’agent d’une table mi tangible – mi virtuelle [39].
Ce type de paradigme de la fenêtre réelle – virtuelle a par la suite
été utilisé lors d’une tâche d’imitation entre des adultes atteints de
TSA et un agent virtuel [40] (gure 3, centre), ainsi que lors d’une
tâche de jeu en miroir entre un enfant atteint de TSA et un agent
virtuel [41] (gure 3, droite).
Ces diérents projets n’utilisent la dimension physique que
comme un élément de continuité entre le réel et le virtuel, mais
présentent l’avantage d’être intrinsèquement sécuritaire pour le
contexte sensible d’une tâche avec un enfant atteint de TSA : la
technologie se retrouve cachée derrière l’écran. Un des objectifs de
ce projet a été d’explorer les possibilités du concept de l’humain
virtuel augmenté en vue de proposer un entraînement à l’action
conjointe sécuritaire et évolutif. Dès lors, l’enjeu principal d’un tel
projet devient : comment permettre à un enfant d’avoir la sensation
de tenir un objet physique avec un agent virtuel ?
3 METHODE
3.1 Contexte du projet
La présente recherche a été menée par une équipe interdisciplinaire
comprenant des chercheurs en IHM et en psychologie, ainsi que
des chercheurs et des praticiens en psychopathologie du développe-
ment travaillant dans un centre d’accueil pour enfants avec autisme.
L’équipe de psychopathologie du développement a une longue ex-
périence de recherche dans le développement des compétences

Conception d’interactions virtuelles et tangibles pour apprendre la collaboration motrice à des enfants avec Trouble du
Spectre de l’Autisme IHM ’20.21, April 13–16, 2021, Virtual Event, France
d’imitation des enfants atteints de TSA [caché]. L’équipe expéri-
mente également l’utilisation thérapeutique du jeu Pictogram-
Room basé sur Kinect [42], [43]. Cette pratique a permis à l’équipe
d’acquérir de solides connaissances sur la manière de concevoir et
de mettre en œuvre des thérapies interactives basées sur le corps
pour les enfants atteints de TSA.
3.2 Principes pour l’entrainement à l’action
conjointe
Lors des thérapies d’imitation synchrone, chaque partenaire négocie
le rythme avec l’autre an de réaliser une co-action, en alternant
les rôles d’initiateur et d’imitateur [44]. Dans ce cas, les partenaires
développent leurs propres gestes sans interférer physiquement
avec les gestes de l’autre. Un autre point d’entrée dans le domaine
social est la réalisation collaborative d’actions physiques (c’est-à-
dire d’actions conjointes). En fondant la formation des compétences
sociales sur des actions physiques concrètes, on peut trouver un
moyen plus direct de parvenir à une collaboration avec les autres.
Le but de notre projet est donc d’entraîner les compétences motrices
sur des actions physiques qui pourraient progressivement (en trois
phases) devenir des actions conjointes nécessitant la collaboration
motrice d’un partenaire :
•
Phase 1 : entraînement à l’autonomie motrice pour permettre
aux participants de réaliser seuls les mouvements nécessaires
à la tâche.
•
Phase 2 : entraînement à l’action conjointe avec un agent
virtuel coopératif qui se synchronise avec les mouvements
de l’enfant.
•
Phase 3 : entraînement à l’action conjointe avec un agent
virtuel autonome qui demande à l’enfant d’adapter sa motric-
ité.
Notre approche vise à développer un système d’entraînement qui
permet non seulement de suivre cette approche par phase, mais
aussi de prendre en compte la diversité des enfants atteints de
TSA et leurs spécicités individuelles [45]. Le système développé
doit être accessible à des enfants montrant diérents niveaux de
troubles cognitives, motrices, verbaux et non-verbaux, an d’éviter
de se focaliser uniquement sur un autisme à haut fonctionnement.
C’est pourquoi la cible première du projet sont des enfants (entre
4 et 10 ans) atteints de TSA et non-verbaux. Le cœur du projet,
l’entraînement de compétence sociales à travers l’action conjointe
va dans le sens de notre démarche d’inclusivité. Un autre élément
qui va dans ce sens est la personnalisation de l’entraînement au plus
près du besoin de l’enfant. Suivant l’idée que “chaque enfant est
unique”, le projet a pour ambition d’orir un entraînement exible
plutôt que standardisé, dans lequel le praticien est capable d’adapter
dynamiquement la tâche et la diculté de celle-ci à la performance
de l’enfant.
3.3 Processus de conception
Le processus de conception que nous avons suivi se décompose en
plusieurs phases. Le projet a débuté par une phase de recherche de
conception visant à préciser à la fois le contenu de l’entraînement
et la conception du système interactif. Elle comprenait tout d’abord
une phase d’observation participante au sein d’un centre pour en-
fants atteints de TSA (dont les âges devaient se situer entre 4 et 10
ans), phase qui nous a permis de relever un ensemble d’éléments
utiles à la conception du dispositif :
•Les praticiens adaptent chaque activité à chaque enfant
•
Les praticiens font les activités avec les enfants (parfois en
prenant leur place)
•
Les praticiens sont extrêmement attentifs à l’enfant (et ne
veulent pas être dérangé par la technique)
•
Les objets tangibles sont doux, robustes, et variés pour éviter
les intérêts restreints
•
Les objets tangibles sont le support de diverses activités
collaboratives
Dans un deuxième temps, nous avons mis en place une série de
séances d’idéations avec les praticiens impliqués dans le projet an
de préciser de manière itérative les diérents éléments du système.
Cette phase comporte 9 rencontres étalées sur 9 mois an d’explorer
et débattre d’alternatives de conception. On peut synthétiser les
discussions menant aux diérents choix techniques autour de trois
axes :
•
Innocuité du dispositif : ce critère central au sein des centres
d’accueil a eu pour conséquence d’écarter la piste robotique
et de mettre en avant la proposition d’une interaction avec
agent virtuel. Le principe d’une paroi réel-virtuelle avec
manipulation d’un objet tangible en mousse aimantée est
aussi issu de ces débats.
•
Réalisme de la tâche : pour assurer une plus grande trans-
férabilité des acquis de l’entraînement à la vie quotidienne, il
a été décidé de se rapprocher autant que possible des codes
d’une interaction réelle. Ainsi la paroi réelle-virtuelle a été
réalisée comme une fenêtre, et les objets tangibles conçus
pour avoir les comportements d’objets réels.
•
Scénarios et dialogue moteur : la complexité de
l’entraînement à l’action conjointe devait pouvoir
évoluer aussi bien au niveau moteur qu’au niveau social. Au
niveau moteur, quatre schèmes moteur ont été dénis (poser,
lever, tirer, pousser) et une tâche de rangement d’objets
(similaire à l’action de ranger sa chambre par exemple)
conçue comme une composition de ces schèmes moteurs.
Au niveau social, deux rôles d’agents ont été conçus : un
agent coopératif (qui suit l’enfant) et un agent indépendant
(que l’enfant doit suivre). Une complexité supplémentaire
pour l’agent indépendant est qu’il peut eectuer la tâche à 3
vitesses diérentes : la vitesse de confort de l’enfant, plus
vite que l’enfant, et plus lentement que l’enfant.
Cette phase a abouti à un prototype fonctionnel décrit dans
la section suivante sur la réalisation du système. La phase
d’expérimentation prévue dans le projet se compose d’une étude
en laboratoire avec des enfants typiques an de recueillir des infor-
mations préliminaires sur la validité du paradigme d’interaction,
d’un entraînement expérimental sur le terrain avec de jeunes en-
fants atteints de TSA an de tester l’appareil dans des conditions
réelles, et enn d’un entraînement expérimental sur le terrain avec
de jeunes adolescents atteints de TSA an d’explorer le potentiel
du dispositif pour d’autres types de publics. Dans cet article, nous
présentons les résultats préliminaires de la première étude.

IHM ’20.21, April 13–16, 2021, Virtual Event, France Tom Giraud et al.
Figure 4: Schéma des acteurs impliqués dans le projet.
Figure 5: a. Installation interactive complète. b. Objet tangible sur le mur et détaché de celui-ci. c. Système de suivi intégré à
l’objet jumeau arrière. d. Télécommande pour congurer la formation.
4 DESCRIPTION DU SYSTÈME
4.1 Le paradigme d’interaction
Le système proposé vise à simuler une action conjointe entre un
enfant et un personnage virtuel (gure 5.a). Il est composé d’un
personnage virtuel projeté sur une surface verticale sur laquelle
un objet tangible est magnétisé : l’enfant et le personnage virtuel
tiennent et déplacent tous deux l’objet, ce qui permet de simuler
une action conjointe. L’enfant peut tenir et déplacer l’objet tangible.
Le personnage virtuel peut déplacer ce qui ressemble à la partie
graphique de l’objet tangible. Ce système est basé sur le paradigme
d’interaction de la fenêtre réelle-virtuelle [46] : le mur projeté est
une fenêtre sur l’espace virtuel du personnage virtuel supposé être
la continuité de l’espace réel du participant, les participants peuvent
"voir à travers" le mur.
4.2 Structure du dispositif
La gure 5.a montre la structure du dispositif avec trois objets tan-
gibles interactifs positionnés sur celui-ci. Le dispositif se compose
d’une structure en aluminium supportant la fenêtre interactive
(1,5m * 1m), d’une structure en bois conçue comme une façade de
mobilier et un cadre pour la fenêtre, d’un vidéoprojecteur, et d’une
face arrière (0,6m de profondeur) fermée par une porte avec tout le
matériel nécessaire à l’intérieur. L’appareil est stable et résiste aux
coups sans aucun risque. Comme l’appareil est imposant, la façade
en bois apporte une certaine familiarité et la couleur blanche de
la partie supérieure de l’appareil limite sa saillance dans le champ
perceptif. Une vidéoprojection à très courte portée a été choisie
pour limiter les ombres pendant l’interaction.
4.3 Objets interactifs
4.3.1 Matériaux et glissement. Les objets tangibles sont fabriqués
sur mesure en EVA, une mousse de haute densité utilisée pour
les jeux d’enfants et les tapis. Dans ce projet, le choix a été fait de
concevoir trois objets représentant une table (en violet), un tabouret
(en rouge) et une boîte (en bleu). Chaque objet tangible tient sur
le mur car il est magnétisé à un objet jumeau situé derrière le
mur (gure 4.b & 4.c). Pour permettre aux parties avant et arrière
des objets de glisser facilement tout en étant fermement attirées
l’une vers l’autre, le mur est constitué d’un matériau composite
mince (4 mm d’Alu Dibond
©
) recouvert d’un revêtement glissant
sur les deux faces (Velleda
©
). Des aimants de diérentes puissances

Conception d’interactions virtuelles et tangibles pour apprendre la collaboration motrice à des enfants avec Trouble du
Spectre de l’Autisme IHM ’20.21, April 13–16, 2021, Virtual Event, France
ont été testés pour trouver le meilleur compromis entre une forte
attraction et un bon glissement. Des chanfreins ont été ajoutés aux
objets frontaux pour inciter la saisie de l’objet au plus près du mur,
ce qui limite le risque de détachement accidentel. Cette solution
a été retenue plutôt qu’un système similaire à Reactable car dans
notre cas, il était nécessaire d’avoir une paroi verticale et opaque
pour cacher les objets jumeaux de l’autre côté de la paroi, qu’un
rétro-éclairage aurait mis en avant.
4.3.2 Suivi des objets. Lorsque l’enfant fait glisser l’objet de devant
le long du mur, l’objet jumeau correspondant caché derrière le mur
suit. Grâce à ce principe, le suivi peut être intégré dans l’objet
jumeau et être caché à l’enfant. Le choix du système de suivi a été
guidé par trois facteurs (par ordre d’importance) :
•
Fiabilité : le paradigme de l’interaction des fenêtres repose
sur la continuité robuste entre la partie virtuelle et la partie
réelle de l’objet tangible. Un aspect critique était de concevoir
une solution de suivi orant un délai minimal pour donner
l’impression que la partie virtuelle et la partie tangible "se
collent" et forment le même objet
•
Compacité : le système doit pouvoir être installé à l’arrière
de l’appareil
•
Reproductibilité : l’appareil est conçu pour être reproductible
et facile à entretenir
An de respecter ces facteurs et d’assurer en même temps que le
coût des composants du système ne devienne pas un frein à sa
réplication, le suivi 2D en temps réel de l’objet tangible est réalisé
par la combinaison des deux systèmes suivants (gure 5.c) :
•
Un suivi relatif et à faible retard réalisé avec deux souris
intégrées. En plus de leur grande réactivité, les souris sont
compactes et très ables.
•
Un suivi absolu basé sur des marqueurs, réalisé à l’aide d’une
webcam et de deux marqueurs Aruco sur la partie jumelle
de chaque objet situé de l’autre côté de la paroi. Le suivi con-
tinue donc même lorsque l’objet est décroché. Ceci permet
au praticien (ou à l’enfant) de savoir où il doit reposition-
ner l’objet pour l’aimanter à nouveau avec sa partie jumelle
sans avoir à ouvrir le dispositif. Ce système a été ajouté en
complément du suivi par la souris pour corriger la dérive
accumulée.
La fusion de ces données en temps réel est réalisée en fonction
de la vitesse de déplacement : les données de suivi des souris sont
utilisées au-dessus d’un seuil de vitesse et les données de suivi des
marqueurs sont utilisées en dessous, corrigeant la dérive accumulée
pendant les phases de déplacement rapide.
4.4 Personnages virtuels interactifs
4.4.1 Morphologie et comportements. La partie logicielle de
l’appareil a été conçue avec le moteur de jeu Unity. Les person-
nages virtuels anthropomorphes ont été conçus sans caractéris-
tiques et expressions faciales pour limiter la complexité sociale de
la scène virtuelle. Comme l’entraînement implique d’interagir dans
deux modes (un mode suiveur et un mode leader), deux personnages
virtuels diérents ont été conçus, diérenciés l’un de l’autre par une
couleur et un chapeau diérent (gure 6.a). Attribuer un rôle spéci-
que à un personnage identiable permet de simplier l’interaction
sociale et d’apporter une variabilité attrayante à l’entraînement.
Des noms ont été donnés à chaque personnage pour les personnier
et faciliter les instructions orales pour les praticiens ("Michou" pour
le personnage suiveur, "Lola" pour le personnage meneur).
Les comportements non verbaux de l’agent ont été conçus de
manière à être aussi simples que possible. Lors des phases inactives,
le personnage est animé par une animation d’attente. À la demande
du praticien, le personnage virtuel peut saisir un objet virtuel. Cette
animation de saisie a été réalisée à l’aide d’un algorithme de cinéma-
tique inverse humanoïde. Deux modes d’interaction ont été conçus
:
•
Mode suiveur : le personnage tient l’objet virtuel qui reste
aligné sur la partie tangible. L’enfant doit eectuer un mou-
vement vers une cible spécique indiquée par le praticien.
Dans la gure 6.b, l’instruction est de déplacer avec Michou
la boîte bleue de la table violette vers le tabouret rouge.
•
Mode meneur : le personnage initie un mouvement avec
la partie virtuelle de l’objet qui se détache visuellement de
la partie tangible de l’objet. L’enfant doit suivre le mouve-
ment du personnage vers une cible spécique qui lui est
inconnue. Si l’enfant ne suit pas l’objet virtuel d’assez près,
le personnage principal libère l’objet et une animation de
fumée s’ache autour de la partie virtuelle de l’objet. Dans
la gure 6.c, l’instruction est de se déplacer avec Lola la boîte
bleue en suivant Lola (sans spécier la destination).
4.4.2 Contrôles et retour d’information. Pour chaque session
d’entraînement, un scénario est déni comme la tâche consistant
à déplacer un objet spécique vers une cible spécique en même
temps que le personnage virtuel. Le praticien contrôle les types et
la quantité de scénarios qu’il veut exécuter avec l’enfant. Un scé-
nario est automatiquement considéré comme un succès (avec des
étoiles achées et tournant autour de la partie virtuelle de l’objet,
gure 7, gauche) lorsque l’objet tangible tenu par l’enfant atteint la
cible. Il est automatiquement considéré comme un échec (avec une
animation de fumée douce, gure 7, droite) si l’enfant ne réussit pas
à suivre correctement le personnage principal. En plus de ces déci-
sions automatiques, le praticien peut prendre la main sur celles-ci
et étiqueter manuellement un scénario comme étant un succès, un
échec ou un scénario avorté. Cette exibilité est importante pour
leur permettre d’expérimenter le dispositif et d’adapter l’évaluation
de la formation à chaque enfant. Les praticiens peuvent également
congurer la session via un écran d’accueil (retour audio, hauteur,
mode interactif, vitesse, seuil d’échec).
Pendant une séance, les praticiens doivent rester attentif et en-
gagé dans l’interaction avec l’enfant et éviter toute distraction. Nous
avons donc conçu une télécommande légère et personnalisée pour
manipuler l’appareil (gure 5.d). En utilisant un pavé numérique
sans l recouvert d’icônes personnalisées, les praticiens peuvent
congurer la session via l’écran d’accueil et contrôler les scénarios
durant d’interaction. La télécommande peut être utilisée en la ten-
ant dans la main ou en la plaçant dans son support personnalisé
sur le côté de l’appareil.
4.4.3 Visualisation des séances. Le dernier composant du système
est un ensemble d’outils permettant aux praticiens de visualiser et

IHM ’20.21, April 13–16, 2021, Virtual Event, France Tom Giraud et al.
Figure 6: a. Les deux agents virtuels. b. Séquence de mouvements en mode suiveur. c. Séquence de mouvements en mode
meneur.
Figure 7: Gauche : animation de succès (étoiles autour de l’objet). Droite : animation d’échec (fumée autour de l’objet).
de revenir sur les interactions. Toutes les interactions avec le sys-
tème sont enregistrées par celui-ci. Les données qui sont conservées
sont pour chaque séance, l’ensemble des paramètres des séances
(date, conguration, mode de l’agent) ainsi que les mouvements
eectués par les objets durant chaque scénario réalisé par l’enfant.
Il est bien sûr à préciser que le système ne peut suivre que les par-
ties des objets qui se trouvent de l’autre côté de la paroi, celles qui
servent au suivi à l’aide des souris et des marqueurs Arucos et que
c’est en réalité leurs déplacements qu’ils enregistrent. Si l’enfant
décroche sa partie de l’objet, le système ne le sait pas et continue
d’enregistrer les déplacements des parties suivies.
Le système fournit des outils permettant de traiter ces données
an d’en extraire des informations descriptives sur les séances (e.g.
vitesse moyenne des déplacements, écart moyen avec l’agent), ainsi
que des images et des vidéos rejouant les déplacements eectués par
l’enfant, permettant aux praticiens de revoir a posteriori certaines
séances et de visualiser sous une autre forme les performances
des enfants (voir gure 8). En particulier, ces outils permettent de
visualiser les écarts spatiaux et temporels entre les trajectoires de
l’agent et celles de l’enfant. La trajectoire de l’agent est représen-
tée sous la forme d’un trait noir et la trajectoire de l’enfant est
représentée sous la forme d’un trait de la couleur de l’objet qu’il
déplace (le trait est plus clair au début du mouvement, plus foncé
à la n). L’épaisseur du trait dépend de la vitesse de l’enfant. De
nes lignes noires entre la trajectoire de l’enfant et celle de l’agent
indiquent le lien temporel entre les trajectoires, permettant de vi-
sualiser si l’enfant anticipait ou était en retard sur le mouvement
de l’agent. Cette visualisation graphique permet ainsi une analyse
personnalisée des mouvements de chaque enfant en relation avec
les mouvements de l’objet. Ces traces graphiques sont exploitées
par les chercheurs en psychopathologies an d’évaluer l’ecacité
de l’entraînement à la collaboration motrice à l’aide du dispositif
et également par les praticiens qui peuvent mettre en place des

Conception d’interactions virtuelles et tangibles pour apprendre la collaboration motrice à des enfants avec Trouble du
Spectre de l’Autisme IHM ’20.21, April 13–16, 2021, Virtual Event, France
Figure 8: diérentes visualisations des trajectoires d’un enfant avec l’agent suiveur (a et b) et avec l’agent meneur (c et d). a.
Le mouvement de l’enfant accélère progressivement. b. L’enfant explore en commençant par monter l’objet très haut avant de
revenir à la position initiale et d’eectuer la trajectoire demandée. c. l’enfant s’éloigne progressivement de l’agent. d. l’enfant
suit l’agent et adapte son mouvement pour rester aligné avec lui.
thérapies pour lesquelles il est précieux de revoir à posteriori les
séances.
5 ETUDE D’USAGE PRELEMINAIRE
Dans cette section, nous rendons compte de manière qualitative de
notre première étude, conduite avec des enfants typiques n’étant pas
atteints de TSA. Cette étude qualitative a pour objectif de recueillir
les premiers retours sur l’utilisabilité du système par des enfants.
L’objectif n’est pas de tester la capacité du système à entraîner les
enfants à réaliser des actions conjointes mais plutôt de tester leur
compréhension de la fenêtre réelle-virtuelle et des actions à réaliser
en collaboration avec l’agent. En parallèle, cette étude a pour objec-
tif de nous permettre de détecter des problèmes ergonomiques et
techniques. Dans cette section nous rapportons donc nos observa-
tions lors de ce test d’utilisabilité (pour lesquels il est généralement
admis qu’entre 5 et 10 testeurs permettent d’identier 80% des prob-
lèmes d’utilisabilité). Cette étude d’usage répondait à la nécessité de
vérier l’utilisabilité du dispositif pour de jeunes enfants capables
de verbaliser leurs impressions et de concevoir son adaptabilité à
diérentes tailles et diérentes statures de jeunes dans l’objectif de
préparer un entraînement au long terme du système pour sa vali-
dation future avec des enfants porteurs de TSA. Un autre protocole
expérimental avec enfants TSA est en cours (étude longitudinale et
faits objectivés) et fera l’objet d’une autre publication.
5.1 Participants
Les enfants typiques sélectionnés se trouvent dans la même tranche
d’âge que les enfants cibles (utilisateurs naux), an qu’ils aient
des tailles et des poids similaires. La capacité des enfants typiques à
verbaliser leurs impressions permet de recueillir des informations
précieuses pour la conception du système. Dix enfants entre 4
et 10 ans (4 lles et 6 garçons) ont participé à cette étude. Leurs
consentements ainsi que celui de leurs parents ont été recueillis
comme requis par la déclaration d’Helsinki et le comité éthique de
l’Université Paris-Saclay (le Comité d’Éthique de la Recherche a
donné un avis favorable à l’étude).
5.2 Procédure
Dès leur arrivée, les parents prennent connaissances et signent
(s’ils le souhaitent) un formulaire de consentement, accompagné
d’une description de nos objectifs de recherche ainsi que des tâches
demandées à leur enfant. Une attention particulière a été portée
à la compréhension par les parents et les enfants que ce n’étaient
pas l’enfant qui était testé mais bien le système. Les enfants étaient
encouragés à exprimer leurs impressions, bonnes et/ou mauvaises,
à tout moment. L’enfant réalisait les tâches, guidé par un expéri-
mentateur, pendant que deux autres expérimentateurs restaient
en tant qu’observateurs, les parents restant présents dans la pièce.
L’interaction avec le système durait environ 15 minutes, suivi d’une
interview semi-structurée (grille d’entretien en annexe) d’une durée
de 20 minutes. L’interview était menée autour de l’appréciation
du système, de la compréhension de la fenêtre réelle-virtuelle, de
l’interaction avec les objets et le mur et enn sur l’action conjointe
avec l’agent. Les parents étaient encouragés à intervenir durant
l’interview pour éventuellement reformuler et clarier les ques-
tions. Les expérimentateurs prenaient leurs notes d’observation et
d’entretien à même ce guide. Pour résumer, pour chaque enfant
les données collectées étaient composées de son âge, son poids, sa
taille et les notes des trois expérimentateurs. Pour l’analyse, les
notes des trois expérimentateurs ont ensuite été croisées.
Lors de la tâche, chaque enfant devait réaliser une série de mou-
vements avec le système, et ce dans 3 conditions diérentes : sans
agent, avec l’agent suiveur et avec l’agent meneur. Ces mouvements
étaient :
•
Déplacer la boîte bleue depuis le sol vers le dessus du tabouret
rouge
•
Déplacer la boîte bleue depuis le dessus du tabouret rouge
vers le dessus de la table violette
•
Déplacer la boîte bleue depuis le dessus de la table violette
vers le dessus du tabouret rouge
•
Déplacer la boîte bleue depuis le dessus du tabouret rouge
vers le sol
5.3 Résultats préliminaires
5.3.1 Appréciation. Globalement, le système a été bien reçu, en
particulier lorsque les personnages faisaient leur apparition. Le fait
de les appeler par leur nom, Lola et Michou, a généré de la curiosité
et des réactions amusées chez les enfants. Bien que nous n’ayons
pas observé de réactions négatives ou de frustration, les enfants
plus âgés ont montré une baisse d’excitation vers la n de leur
séance, surement dû au fait qu’ils accomplissaient les tâches très
facilement. Ces enfants typiques comprenaient bien la diérence
entre un “succès” (étoile) et un “échec” (fumée).

IHM ’20.21, April 13–16, 2021, Virtual Event, France Tom Giraud et al.
5.3.2 Fenêtre réelle-virtuelle. Bien que certains enfants aient noté
un mauvais alignement entre l’objet réel et l’objet virtuel, l’ensemble
des enfants semble avoir perçu que l’espace virtuel se trouvait “en
face d’eux”. Il n’y a pas eu de remarques négatives sur la qualité de
l’achage ou sur d’éventuels dicultés à percevoir le monde virtuel.
Lorsque les enfants détachaient de façon accidentelle l’objet du mur,
ils comprenaient comment remettre l’objet en place. Il y avait parfois
un peu d’approximation au niveau de l’alignement requis cependant.
Un bug apparu à deux reprises (donc avec un impact limité sur
l’expérimentation) déclenchait des mouvements en décalage de
la partie virtuelle, cassant le lien virtuel-réel, et menant l’objet
virtuel à sortir de l’écran. Les enfants percevaient l’incohérence de
la situation et se mettaient à rire. Le seul moment où les enfants
se sont éloignés de la structure, comme pour indiquer une rupture
de l’immersion dans l’interaction, fut lorsqu’il a été nécessaire de
retourner au menu pour changer de mode d’interaction, comme
prévu par notre protocole.
5.3.3 Interaction avec le mur. Tous les enfants ont spontanément
détaché l’objet du mur la première fois. Naturellement, ils cherchent
d’abord à lever et tirer l’objet, le faire glisser sur la paroi ne sem-
blant pas intuitif. Les enfants ont ainsi dû s’adapter pour utiliser
le système et cette adaptation a pris plus ou moins de temps en
fonction des enfants (certains l’ont assimilé immédiatement lors
du 2ème essai, d’autres ont eu besoin de 5 minutes). Nous avons
également pu noter que déplacer l’objet lorsqu’il est situé plus bas
que les genoux semblait être plus dicile. Bien que tous les enfants
aient pu surmonter leur diculté et terminer l’expérience, certains
ont dû parfois changer de posture pour faire glisser l’objet, la ré-
sistance semblant un peu forte pour eux (pour les plus jeunes, 4-5
ans). Néanmoins, cette diculté leur est apparue naturelle au vu
du scénario qui consiste à déplacer à deux un objet lourd.
5.3.4 Perception de l’action conjointe. Lorsque nous leur avons
demandé de décrire l’interaction, les enfants ont répondu qu’ils
avaient déplacé l’objet avec Lola ou Michou, leur donnant ainsi vie.
Le mouvement de saisie de l’objet virtuel par l’agent a déclenché
à plusieurs reprises un mouvement de saisie de l’objet réel chez
certains enfants. Deux enfants ont cependant décrit la tâche de
suivi de Lola (l’agent meneur) comme un déplacement en même
temps qu’elle, la percevant plutôt comme une action en parallèle
que comme une action conjointe.
5.4 Corrections du système
Grâce à cette étude, nous avons recueilli des retours précieux sur
un ensemble d’éléments pouvant être modiés pour faciliter le
scénario d’entraînement d’enfants atteints de TSA :
•
Faciliter le déplacement de l’objet : déplacer un objet selon
un plan en deux dimensions n’est pas naturel pour un enfant
et il est important de familiariser les enfants avec le mode
de déplacement de l’objet. Par conséquent, il est plus perti-
nent de faire référence au mouvement comme un glissement
plutôt que comme un déplacement ou un mouvement.
•
Adapter la hauteur minimale de l’étagère du bas : les en-
fants les plus grands ont eu des dicultés à déplacer l’objet
lorsqu’il était bas. Nous avons donc conçu une étagère
ajustable permettant de régler la hauteur minimale de la
zone d’interaction.
•
Limiter l’impact de l’écran d’accueil : la rupture d’immersion
provoquée par le retour au menu principal nous a conduit
à changer celui-ci an qu’il soit présenté comme une vue
sur l’environnement virtuel et ses objets, an de préserver
la continuer réelle-virtuelle.
•
Éviter les distractions dues à des feedbacks pour les prati-
ciens : les enfants ont eu des remarques sur les éléments
d’interfaces à destination des praticiens. Nous avons donc
fait en sorte de les rendre moins visibles en retirant leur
couleur, en ajoutant de la transparence et en diminuant leur
taille.
6 DISCUSSION
Avec cet article, nous avons présenté un système interactif per-
mettant l’entraînement à l’action conjointe, entraînement à la fois
des compétences motrices et sociales, pour des enfants atteints
de TSA. La conception d’un tel système virtuel et tangible est
l’aboutissement d’une approche pluridisciplinaire intégrant psy-
chopathologie, conception mécanique, développement logiciel et
prise en compte des utilisateurs. Le principal intérêt d’une telle
thérapie est qu’en introduisant du social au sein d’un entraînement
moteur, on rend accessible une thérapie sociale à des enfants at-
teints de TSA et non-verbaux. D’un autre côté, le principal enjeu
d’un tel système est qu’en cherchant à simuler la co-manipulation
physique, la plupart des dispositifs robotiques capables de le faire ne
remplissent pas les contraintes d’innocuités qu’un environnement
aussi sensible qu’un lieu d’accueil pour enfants atteints de TSA
requiert. Aussi, la proposition originale de ce projet de recherche
est de s’écarter de la piste robotique pour explorer celle de l’humain
virtuel augmenté. Le système est composé d’un personnage virtuel
projeté sur une surface verticale sur laquelle un objet tangible est
magnétisé : l’enfant et le personnage virtuel tiennent et déplacent
tous deux l’objet, ce qui permet de simuler une action conjointe.
Le mur projeté est une fenêtre sur l’espace virtuel du personnage
virtuel supposé être la continuité de l’espace réel du participant, les
participants peuvent "voir à travers" le mur. À notre connaissance,
ce système interactif est le premier à proposer un tel entraînement
d’action conjointe adaptée aux jeunes enfants atteints de TSA. Les
premiers résultats d’une étude de faisabilité avec enfants typiques
ont montré le potentiel du système : le dispositif interactif a été
accepté et perçu comme attrayant, le paradigme interactif de la
fenêtre réelle-virtuelle a fonctionné et les enfants ont compris là
tâches du déplacement à deux d’objets à la fois tangibles et virtuels.
Poussés par la forte contrainte de concevoir un système inoen-
sif et visuellement minimaliste, nous avons développé un disposi-
tif dans lequel toutes les technologies nécessaires sont intégrées
derrière un mur, contraignant l’interaction à un plan 2D. Avec le
système proposé, déplacer un objet avec l’agent virtuel implique de
comprendre et d’être capable de deux choses : les objets tangibles
doivent être déplacés en les faisant glisser le long du mur, et ce
mouvement de glissement doit se faire tout en maintenant la partie
tangible aimantée à la partie arrière (c’est-à-dire en restant aligné
avec la partie virtuelle). Ces contraintes d’interaction n’ont pas
été évidentes pour tous les enfants de l’étude : certains enfants,

Conception d’interactions virtuelles et tangibles pour apprendre la collaboration motrice à des enfants avec Trouble du
Spectre de l’Autisme IHM ’20.21, April 13–16, 2021, Virtual Event, France
pour compenser leur tendance naturelle à tirer en même temps
que pousser l’objet, s’appuyaient de tout leur corps sur l’objet en
mousse à déplacer (nous parlons ici d’un enfant de 4 ans). Bien que
l’ensemble des enfants aient apprécié l’interaction et aient consid-
éré comme «normal »la diculté de déplacement de l’objet, nous
pouvons nous poser la question de la transférabilité à la vie réelle
des compétences développées lors d’une telle tâche. Une piste à
développer pour limiter l’écart entre la tâche au sein du système et
une tâche dans la vie réelle serait de diminuer davantage la friction
entre l’objet tangible et le mur : moins de friction permettra notam-
ment d’augmenter la puissance des aimants et donc de diminuer la
tendance naturelle à détacher les objets du mur.
Enn, il est important de noter que le dispositif proposé a été
développé dans l’objectif de fournir cet entraînement et ce suivi
personnalisé à des enfants atteints de TSA. Il est cependant néces-
saire de tester le dispositif en amont sur un public intermédiaire,
moins sensible. Dans cet article, l’étude proposée suit cet objectif
: elle rapporte les retours pour une interaction avec des enfants
typiques du même âge chronologique que la population cible. Si
les retours sont importants pour valider à minima le paradigme
d’interaction (perceptivement et physiquement), il n’en reste pas
moins que nous ne savons pas comment le dispositif sera reçu par
une population nécessairement hétérogène d’enfants atteints de
TSA. Les phases suivantes du projet permettront de mettre en place
des entraînements avec ces populations cibles en prenant en compte
l’écosystème global dans lequel évoluent les enfants avec TSA [47].
REMERCIEMENTS
Ce projet a été nancé dans le cadre de l’appel à projets «Autisme et
Nouvelles Technologies », coordonné par la FIRAH et soutenu par
la fondation UEFA pour enfants, et la fondation Orange. Logiciel
pour l’entrainement combine a l’interaction sociale coopérative et
a l’apprentissage moteur : https://www.rah.org/logiciel-pour-l-
entrainement-combine-a-l-interaction-sociale- cooperative-et-a-
l-apprentissage-moteur.html.
RÉFÉRENCES
[1]
M. J. Richardson, K. L. Marsh, et R. M. Baron, «Judging and actualizing intraper-
sonal and interpersonal aordances », Journal of Experimental Psychology: Hu-
man Perception and Performance, vol. 33, no 4, p. 845-859, 2007, doi: 10.1037/0096-
1523.33.4.845.
[2]
R. C. Schmidt et M. J. Richardson, «Dynamics of Interpersonal Coordination »,
in Coordination: Neural, Behavioral and Social Dynamics, A. Fuchs et V. K. Jirsa,
Éd. Berlin, Heidelberg: Springer, 2008, p. 281-308.
[3]
J. Nadel, «Perception–action coupling and imitation in autism spectrum disorder
», Developmental Medicine & Child Neurology, vol. 57, no s2, p. 55-58, 2015, doi:
10.1111/dmcn.12689.
[4]
O. Grynszpan, P. L. (Tamar) Weiss, F. Perez-Diaz, et E. Gal, «Innovative
technology-based interventions for autism spectrum disorders: A meta-analysis
», Autism, vol. 18, no 4, p. 346-361, mai 2014, doi: 10.1177/1362361313476767.
[5]
B. O. Ploog, A. Scharf, D. Nelson, et P. J. Brooks, «Use of Computer-Assisted Tech-
nologies (CAT) to enhance social, communicative, and language development in
children with autism spectrum disorders », Journal of Autism and Developmental
Disorders, vol. 43, no 2, p. 301-322, 2013, doi: 10.1007/s10803-012-1571-3.
[6]
S. Provoost, H. M. Lau, J. Ruwaard, et H. Riper, «Embodied Conversational Agents
in Clinical Psychology: A Scoping Review », Journal of Medical Internet Research,
vol. 19, no 5, p. e151, 2017, doi: 10.2196/jmir.6553.
[7]
G. A. Francis, W. Farr, S. Mareva, et J. L. Gibson, «Do Tangible User Inter-
faces promote social behaviour during free play? A comparison of autistic
and typically-developing children playing with passive and digital construc-
tion toys », Research in Autism Spectrum Disorders, vol. 58, p. 68-82, févr. 2019,
doi: 10.1016/j.rasd.2018.08.005.
[8]
E. Hornecker et J. Buur, «Getting a grip on tangible interaction: a framework on
physical space and social interaction », in Proceedings of the SIGCHI Conference
on Human Factors in Computing Systems, Montréal, Québec, Canada, avr. 2006,
p. 437–446, doi: 10.1145/1124772.1124838.
[9]
V. Tam, M. Gelsomini, et F. Garzotto, «Polipo: a Tangible Toy for Children with
Neurodevelopmental Disorders », in Proceedings of the Eleventh International
Conference on Tangible, Embedded, and Embodied Interaction, Yokohama, Japan,
mars 2017, p. 11–20, doi: 10.1145/3024969.3025006.
[10]
A. I. Soysa et A. Al Mahmud, «Tangible Play and Children with ASD in Low-
Resource Countries: A Case Study », in Proceedings of the Fourteenth Interna-
tional Conference on Tangible, Embedded, and Embodied Interaction, Sydney
NSW, Australia, févr. 2020, p. 219–225, doi: 10.1145/3374920.3374951.
[11]
D. B. Lego et M. Sherman, «Long-term outcome of social skills intervention
based on interactive LEGO
©
play », Autism, vol. 10, no 4, p. 317-329, juill. 2006,
doi: 10.1177/1362361306064403.
[12]
W. Farr, N. Yuill, et H. Rae, «Social benets of a tangible user interface for
children with Autistic Spectrum Conditions », Autism, vol. 14, no 3, p. 237-252,
mai 2010, doi: 10.1177/1362361310363280.
[13]
W. Farr, N. Yuill, et S. Hinske, «An augmented toy and social interaction in chil-
dren with autism », IJART, vol. 5, p. 104-125, 2012, doi: 10.1504/ijart.2012.046270.
[14]
S. Jordà, G. Geiger, M. Alonso, et M. Kaltenbrunner, «The reacTable: Exploring
the Synergy Between Live Music Performance and Tabletop Tangible Interfaces
», in Proceedings of the 1st International Conference on Tangible and Embedded
Interaction, New York, NY, USA, 2007, p. 139–146, doi: 10.1145/1226969.1226998.
[15]
A. M. Piper, E. O’Brien, M. R. Morris, et T. Winograd, «SIDES: A Cooperative
Tabletop Computer Game for Social Skills Development », in Proceedings of the
2006 20th Anniversary Conference on Computer Supported Cooperative Work,
New York, NY, USA, 2006, p. 1–10, doi: 10.1145/1180875.1180877.
[16]
E. Gal et al., «Enhancing social communication of children with high-functioning
autism through a co-located interface », AI & Soc, vol. 24, no 1, p. 75, févr. 2009,
doi: 10.1007/s00146-009-0199-0.
[17]
A. Battocchi et al., «Collaborative puzzle game: a tabletop interface for fostering
collaborative skills in children with autism spectrum disorders », Journal of
Assistive Technologies, vol. 4, no 1, p. 4-13, janv. 2010, doi: 10.5042/jat.2010.0040.
[18]
L. Giusti, M. Zancanaro, E. Gal, et P. L. (Tamar) Weiss, «Dimensions of Collab-
oration on a Tabletop Interface for Children with Autism Spectrum Disorder
», in Proceedings of the SIGCHI Conference on Human Factors in Computing
Systems, New York, NY, USA, 2011, p. 3295–3304, doi: 10.1145/1978942.1979431.
[19]
M. Jouaiti et P. Héna, «Robot-Based Motor Rehabilitation in Autism: A Sys-
tematic Review », Int J of Soc Robotics, vol. 11, no 5, p. 753-764, déc. 2019, doi:
10.1007/s12369-019-00598-9.
[20]
K. Dautenhahn et A. Billard, «Games Children with Autism Can Play with
Robota, a Humanoid Robotic Doll », in Universal Access and Assistive Technology,
London, 2002, p. 179-190, doi: 10.1007/978-1-4471-3719-1_18.
[21]
Z. Zheng, E. M. Young, A. R. Swanson, A. S. Weitlauf, Z. E. Warren, et N. Sarkar,
«Robot-Mediated Imitation Skill Training for Children With Autism », IEEE
Transactions on Neural Systems and Rehabilitation Engineering, vol. 24, no 6, p.
682-691, juin 2016, doi: 10.1109/TNSRE.2015.2475724.
[22]
A. Billard, B. Robins, J. Nadel, et K. Dautenhahn, «Building Robota, a Mini-
Humanoid Robot for the Rehabilitation of Children with Autism », Assistive
Technology, vol. 19, no 1, p. 37-49, 2007.
[23] A. Duquette, F. Michaud, et H. Mercier, «Exploring the use of a mobile robot as
an imitation agent with children with low-functioning autism », Auton Robot,
vol. 24, no 2, p. 147-157, févr. 2008, doi: 10.1007/s10514-007-9056-5.
[24]
S. Ali et al., «An Adaptive Multi-Robot Therapy for Improving Joint Attention
and Imitation of ASD Children », IEEE Access, vol. 7, p. 81808-81825, 2019, doi:
10.1109/ACCESS.2019.2923678.
[25]
S. Serret et al., «Facing the challenge of teaching emotions to individuals with
low- and high-functioning autism using a new Serious game: a pilot study »,
Molecular Autism, vol. 5, no 1, p. 37, juill. 2014, doi: 10.1186/2040-2392-5-37.
[26]
C. Grossard et al., «Teaching Facial Expression Production in Autism: The Serious
Game JEMImE », Creative Education, vol. 10, no 11, p. 2347, nov. 2019, doi:
10.4236/ce.2019.1011167.
[27]
M. Courgeon, G. Rautureau, J.-C. Martin, et O. Grynszpan, «Joint Attention Simu-
lation Using Eye-Tracking and Virtual Humans », IEEE Transactions on Aective
Computing, vol. 5, no 3, p. 238-250, juill. 2014, doi: 10.1109/TAFFC.2014.2335740.
[28]
S. Bernardini, K. Porayska-Pomsta, et T. J. Smith, «ECHOES: An intelligent serious
game for fostering social communication in children with autism », Information
Sciences, vol. 264, p. 41-60, avr. 2014, doi: 10.1016/j.ins.2013.10.027.
[29]
E. Marchi et al., «The ASC-Inclusion Perceptual Serious Gaming Platform for
Autistic Children », IEEE Transactions on Games, vol. 11, no 4, p. 328-339, déc.
2019, doi: 10.1109/TG.2018.2864640.
[30]
C. Grossard, O. Grynspan, S. Serret, A.-L. Jouen, K. Bailly, et D. Cohen, «Serious
games to teach social interactions and emotions to individuals with autism
spectrum disorders (ASD) », Computers & Education, vol. 113, p. 195-211, oct.
2017, doi: 10.1016/j.compedu.2017.05.002.
[31]
D. A. Trevisan, J. T. Enns, E. Birmingham, et G. Iarocci, «Action coordination
during a real-world task: Evidence from children with and without autism spec-
trum disorder », Development and Psychopathology, p. 1-11, undened/ed, doi:
10.1017/S0954579419001561.

IHM ’20.21, April 13–16, 2021, Virtual Event, France Tom Giraud et al.
[32]
J. Stückler et S. Behnke, «Following human guidance to cooperatively carry a
large object », in 2011 11th IEEE-RAS International Conference on Humanoid
Robots, oct. 2011, p. 218-223, doi: 10.1109/Humanoids.2011.6100917.
[33]
N. Jarrassé, V. Sanguineti, et E. Burdet, «Slaves no longer: review on role assign-
ment for human–robot joint motor action », Adaptive Behavior, vol. 22, no 1, p.
70-82, févr. 2014, doi: 10.1177/1059712313481044.
[34]
D. J. Agravante, A. Cherubini, A. Sherikov, P. Wieber, et A. Kheddar, «Human-
Humanoid Collaborative Carrying », IEEE Transactions on Robotics, vol. 35, no
4, p. 833-846, août 2019, doi: 10.1109/TRO.2019.2914350.
[35]
J. Saldien, K. Goris, B. Vanderborght, J. Vanderfaeillie, et D. Lefeber, «Expressing
emotions with the social robot Probo », INTERNATIONAL JOURNAL OF SOCIAL
ROBOTICS, vol. 2, no 4, Art. no 4, 2010, doi: 10.1007/s12369-010-0067-6.
[36]
K. Goris, J. Saldien, B. Vanderborght, et D. Lefeber, «Mechanical design of the
huggable robot probo », Int. J. Human. Robot., vol. 08, no 03, p. 481-511, sept.
2011, doi: 10.1142/S0219843611002563.
[37]
R. E. Simut, J. Vanderfaeillie, A. Peca, G. Van de Perre, et B. Vanderborght, «Chil-
dren with Autism Spectrum Disorders Make a Fruit Salad with Probo, the Social
Robot: An Interaction Study », J Autism Dev Disord, vol. 46, no 1, p. 113-126,
janv. 2016, doi: 10.1007/s10803-015-2556-9.
[38]
D. Casas-Bocanegra et al., «An Open-Source Social Robot Based on Compliant
Soft Robotics for Therapy with Children with ASD », Actuators, vol. 9, no 3, Art.
no 3, sept. 2020, doi: 10.3390/act9030091.
[39]
M. Lee et al., «The wobbly table: Increased social presence via subtle incidental
movement of a real-virtual table », in 2016 IEEE Virtual Reality (VR), mars 2016,
p. 11-17, doi: 10.1109/VR.2016.7504683.
[40]
F. Pa, P. X, et de C. H. Af, «Reduced Mimicry to Virtual Reality Avatars in Autism
Spectrum Disorder. », J Autism Dev Disord, vol. 46, no 12, p. 3788-3797, déc. 2016,
doi: 10.1007/s10803-016-2930-2.
[41]
A. Tartaro, J. Cassell, C. Ratz, J. Lira, et V. Nanclares-Nogués, «Accessing Peer
Social Interaction », ACM Transactions on Accessible Computing (TACCESS),
déc. 2014, Consulté le: déc. 29, 2019. [En ligne]. Disponible sur: https://dl.acm.
org/doi/abs/10.1145/2700434.
[42]
G. Herrera et al., «Pictogram Room: Natural Interaction Technologies to Aid in
the Development of Children with Autism », Annuary of Clinical and Health
Psychology, vol. 08, p. 39-44, janv. 2012.
[43]
G. Herrera, P. Pérez-Fuster, et G. Poli, «Pictogram Room: son ecacité dans le
trouble du spectre de l’autisme (TSA) », Enfance, vol. N{
°
} 1, no 1, p. 31-50, mai
2018.
[44]
J. Nadel, How Imitation Boosts Development: In Infancy and Autism Spectrum
Disorder. Oxford University Press, 2014.
[45]
L. Benton, A. Vasalou, R. Khaled, H. Johnson, et D. Gooch, «Diversity for de-
sign: a framework for involving neurodiverse children in the technology de-
sign process », in Proceedings of the SIGCHI Conference on Human Factors
in Computing Systems, Toronto, Ontario, Canada, avr. 2014, p. 3747–3756, doi:
10.1145/2556288.2557244.
[46]
K. Kim, R. Schubert, et G. Welch, «Exploring the Impact of Environmental Eects
on Social Presence with a Virtual Human », in Intelligent Virtual Agents, Cham,
2016, p. 470-474, doi: 10.1007/978-3-319-47665-0_57.
[47]
M. Guroy. Adaptation de méthodes d’évaluation dans le cadre de la conception
d’une application numérique pour un jeune public avec troubles du spectre autis-
tique : étude au cours de la conception et de l’évaluation de l’application çATED
au sein d’une ULIS TED. Environnements Informatiques pour l’Apprentissage
Humain. Université du Maine, 2017.
A A ANNEXE: GUIDE D’ENTRETIEN
Liste des questions par thématiques posées lors de l’entretien semi-
structuré:
•Appréciation du dispositive:
•
Peut-être pour commencer, est-ce que l’interaction t’a plu ?
•Si oui, qu’est-ce qui t’as plu ?
•L’objet, le personnage, le jeu. . .
•Quelque chose qui t’aurait amusé ou intéressé ?
•Est-ce qu’il y a des choses qui t’ont déplu ?
•L’objet, le personnage, le jeu. . .
•Rien ne t’a erayé ou énervé par exemple ?
•Est-ce qu’il y a des choses que tu n’as pas comprises ?
•Est-ce que ce jeu te fait penser à d’autres jeux ?
•Si tu pouvais améliorer le jeu, qu’ajouterais-tu ?
•Transition réel-virtuel:
•
Pourrais-tu me raconter avec tes mots en quoi consistait le
jeu que tu viens de faire ?
•Pour toi, le personnage virtuel, il se trouvait loin de toi ?
•Loin comment ? Il serait où dans la pièce ?
•
L’objet que tu as déplacé, c’est quoi comme objet d’après toi
?
•Et l’objet dans l’image, était-il diérent d’après toi ?
•
Si l’enfant a détaché l’objet du mur : peux-tu me décrire ce
qui s’est passé quand tu as détaché l’objet du mur ?
•Tu as pensé quoi sur le moment ?
•
Si l’enfant n’a pas détaché l’objet du mur : as-tu eu m’envie
de détacher l’objet du mur ?
•Pourquoi ?
•
Si tu veux tu peux le détacher maintenant ! (ici poser les
deux questions du dessus)
•Facilité de déplacement de l’objet:
•As-tu trouvé dicile de déplacer l’objet ?
•Trop dur, ou trop bizarre comme mouvement
•
Est-ce qu’il y a des mouvements qui étaient plus diciles
que d’autres à faire ?
•Peux-tu m’expliquer ?
•
Est-ce qu’il y a des mouvements que tu aurais aimé pouvoir
faire avec l’objet ?
•D’après toi, est-ce que l’objet était lourd ?
•Lourd comment ? Tu peux me donner un exemple ?
•
Est-ce que tu dirais que porter cet objet c’est comme porter
un objet dans la vraie vie ?
•Peux-tu m’expliquer la diérence ?
•Perception de l’action conjointe:
•D’après toi, le personnage virtuel tenait l’objet avec toi ?
•
D’après toi, est-ce que le personnage virtuel faisait un eort
pour porter l’objet ?
•As-tu senti qu’il t’aidait ? Ou était-ce toi qui l’aidait ?
•
Est-ce que tu crois que le personnage virtuel savait où il
fallait déplacer l’objet ?
•
Penses-tu que tu aurais pu faire le jeu sans le personnage
virtuel ?
•Est-ce que cela aurait été diérent pour toi ?