Content uploaded by Loup Vuarnesson
Author content
All content in this area was uploaded by Loup Vuarnesson on Aug 16, 2024
Content may be subject to copyright.
Préparée à L’École Nationale Supérieure des Arts Décoratifs
Geste improvisé et interfaces naturelles :
Vers de nouveaux fondamentaux pour le design
d’expériences optimales en médiations immersives
Soutenue par
Loup VUARNESSON
Le 09 Mars 2023
Ecole doctorale n° 540
Lettres, Arts, Sciences
humaines et sociales
Laboratoire
SACRe (EA n° 7410)
EnsadLab
Spécialité
SACRe, Design
Composition du jury :
Alexis, PALJIC
Directeur de recherche, Mines ParisTech Président
Indira, THOUVENIN
Directrice de recherche, UTC Rapporteur
Catherine, PELACHAUD
Directrice de recherche, CNRS, UTC Rapporteur
Sarah, FDILI ALAOUI
Chargée de recherche, CNRS, INRIA Examinateur
Olivier, GUILLET
Encadrant industriel, EMOTIC Invité
Emmanuel, MAHE
Directeur de recherche, ENSAD Directeur de thèse
François, GARNIER
Chargé de recherche, ENSAD Examinateur, co-encadrant
Geste
improvisé
et interfaces
naturelles
Vers de nouveaux fondamentaux
pour le design d’expériences optimales
en médiations immersives
Loup Vuarnesson
DISSERTATION DOCTORALE CIFRE
PSL Research University, Paris Sciences et Lettres.
Ecole doctorale 540 | Literature, Arts, Social and human sciences.
Discipline : Design, Information and Communication Sciences (CNU 71, 18).
PREPARÉ À
EnsadLab
Le laboratoire de recherche de l’ENSAD,
L’École Nationale Supérieure des Arts Décoratifs
31 Rue D’Ulm, 75003, Paris, France.
&
EMOTIC
12 Rue du Cher, 44000 Nantes
ENCADREMENT
MAHÉ Emmanuel
Ph.D., Directeur de recherche à l’Ensadlab | Directeur de thèse
GARNIER François
Ph.D, Directeur du groupe de recherche Spatial Media
de l’Ensadlab | Co-Directeur de thèse
GUILLET Olivier
Chief Technical Officer à EMOTIC | Encadrant scientifique
CANDIDAT
VUARNESSON Loup
MOTS-CLÉS
• Recherche-création • Design d’interaction • Réalité virtuelle
• Langage non-verbal • Intelligence artificielle • Improvisation dansée.
DESIGN GRAPHIQUE
Maindor.com
11 Rue Michel, 91410 Dourdan
Geste
improvisé
et interfaces
naturelles
Vers de nouveaux fondamentaux
pour le design d’expériences optimales
en médiations immersives
Loup Vuarnesson
4
Remerciements
Un tout premier merci à Sophie Sagot-Duvauroux pour avoir été à l’origine de ce que j’identifie comme
le premier basculement de ma vie de chercheur et de designer. C’est lors de mon stage de fin de
Master à l’IRT Jules Verne que Sophie m’a apporté sa confiance et m’a laissé évoluer avec une grande
liberté dans un monde en ébullition, celui des interfaces gestuelles, des technologies immersives,
et de la réalité virtuelle. J’ai compris en l’accompagnant que mon métier serait dorénavant motivé
par la curiosité et l’enthousiasme, et poursuivrait un idéal équilibre entre des temps créatifs et un
apprentissage permanent.
Merci à Lauriane Pouliquen-Lardy, Franck Mars et Isabelle Milleville de l’IRCCYN que j’ai pu rencontrer
au cours de ce précédent stage, et avec qui j’ai ensuite fait mes premières armes dans le monde
de la recherche en sciences cognitives. J’ai pu avec eux développer mon savoir-faire de designer
d’expériences immersives et avoir un premier avant-goût du dialogue interdisciplinaire qui anime
l’ensemble de cette thèse.
Merci aux formidables Frantz et Laurent de PictoFilmo et à Matus de Matsuko qui m’ont ensuite
apporté une compréhension des enjeux visuels et esthétiques dans le développement d’expériences
interactives. J’ai pu observer chez eux l’artisanat de l’image de synthèse, et m’émerveiller de l’infini
soin dont ils savent faire preuve dans leur travail. Ils emploient ce talent tout en étant au même
moment des êtres infiniment sympathiques et pour cette expérience à leurs côtés je leur en suis
profondément reconnaissant.
Merci à Anne Dubos, Coline Joufflineau et Jean-François Jégo qui, lors des Journées du Geste de
Nantes, m’ont partagé leurs questions et approches de cette fascinante relation entre gestes et
sensibilité, reliant par leurs travaux la danse, le langage non-verbal, la technologie et la recherche en
interactions. Cet événement a été un second basculement, à l’issue duquel ma certitude à vouloir
intégrer cet univers n’a plus été remise en question.
Merci alors à François Garnier et au groupe Spatial Media d’à l’époque et d’aujourd’hui, Maxime,
Dionysis, Hortense, Donatien, Pierre, Fabienne, Léa, Rémi et Rémi, Guofan, Sophia, pour avoir
accompagné mon projet, de son stade embryonnaire jusqu’à son terme. Merci pour les innombrables
discussions, errances créatives, partages, travaux communs et expériences partagées. Cette équipe
regroupe un lot de savoir-faire fascinants et des sensibilités touchantes. J’ai acquis avec vous cette
certitude que la recherche en art est un pont permettant de faire dialoguer toutes les disciplines, et
de fédérer tous les langages.
Merci à Emmanuel Mahé pour ces formidables projets que sont EnsadLab et SACRe, pour son
écoute attentive et son érudition sans limites qui m’ont aidé à mieux définir ma place au sein d’un
formidable écosystème mêlant chercheurs, industriels et artistes. Merci également à Édith Buser
qui m’a aidé à dessiner le cadre de cette collaboration CIFRE et qui se dévoue avec passion pour
permettre à d’autres que moi de vivre cette aventure.
Merci à Michaël, Olivier et toute la grande famille EMOTIC pour leur confiance, sans laquelle ces lignes
n’auraient jamais été écrites. Ils m’ont offert les meilleures conditions pour conduire cette thèse,
me formant et ancrant mes questions dans un terrain dynamique et passionné, mêlant créativité,
audace, curiosité et pragmatisme avec brio. J’ai appris grâce à eux à manier une grande diversité
de langages et à mieux comprendre ceux de mes différents interlocuteurs. Cette souplesse acquise
m’est aujourd’hui extrêmement bénéfique.
Merci immense à Asaf Bachrach pour son enthousiasme débordant et ses mises en mouvement
contagieuses. Asaf est autant un puits qu’un pont entre les savoirs, sachant comme personne faire se
rencontrer des sensibilités diverses et des langages étrangers, et finalement les amener à bouger ensemble.
5
Par nos échanges j’ai pu développer des liens forts entre science et performance, et comprendre
ce qui était sous-tendu par cette rencontre : accepter de prendre appui parfois sur des incertitudes,
laisser le déséquilibre nous faire avancer, et s’offrir les conditions pour qu’une certaine beauté des
choses apparaisse d’elle-même.
Merci alors à toute l’équipe du projet Articulations, Asaf, François, Julien, Dionysis, Clint, Rémi,
Alexandra, Alexandre, Joe, Jennifer, avec qui j’ai pu passer de la place d’observateur et d’ingénieur
discret à celui de praticien, apprenti danseur, marionnettiste. Ce projet a été majeur pour moi car j’ai
pu m’y affirmer avec vous comme le premier sujet de mes expérimentations.
Merci à Rémi Ronfard et Maxime Garcia qui m’ont apporté de précieux conseils lors de ma plongée
dans les eaux troubles de l’apprentissage automatisé, qui ont su m’inspirer et me conduire vers la
réalisation d’un projet plus que personnel. Certaines lignes de mes conclusions sont les conséquences
directes de leur apport et figurent je pense parmi les plus originales de ce manuscrit.
Merci à Alexis Paljic et à Jean-François Jégo de mon comité de suivi de thèse qui ont su plusieurs
fois me réaiguiller, touchant du doigt avec précision d’une part l’origine de mes doutes et d’autre part
l’essence même de ce que je poursuivais au sein de ce travail. Je suis sorti à chaque fois revitalisé de
nos échanges et je leur suis très reconnaissant de l’attention qu’ils ont pu y apporter.
Merci à Laura, Lisa, Hélène, Elsa pour leurs écoutes attentives lors de mes innombrables tergiversations
d’apprenti chercheur, ainsi que pour leurs retours pertinents lors de nos discussions. Vos présences
ont été des phares pour moi, me permettant plus d’une fois d’organiser, filtrer, et synthétiser ces
pensées, leur donnant finalement plus de consistance.
Merci de la même manière à toutes celles et tous ceux qui ont bien voulu m’écouter parler de mon
travail, parfois sans en comprendre grand-chose. Vos regards tantôt médusés, tantôt enthousiastes
m’ont également servi de boussole, voyant avec évidence lorsque mon langage était suffisamment
clair et donc ma pensée suffisamment mûre.
Merci à Édith Vuarnesson qui a bien voulu relire l’entièreté de ce manuscrit et faire l’effort d’en comprendre
le sens, sans jamais avoir chaussé ni vu de casque de réalité virtuelle. Je n’imagine pas à quel point certains
passages ont dû sembler opaques et malgré tout elle m’a fait part de ses retours les plus précieux.
Merci aux graphistes de Maindor qui m’accompagnent dans ces dernières heures de rédaction et
de mise en page, et qui achèvent de faire passer ce manuscrit de son statut de brouillon à celui
d’objet académique.
Merci à Alexandra Elbakyan, celle qui contribue à rendre le savoir universel et dont on ne doit malgré
tout pas prononcer le nom. Sans elle, la grande majorité de ma bibliographie m’aurait été inaccessible,
espérons que son travail soit un jour reconnu d’utilité publique.
Merci à toute ma famille pour sa patience, ses encouragements, et ses tentatives de donner du sens
à mon entreprise. Je les ai vus aborder maintes fois l’exercice périlleux d’expliquer mon travail, alors
même que chez moi se déclarait un énième épisode de doute. Merci à eux de s’y être essayé et
d’avoir voulu comprendre.
Beaucoup de mercis peut-être, mais c’est la preuve certaine que cette thèse ne s’est pas faite seule.
C’est au contraire le résultat ici d’une multitude de rencontres avec des personnalités singulières,
sensibles et formidables. Ma voix de chercheur en design se fait donc le reflet d’un monde, avant
tout celui de toutes les personnes citées ici.
6
Sommaire
L’improvisation comme modèle interactif pour le design
d’interfaces naturelles spatialisées
1•
Introduction • Transdisciplinarité de la recherche en interaction ......16
1.1 • Mécanismes d’engagement dans une interaction ..............17
1.1.1 L’énaction pour la construction du sens. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.1.2 La motivation intrinsèque pour l’engagement dans l’interaction ......18
1.2 • Le design d’interaction, une recherche transdisciplinaire ......20
1.2.1 GUIs et IHM, une recherche en interaction humain/machine. . . . . . . . . 20
1.2.2 La complémentarité entre IHM et art numérique ....................22
1.2.3 Une recherche en design d’interactions à la croisée
de multiples disciplines ...........................................25
1.3 • Les nouveaux enjeux des NUIs ............................. 29
1.3.1 De nouveaux enjeux à définir ......................................29
1.3.2 Faire corps au sein des environnements virtuels .................... 30
1.3.3 Des altérités numériques invitant au mouvement ...................32
1.3.4 Des données spatialisées accessibles du bout des doigts .............38
1.4 • Des interfaces souples et adaptatives .......................40
1.4.1 Quelles données pour baser l’adaptation ..........................40
1.4.2 Que peut-on adapter .............................................42
1.5 • L’improvisation comme modèle d’interaction
avec un partenaire numérique ..............................46
1.5.1 Co-construction de sens et jeu de l’improvisation .................. 46
1.5.2 Redéfinition de la problématique ................................. 50
1.5.3 Propositions expérimentales ......................................51
1.5.4 Un écosystème propice à une recherche par la pratique en design .....52
2.1 • Regrouper différents cadres de recherche .................... 56
2.1.1 Les différents langages de l’interaction .............................56
2.1.2 Construire du sens en improvisation ...............................56
2.1.3 Un atelier de design ancré pour penser l’adaptativité
humain/machine ............................................... 60
2.1.4 Une base de grammaire commune ................................66
2.2 • Des outils pour penser le langage adaptatif .................. 67
2.2.1 Une première méthode de conception en contexte industriel .........67
2.2.2 Première application de la méthode à l’IRIS Lab de Systeme U .......72
Introduction
Expérimentations - Vers une traduction du geste
dans les expériences numériques
2•
7
3.1 • Introduction ............................................. 144
3.1.1 L’adoption d’un point de vue ancré et situé ........................144
3.1.2 Un langage naturel adressant deux registres attentionnels ...........145
3.1.3 Stratégie expérimentale ..........................................146
3.2 • Extraire du sens de la SDR .................................147
3.2.1 Un outil d’analyse sur-mesure ....................................148
3.2.2 Qualifier l’interaction en SDR .....................................149
3.2.3 Annotations comparées d’une même performance ................. 151
3.3 • Des métriques gestuelles adaptées à notre contexte ..........155
3.3.1 L’analyse du mouvement de Laban (LMA) - Une qualification
plus objective du geste ..........................................155
3.3.2 Reconnaissance émotionnelle et LMA .............................157
3.3.3 Identifier le caractère intrinsèque de nos données de mouvement. . . . 159
3.3.4 Un besoin de métriques personnelles pour qualifier le mouvement . .160
2.2.3 Retours et analyse de l’atelier .....................................75
2.2.4 Deuxième application de la méthode chez EMOTIC. . . . . . . . . . . . . . . . . .76
2.2.5 Retours et analyse du second atelier ...............................78
2.2.6 Un second outil ludique ...........................................79
2.2.7 Conclusion sur les outils développés ...............................82
2.3 • Articulations / Vers une « réalité diminuée » ................. 83
2.3.1 Introduction .....................................................83
2.3.2 Genèse d’un projet transdisciplinaire .............................. 84
2.3.3 Une rencontre entre minimalisme et réalité virtuelle .................85
2.3.4 Co-conception d’un outil d’étude ................................. 90
2.3.5 La réalité diminuée partagée (SDR) ............................... 94
2.3.6 Notre plateforme expérimentale ...................................95
2.3.7 Une preuve de concept à la Tate Modern .......................... 100
2.3.8 Analyse de l’expérience vécue ....................................102
2.3.9 Expérimentation au centre CNRS Pouchet .........................107
2.3.10 Retours d’expériences collectés ...................................110
2.3.11 Analyse de l’expérience globale ................................... 119
2.3.12 Analyse comparée ..............................................122
2.3.13 Une performance hybride et semi-improvisée
en Réalité Diminuée .............................................129
2.3.14 Discussion sur le projet Articulations ..............................133
2.3.15 Prochaines étapes du projet ......................................136
2.4 • Conclusions pour le design d’expériences naturelles ..........137
2.4.1 Résumé du chapitre .............................................137
2.4.2 Un langage interactif extra-naturel entre l’humain et la machine .....138
2.4.3 Portée des choix de design et horizons de travail ...................140
Des descripteurs de geste sensible pour le développement
de langages naturels en médiation spatiale
3•
8
3.4 • Préparer nos jeux de données pour l’apprentissage ...........161
3.4.1 Trois hypothèses de travail pour un apprentissage automatisé ....... 161
3.4.2 Stratégie de travail pour chaque hypothèse considérée ..............162
3.4.3 Filtrage préalable des données ...................................162
3.4.4 Annotation des fichiers d’entraînement ...........................164
3.5 • Développement des descripteurs du geste ...................167
3.5.1 Inspiration de travaux existants ...................................167
3.5.2 Descripteurs individuels de performance ..........................168
3.5.3 Descripteurs relationnels de performance ..........................170
3.5.4 Les outils de conversion des données de mouvement en descripteurs ....173
3.5.5 Préparation des fichiers pour les prochaines phases d’apprentissage ......175
3.6 • Apprentissage automatisé .................................175
3.6.1 Développement d’outils pour un entraînement sur-mesure. . . . . . . . . . 175
3.6.2 Mode d’opération ...............................................177
3.6.3 Problème 1 - Mesurer l’expressivité ................................178
3.6.4 Problème 2 - Reconnaître la coprésence ...........................180
3.6.5 Problème 3 - Mesurer la cohésion entre les participants .............183
3.6.6 Ver s une i nté grat ion d es mo dè les à d es pr ogra mmes temps-réel ...... 188
3.6.7 Pré-câblage entre Unity et le modèle algorithmique ................189
3.7 • Preuve de concept pour l’interaction implicite - Relation
ambiante au mouvement ..................................191
3.7.1 Idéation pour des connexions sensibles à l’environnement virtuel ..... 192
3.7.2 Forger des intuition s sur la relation au mouvement en immersion ..... 193
3.7.3 Affective Landscapes - Des rapports affectifs à l’environnement ...... 195
3.7.4 Retours d’expérience et analyse personnelle .......................199
3.8 • Preuve de concept pour l’interaction explicite -
Un danseur médian .......................................200
3.8.1 Un nouveau paradigme d’interaction relationnelle .................200
3.8.2 Une influence rééquilibrée… voire asymétrique .................... 203
3.8.3 Vers le développement d’un nouveau protocole expérimental ......204
3.8.4 Premiers retours d’expériences ..................................208
3.8.5 Le danseur médian, une interaction explicite inspirante
pour le design d’expériences .....................................210
3.8.6 Instanciation d’un médian adaptatif ..............................212
3.8.7 Construction d’un partenaire virtuel évolutif et retours d’expérience . . . 213
3.9 • Résumé du chapitre .......................................215
4.1 • Résumé du parcours ......................................220
4.1.1 Des contextes multiples ........................................ 220
4.1.2 Un besoin de langage commun .................................. 220
4.1.3 Co-construire nos outils de recherche .............................221
4.1.4 L’emploi de ces outils pour la concrétisation de deux formes d’interfaces
naturelles sensibles ....................................................222
Conclusions
4•
9
4.2 • Contributions à destination des designers d’expérience ......223
4.2.1 Méthode de conception / jeu de cartes ............................223
4.2.2 L’ajout de métriques sensibles dans le design d’expérience ..........223
4.2.3 Vers l’intégration programmatique du designer improvisant
dans l’expérience ............................................... 224
4.2.4 Clés de design pour la mise en mouvement ........................225
4.2.5 Prochaines étapes .............................................. 228
4.3 • Discussions ..............................................229
4.3.1 Impacts technologiques et cadre éthique ......................... 229
4.3.2 Applicabilité ....................................................231
4.3.3 Une recherche plus que personnelle ...............................233
Glossaire ......................................................238
Annexe I • Interviews des spécialistes de l’improvisation .........239
Annexe I.1 Sur leur rapport à la danse ................................ 239
Annexe I.2 Sur la genèse de l’improvisation ...........................240
Annexe I.3 l’évolution de l’expérience .................................241
Annexe I.4 Sensations ..............................................244
Annexe II • Notes au questionnaire post-expérience Pouchet .....245
Annexe II.1 Ensemble des notes .....................................245
Annexe II.2 Groupe n’ayant pas identifié la coprésence versus celui qui l’a
compris avant ou au début .............................................247
Annexe III • Analyse comparative de la cohésion du mouvement ...250
Annexe IV • Idéation Affective Landscapes ........................251
Annexe IV.1 Paramètres influents ......................................251
Annexe IV.2 Réponses adaptatives thématisées .........................252
Bibliographie .................................................. 255
Annexes
10
Tout au long des années 1970 s’est développé une tendance à la
naturalisation des systèmes numériques. Largement popularisées par Xerox Parc,
les métaphores des fichiers, dossiers, et autres corbeilles ont permis de représenter
et classifier les données sous une forme plus intuitive, s’inspirant des objets
courants et de leurs usages. Les langages machine compréhensibles seulement des
ingénieurs se transformèrent alors en des entités plus imagées, douées de caractères
et de comportements, permettant en même temps d’envisager une informatique
accessible à des publics non experts.
Cette tendance a permis de donner un sens à des fonctions complexes, en réintégrant
le langage machine dans un domaine intelligible pour le plus grand nombre.
Poursuivant cette logique, de nouvelles dimensions sensibles s’ajoutent aujourd’hui
aux interfaces et aux expériences utilisateur. Concédant le fait que l’esprit humain agit,
communique et bouge en trois dimensions, de manière contextualisée et parfois du
seul fait de son intuition, nous avons pu voir depuis plusieurs années se développer
une informatique spatialisée, comprenant et intégrant son environnement.
Steve Mann conceptualise ainsi dans les années 1990 l’idée d’Interfaces Utilisateurs
Naturelles (NUI), mettant en exergue l’inspiration directe de nos interactions avec le
monde pour le développement de nouvelles formes d’interfaces numériques et de
design d’expérience.
Que ce soit par le développement des écrans tactiles ou la capture gestuelle et
vocale, de nouvelles modalités d’acquisition apparaissent, comme le langage non-
verbal, les expressions faciales, le ton et le rythme de la voix. Les utilisateurs sont
invités à utiliser des formes plus ambiguës et intuitives pour se faire comprendre
par la machine. Les systèmes, eux, commencent à répondre de manière ambiante,
sollicitant les différents sens et jouant sur de multiples gammes émotionnelles.
Bouger avec des interfaces de capture de mouvements, parler avec des assistants
vocaux, effleurer et balayer avec les doigts l’information des écrans tactiles, ces
actions deviennent les nouvelles briques destinées à la construction d’expériences
libérant le corps et diminuant la charge cognitive. Le corps et la cognition s’étendent
car le numérique se comporte d’une manière analogue au raisonnement humain,
tout en apportant de nouveaux mondes de sens (Wigdor and Wixon, 2011).
Des interfaces naturelles
qui invitent au mouvement
Introduction
11
L’idée même d’expérience est redéfinie. A la différence des expériences graphiques
(GUI) qui se concentrent et privilégient l’accomplissement et la complétion de tâches,
les NUIs mettent le plaisir de l’interaction comme clé de voûte des expériences
(Hinman, 2011).
Du côté de l’utilisateur, le parcours devient exploratoire et improvisé. L’expressivité et
l’impulsivité trouvent une place importante. Il devient alors primordial de penser les
interfaces comme « plastiques » (Thévenin, 1999), n’étant plus uniquement conçues
pour des panels larges d’utilisateurs mais pour nouer un contrat social avec des
individus singuliers.
Pour autant, et si de nombreux travaux proposent des outils de conception et de
réflexion pour penser ce design d’expériences souples, il nous manque aujourd’hui
des directives claires pour penser une personnalisation du langage interactif et
concevoir cette inter-adaptation entre l’utilisateur et le système numérique.
Nous le verrons plus loin, l’idée de concevoir des interfaces « partenaires », aidant à
la créativité et s’adaptant dynamiquement n’est pas nouvelle. Pourtant la récente
popularisation des interfaces spatialisées à réalités mixtes, alliée au perfectionnement
des systèmes de reconnaissance et d’apprentissage machine change la donne. Les
systèmes peuvent aujourd’hui opérer des lectures fines sur des jeux de données
complexes et sensibles, pour y répondre à travers des langages plus subtils et
ambiants. Il nous est donc nécessaire d’éprouver ces nouvelles formes d’expériences
numériques, et de penser à travers elles les nouveaux langages interactifs qu’elles
rendent possibles.
Comment nouer ce nouveau type de relations sociales avec le numérique, alors même
que la donnée se disperse dans l’espace ? Comment penser cette co-évolution entre
un utilisateur et le système qu’il manipule, et à travers quels canaux interactifs cette
adaptation doit-elle se dérouler ?
Nous formulons l’hypothèse qu’aborder ce travail en prenant comme modèle les
mécaniques sociales et co-créatives survenant dans une activité d’improvisation
partagée peut apporter de nombreuses clés pour penser le développement de
langages interactifs génératifs et personnalisés.
Nous supposons que nos propres dynamiques de coordination pourront s’avérer être
un support d’inspiration pertinent pour développer l’engagement créatif et le plaisir
d’utilisation au sein de ces expériences naturelles.
Dans un premier chapitre, nous débuterons donc notre état de l’art en proposant un
parallèle entre l’étude de ces mécanismes sociaux créatifs, vus à travers le prisme
de la psychologie cognitive, et une série d’expériences numériques explorant ces
différentes dimensions d’hybridité et de plasticité. Nous en extrairons notre approche
expérimentale en la basant sur trois idées centrales : la multimodalité interactive
comme essence du langage naturel en immersion, la friction, au sens d’un contrôle
fluctuant et décisif à l’engagement, et l’altérité comme condition pour voir apparaître
des mécanismes d’adaptation et d’imitation.
12
À travers une démarche de recherche par la pratique en design, nous détaillerons
dans un second chapitre le développement d’outils d’étude sur-mesure, co-créés
au sein des vastes écosystèmes CIFRE et SACRE qui ont accueilli cette thèse. Ces
outils permettront d’une part de déconstruire la question de l’adaptativité des
interfaces, et de l’autre de provoquer et observer l’apparition de ces mécanismes
sociaux de coordination directement en immersion. De ces outils s’ensuivront une
série d’expériences, à la frontière entre arts, sciences humaines et design industriel, à
partir desquelles nous formulerons quelques recommandations pour faciliter l’inter-
adaptation humain/machine et améliorer l’engagement créatif dans ces interfaces
spatialisées.
Dans un troisième et dernier chapitre, nous reviendrons sur les différentes étapes
d’une démarche plus personnelle consistant en un développement d’expériences
adaptatives et automatisées, inspirées des recommandations formulées en fin de
second chapitre.
Nous formulerons alors une série de conclusions, sur la base de ces différentes
contributions théoriques et expériencielles, à destination des chercheurs et designers
d’installations immersives pour inviter leurs utilisateurs à la mise en mouvement.
Des interfaces naturelles
qui invitent au mouvement
Introduction
13
Geste
improvisé
et interfaces
naturelles
Vers de nouveaux fondamentaux
pour le design d’expériences optimales
en médiations immersives
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
16
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Introduction du chapitre - Transdisciplinarité de la recherche en
interaction
Nous allons le voir au cours de cet état de l’art, toute l’histoire de la recherche en interaction
humain/machine est le produit d’une rencontre entre différentes disciplines, qu’elles soient
issues des mondes de l’ingénierie, de la recherche scientifique, mais aussi des arts vivants,
du design et du divertissement.
Par le biais de leurs outils, objectifs et méthodes propres, les chercheurs, ingénieurs artistes
ont contribué à faire avancer au cours des dernières décennies des questionnements
trouvant comme points d’orgues l’individu au centre et la qualité de son expérience vécue.
Ces langages et registres différents ont ainsi apporté des notions et concepts propres,
mêlant aux notions d’engagement et de motivation de la psychologie l’idée d’expérience
esthétique empruntée au monde des arts, et celles d’ergonomie et d’efficience provenant
plutôt des sciences de l’ingénieur.
Les bonnes pratiques qui constituent aujourd’hui notre « culture du numérique » reposent
donc aujourd’hui sur un langage pluriel et sur une théorie du design d’expérience qui est le
produit direct de cette rencontre. Ainsi, pour bien préciser le contexte dans lequel s’insère
notre étude, nous tenterons tout d’abord de reconnaître cet héritage multiple, en le centrant
sur l’être humain qui y sera parfois nommé sujet, utilisateur, public, ou participant selon la
discipline qui l’invoque.
Tentons de retracer les prémices de cette idée de design centré utilisateur et voyons comment
elle est le résultat d’un changement progressif de point de vue au sein des différents
domaines qui l’ont vu naître.
17
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
1.1 • Mécanismes d’engagement dans une interaction
1.1.1 • L’énaction pour la construction du sens
Prenant tout d’abord pied sur une littérature en psychologie cognitive, nous assistons
tout au long du 20e siècle au renouvellement d’une science du vivant. Portés par plusieurs
courants de pensée comme le Gestaltisme et la cybernétique, ceux-ci cherchent à
rompre avec une vision où l’humain est considéré comme un réceptacle passif, dénué de
subjectivité et entièrement soumis aux événements survenant dans son environnement.
Ces mouvements proposent une psychologie cognitive où l’humain est vu comme acteur de
ses propres expériences, il y est reconnu comme doué de capacités à organiser l’information,
à en extraire du sens et à l’appliquer à travers ses interactions avec le monde. Il se développe
alors lui-même ainsi à travers elles.
À la frontière entre biologie et cybernétique, Francisco Varela et Humberto Maturana
proposent dans les années soixante-dix de développer un modèle du vivant à travers
leur théorie de l’autopoïèse (Maturana & Varela, 1972). Un système autopoïétique y est vu
comme un ensemble de mécanismes en continuelle transformation, s’autorégulant à l’aide
des boucles sensori-motrices dynamiques et réagissant aux phénomènes qui surviennent
en lui et autour de lui. Cet ensemble est auto-producteur et en continuelle interaction avec
l’environnement qui le produit, l’action y est constitutive de la perception (Fig. 1).
L’organisme existe pour et selon ses propres règles (Varela, 1989 ; Penelaud, 2010), se
réalisant alors en tant qu’individu au sein de l’espace qui l’accueille (Varela et al., 1974).
Dans la lignée du courant phénoménologique, Varela étend quelques années plus tard le
principe de l’autopoïèse à la cognition même. Avec la théorie de l’énaction, il amène l’idée
que la conscience de soi émerge de l’action même d’être au monde. L’individu y est considéré
comme spécifiant son environnement en même temps qu’il se spécifie lui-même, ils sont
ainsi indissociables car ils co-adviennent simultanément (Penelaud, 2010).
La cognition est dite incarnée – l’interaction par le corps et la mobilité sont les conditions
même de son autonomie – et énactée, car elle existe au sein du monde (Varela et al., 1993).
Fig. 1 • Le système Autopoïétique en interaction avec son environnement propre
18
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Ainsi, que ce soit dans l’interaction avec l’environnement ou avec un objet spécifique,
l’individu est dans un processus de construction de sens permanent, contextualisé aux
regards du corps et du monde qu’il ne cesse d’éprouver et de réévaluer.
S’adaptant continuellement aux modalités d’interaction que son environnement lui propose
(affordances), il construit son expérience et s’y laisse dériver au gré des réactions qu’il
provoque. De son action sur le monde dépend ainsi sa propre spécification.
1.1.2 • La motivation intrinsèque pour l’engagement dans l’interaction
Si au regard de l’énaction, la phénoménologie de l’interaction ne peut être pensée que
de manière holistique, c’est-à-dire en la contextualisant et en prenant en compte les
singularités de l’individu et de l’environnement dans laquelle elle prend forme, les questions
de l’engagement et de la mise en mouvement impliquent de considérer l’action comme liée
à un autre ensemble de mécanismes.
En marge du développement de la pensée cognitiviste, la psychologie humaniste étend
l’idée d’individualité à la capacité de faire des choix décisifs en pleine conscience. Des chefs
de file comme Carl Rogers et Abraham Maslow questionnent l’engagement et la motivation
de l’individu, en contextualisant l’action au regard de buts personnels. Ils reconnaissent en
l’humain une capacité de libre arbitre qu’il manipule en quête de sa propre réalisation.
La dimension intrinsèque de la motivation, formulée par Edward Deci et Richard Ryan dans
leur théorie de l’autodétermination (1985) explicite la propension d’un individu à trouver
un intérêt dans une activité lorsque celle-ci contribue à la satisfaction de trois besoins
fondamentaux qui sont les sensations de contrôle, d’autonomie et d’appartenance. La
satisfaction de ces besoins rend alors possible l’engagement dans une activité de manière
volontaire et prolongée, sans en attendre la moindre récompense ultérieure.
Un stade suprême de la motivation intrinsèque est décrit dans les travaux de Csikszentmihalyi
sur le Flow (1990). Celui-ci décrit un état cognitif d’engagement ultime, favorisant le maintien
de hauts niveaux d’attention et de concentration pendant un temps important. Le sens
créatif et les capacités de mémorisation y semblent également décuplés, et l’expérience
paraît sous contrôle, la possibilité de réussir la tâche en cours ne fait aucun doute.
L’activité est alors intrinsèquement gratifiante, autosuffisante, autotélique. Elle est pratiquée
alors sans autre but qu’elle-même.
« [En état de Flow, ] certaines personnes sont si investies dans une activité que rien
d’autre ne semble avoir d’importance » (Csikszentmihalyi, 1990)
« Vous perdez le sens du temps… L’idée est que l’on en est si saturé qu’il n’y a plus
de futur ou de passé, c’est juste une extension du présent dans lequel vous construisez
et déconstruisez le sens. » (Témoignage de Mark Strand, dans Csikszentmihalyi, 1996)
La notion d’activité est ici prise au sens large, les phénomènes de Flow peuvent en effet être
observés et recherchés dans de nombreuses pratiques, que ce soit en compétition de sport
de haut niveau, en pratique vidéoludique ou en « développement personnel ».
À partir de ses nombreuses recherches et témoignages recueillis dans ses travaux,
Csikszentmihalyi montre que l’état de Flow semble lui aussi conditionné à cette satisfaction
des besoins fondamentaux de contrôle et d’autonomie. Une particularité néanmoins réside
19
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
dans la nécessaire corrélation entre les capacités de l’individu et le niveau de challenge exigé
par la tâche. L’auteur propose alors un modèle permettant de représenter ce principe clé
(1990), faisant apparaître le Flow dans une zone d’équilibre entre deux axes, opposant le
niveau de compétences du sujet et la difficulté de la tâche (Fig. 2).
L’expérience optimale y est, selon ce modèle, conditionnée à une réévaluation constante de
la relation entre l’individu et l’objet d’interaction.
De nombreux outils s’inspirent aujourd’hui de ce modèle, que ce soit pour faciliter
l’apprentissage, le management d’équipe, ou le développement de la créativité (Borderie,
2015 ; Rathunde, 2015).
Ces travaux suggèrent finalement de rechercher dans toute activité une dimension
intrinsèque, et à en imaginer les degrés de contrôle et d’autonomie pouvant être laissés au
gré des pratiquants.
Ces différents travaux mettent tous en jeu l’interaction et la fluidité de ces boucles action-
perception comme centrales dans la décision d’engagement et dans le plaisir pouvant être
retiré d’une expérience.
Ce raisonnement nous invite donc à envisager la volonté d’engagement, non pas comme liée
à une quelconque promesse de résultats ultérieurs mais davantage à de hautes réactivités
et adaptativités des éléments en interaction (dans notre cas l’utilisateur et l’interface).
Satisfaire les besoins fondamentaux de l’utilisateur, et adapter en même temps le niveau
d’exigence en fonction de ses capacités et envies du moment semble alors décisif pour
renforcer les dimensions intrinsèquement motivantes et autotéliques de l’expérience, et
rendre l’interaction plaisante pour elle-même.
Fig. 2 • Le modèle représentant la zone de Flow
22
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
L’humain perçoit à travers ses différents sens, interprète à partir de ses expériences passées
et en estime ce qu’il est en capacité de faire.
Cette indication instantanée sur l’état de la donnée semble alors être un argument
indispensable à tout développement d’expérience dédiée à la créativité, où à l’instar d’un
dessinateur et de son crayon, toute action laisse un effet immédiatement visible qui permet
à la fois d’assurer l’utilisateur de ses capacités et lui offre en même temps une vision claire
des nouvelles voies qui se dessinent pour lui. C’est en ce sens que le concept What You See
Is What You Get voit également le jour (WYSIWYG).
Rappelant à nouveau les principes de l’énaction, on peut voir l’interaction comme le résultat
d’une boucle perception/action en permanente activité, dont les déclencheurs seront ici
nommés triggers et les réactions feedbacks.
Ces feedbacks pourront être dans notre cas développés à travers des écrans, des haut-
parleurs, voire des dispositifs haptiques ou olfactifs.
1.2.2 • La complémentarité entre IHM et art numérique
Partenaire privilégié de notre étude sur l’interaction Humain/Machine, le milieu des arts
est déjà dès les années cinquante animé d’un débat sur ce qui permet à une œuvre d’art
d’être tout simplement art. Préalablement vue comme suffisante en soi, une œuvre ne peut
être, selon certains artistes comme Marcel Duchamp, vue comme complète que grâce à la
présence et à l’engagement émotionnel du spectateur.
“Le spectateur établit le contact de l’œuvre avec le monde extérieur en déchiffrant
et en interprétant ses qualifications profondes et par là ajoute sa propre contribution
au processus créatif” (Duchamp, 1957).
Fig. 5 • La boucle action/perception entre l’utilisateur et le système (Limerick et al 2014)
23
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
L’œuvre est pensée comme intégrée à un contexte (exposition, performance, environnement),
et chaque personne qui s’en empare participe à sa réalisation, développant ainsi une
expérience unique et personnelle.
Dans la digne succession des courants artistiques performatifs et interactifs, qui
se développent au début des années soixante, la position du spectateur s’impose
progressivement comme centrale et indissociable de l’œuvre. L’émergence des
technologies interactives portées par la recherche en IHM donne lieu à l’avènement d’un
art1 « numérique ».
Détournant et hackant ces dispositifs à des fins esthétiques et exploratoires, artistes et
designers jouent un rôle important dans l’élaboration de nouvelles relationnalités avec le
numérique (Fig. 6 & 7).
1 On désigne par « art numérique » tout art réalisé à l’aide de dispositifs numériques – ordinateurs, interfaces et réseaux.
Cette définition reste technique et générique. Elle englobe les multiples appellations désignant des genres particuliers de
l’art numérique, comme l’art virtuel, l’art en réseau, le cyberart, etc. (source : Encyclopédie Universalis)
Fig. 6 • Videoplace de Myron Krueger (1974), un participant face à un écran aperçoit sa silhouette
24
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Cette relation entre artistes et ingénieurs dans la recherche en IHM peut paraître dans un
premier temps difficile à concilier, les premiers s’éloignant volontiers des méthodes et
protocoles préétablis et cherchant à atteindre d’ « ultimes singularités », les seconds en
revanche devant faire preuve de la rigueur nécessaire à l’établissement d’un savoir absolu et
supposé universel. C’est cependant dans leur tolérance à l’échec mais également dans leur
engagement vers ce qui semble « juste » dans l’expression et les émotions, que les artistes
peuvent proposer une complémentarité indéniable. Leurs capacités à sortir des cadres, à
dépasser les limites établies d’un problème posé et à jouer avec, participe à l’émergence
d’expériences interactives s’éloignant des critères qualitatifs répandus dans le monde de la
recherche en IHM.
Cet art « interactif » se concentre alors sur l’échange qui survient entre un ou plusieurs êtres
humains avec les objets, lieux, et contextes proposés, mais aussi sur la qualité des émotions
ressenties et sur l’expérience esthétique globale vécue par le spectateur. Ces œuvres sont
praticables, proposant des potentiels qui ne se réaliseront qu’à la saisie ou via l’interaction.
Elles font le lien entre deux registres d’activité à priori opposés, la contemplation et l’usage
(Bianchini et Verhagen, 2016).
Fig. 7 • Legible City de Jeffrey Shaw (1989), un participant sur un vélo et face à un écran pédale dans
à travers une ville virtuelle
25
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Cette recherche tournée vers la qualité d’interaction se trouve combler alors un manque
certain dans les mondes des IHM, et les frontières entre disciplines artistiques, d’ingénieries
et de recherche se font alors plus ténues. Les ingénieurs s’inspirent des manières dont
les artistes détournent leurs outils des fins pour lesquelles ils ont été conçus, se laissent
proposer de nouveaux modèles interactifs inspirés des pratiques comme l’improvisation
musicale, la danse ou le théâtre, mais tirent aussi profit des expertises des designers pour la
conception d’objets (interfaces tangibles), de séquences (design de gestes ou de sons), et de
parcours narratifs et expérientiels.
Certaines conférences scientifiques comme la CG702 en 1970 ou SIGGRAPH3 en 1981
intègrent alors des sections sur l’art graphique informatique et des expositions artistiques
comme parts centrales de leurs événements. Les institutions historiques comme Xerox Parc
développent des résidences d’artistes, et des centres de recherche prestigieux comme le
MIT Media Lab ou l’IRCAM invitent artistes ingénieurs et scientifiques à travailler ensemble.
1.2.3 • Une recherche en design d’interactions à la croisée de multiples
disciplines
De l’IHM vers la recherche en design d’interactions
Si l’IHM a contribué très significativement à l’amélioration des dispositifs interactifs
numériques qui nous sont aujourd’hui usuels et familiers, c’est peut-être dans ses critères
même d’évaluation de la qualité qu’elle se retrouve limitée en termes d’innovation. L’IHM
se concentre effectivement sur l’efficacité et l’efficience vis-à-vis de la réalisation de tâches
données, mais elle n’intègre en nul endroit les notions qui sont aujourd’hui centrales dans
la recherche en design d’interactions, comme les vertus émotionnelles et esthétiques de
l’expérience (Löwgren, 2002 ; Fallman, 2008).
La recherche en design d’interaction émerge de ce constat et s’accorde bien volontiers
à réunir des principes issus des sciences de l’ingénieur, de la psychologie et de l’art pour
développer ses productions. Elle en est d’ailleurs le produit direct (Löwgren, 2002).
Elle intègre comme soucis majeurs non pas simplement l’apparence d’un produit, mais
comment celui-ci réagit et évolue, et avec quelle élégance il nous amène à un résultat. Toute
la dimension temporelle qui précède la réalisation d’une tâche est considérée, dans sa non-
linéarité et sa pertinence vis-à-vis des interactions passées.
La recherche en design d’interaction prend à ce sujet une vision plus holistique de la relation
entre utilisateur, contexte culturel et social d’utilisation et produit numérique.
Rappelant alors la logique énactive, on peut modéliser ces nouvelles boucles action/
perception comme profondément multirelationnelles, en contextualisant chaque feedback
à l’environnement et à l’histoire de la relation dans lesquels les échanges prennent corps
(Fig. 8). Contextualiser ainsi le sens donné aux actions de l’utilisateur semble être une
condition indispensable pour que l’interaction qui en découle soit cohérente et adresse les
mécanismes d’engagement de manière proprement adaptée.
2 International Symposium Computer Graphics, Brunel University, UK 1970.
3 The Special Interest Group on Computer Graphics
26
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Plus que contextualiser, le rôle des designers d’interaction doit être animé par une mission
réellement innovatrice, celle d’explorer des futurs possibles, auxquels les concepteurs et les
utilisateurs ne sont pas encore préparés. Cette attitude doit être dirigée vers une dialectique
entre tradition et transcendance, afin que les utilisateurs puissent découvrir et apprécier les
nouveaux possibles offerts par ces technologies mais que celles-ci restent dans le domaine
de ce qu’ils peuvent en comprendre et en maîtriser (Löwgren, 2002).
À mesure alors que se perfectionnent les capteurs et algorithmes de reconnaissance
gestuelle, l’innovation en design d’interaction peut orienter son développement vers des
modalités dites « naturelles ». Elle se calque sur ce en quoi les utilisateurs sont déjà experts
tout en proposant de nouvelles manières de questionner le corps et ses limites perceptives.
En basant l’interaction sur l’acquisition de données subtiles provenant des langages
verbaux et non-verbaux, les frontières traditionnelles entre l’utilisateur, l’environnement et
le système numérique se brouillent. L’interface devient une continuité hybride d’un corps
qu’il est nécessaire de réexplorer. Face à ce constat, il est nécessaire de mettre en scène les
corps en mouvement comme des outils centraux de la recherche.
Plutôt que de contraindre les utilisateurs à s’approprier des fonctions interactives complexes,
certains chercheurs en interactivité les laissent au contraire s’approprier les dispositifs de
manière libre, leur laissant par les retours qu’ils en perçoivent le soin d’en construire du sens.
Fig. 8 • La triade des interdépendances de l’UX : Système / Utilisateur / Contexte
27
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
C’est le cas avec l’œuvre Grainstick (Fig. 9), où Pierre Jodlowsky propose, une expérience de
création sonore basée sur le mouvement, où l’expressivité corporelle est mise au centre de
l’échange interactif (2010).
Un public non musicien s’empare de contrôleurs gestuels et, immergé dans un environnement
visuel et sonore, il compose une forme esthétique faite de différents tableaux, où les
métaphores naturelles rappellent des écoulements d’eau ou des percussions.
La relation entre les mouvements du corps et l’œuvre y est organique car totalement intuitive4,
elle se construit directement à travers la manipulation. Suivant ce principe, chaque utilisateur
peut s’emparer à sa manière de l’expérience, pour venir y trouver une expérience personnelle et
unique, sans nécessiter une explication préalable du fonctionnement du système.
Sarah Fdili Alaoui propose dans A light Touch de nouvelles modalités gestuelles pour nouer
une relation entre les gestes et les oscillations d’un spot lumineux (Fig. 10).
Dans leur étude de 2012, Fdili Alaoui et al. y comparent deux paradigmes d’interactions,
l’un basé sur la position et les déplacements relatifs de la main, et l’autre sur un contrôle
par analyse des qualités de gestes (un concept issu de la danse permettant de donner un
caractère à un mouvement).
4 Le terme intuitif désigne ici un mode d’action qui ne nécessite pas un recours au raisonnement. Il est à noter que
l’intuition reste une faculté de l’esprit qui est profondément liée à ses contextes de développement et d’évolution.
Un design dit « intuitif » se veut donc nécessairement pensé pour correspondre à un public donné, appartenant à un
environnement social bien défini.
Fig. 9 • Un utilisateur immergé dans l’installation Grainstick (2010)
29
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
à comprendre, mais celle utilisant les qualités de geste apparaît néanmoins plus sensible
et plus engageante, offrant une meilleure qualité d’expérience vécue. Fdili Alaoui et al.
concluent en renforçant ici la distinction entre l’idée d’ordinateur-outil et d’ordinateur-
partenaire, distinguant en même temps la nature du langage à y utiliser dans ces deux cas.
Cette distinction illustre l’un des principes centraux des interfaces naturelles qui implique
de penser ces modes interactifs non pas en imitation des interfaces humain/machine
traditionnelles mais à travers de nouveaux modes plus imagés et sensibles (Wigdor &
Wixon, 2011).
Cette rencontre entre art numérique et recherche en interaction participe à ce que Fallman
nomme la troisième vague de l’IHM, qui fait émerger comme question centrale celle de
l’expérience utilisateur (UX pour User eXperience). L’engagement et le parcours en sont les
notions reines (Fallman, 2011).
1.3 • Les nouveaux enjeux des NUIs
1.3.1 • De nouveaux enjeux à définir
Face à ce constat, il convient de définir proprement les enjeux sous-tendus par ces nouvelles
modalités interactives. Nos précédentes références développent l’idée d’interaction et
d’engagement comme le fruit de multiples adaptations entre un participant vis-à-vis de son
objet d’interaction, dans le but d’y développer une base de sens et d’affiner son action. La
motivation à s’engager dans une interaction est fortement sous-tendue par l’intérêt qu’on y
trouve, porté par l’activité elle-même et pas seulement par la réussite d’une tâche donnée.
Les interfaces dites naturelles5 émergent d’un changement profond de paradigme de pensée,
où des formes inédites de relations avec les données numériques viennent à être envisagées.
En sortant du seul écran de l’ordinateur pour s’intégrer dans l’espace en trois dimensions,
elles offrent une hybridité entre les mondes physique et immatériel. Elles créent les
conditions pour repousser les limites du corps et de la perception, amenant à la conception
de nouveaux types de parcours utilisateurs.
L’exploration y est souvent ludique, intuitive, on y apprend au gré de la manipulation, et
des modalités d’interaction implicites commencent à alimenter les systèmes, à travers la
contextualisation et l’interprétation plus fine des actions des individus.
Ces nouveaux paradigmes offrent des horizons extrêmement vastes d’applications,
envisageant des expériences pouvant se déployer intelligemment avec l’utilisateur,
construisant avec lui une relation unique et l’accompagnant dans l’exploration de nouveaux
potentiels corporels.
Les règles qui fixent les bonnes pratiques de conception se font au rythme et au gré de
l’innovation6. D’innombrables expériences et prototypes partagés par les développeurs et
designers du monde entier amènent à l’établissement progressif de nouvelles règles et
habitudes de conception, définissant in fine ces nouvelles formes de relations entre l’humain
5 Le terme naturel s’entend ici comme rappelant à des usages du quotidien dans un environnement social situé et pour
une typologie d’acteurs donnés. Une interaction ne peut être naturelle que parce qu’elle est pensée de manière proprement
contextualisée.
6 Nous entendons par innovation la phase d’introduction sur le marché ou d’appropriation par les usages sociaux de
dispositifs techniques nouveaux (source : INSEE)
30
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
et le numérique. Pourtant nombre d’entre elles résultent d’une réutilisation de règles
interactives 2D déjà existantes. Les « pointeurs », « menus », et autres « fenêtres » n’ont
en effet plus de raison d’être dans ces nouveaux paradigmes d’interaction. Au contraire il
semblerait nécessaire de faire table rase de ces anciennes modalités devenues des réflexes,
pour repenser à nouveau frais la notion même d’interaction naturelle.
Penser une relation avec une interface naturelle invite à voir l’apprentissage du système
comme nous comprenons le monde, comme un processus en partie intuitif, où les modalités
interactives permettant la prise en main sont déjà connues.
Que ce soit en attrapant des objets, déplaçant du contenu dans l’espace, ou en naviguant
à la voix, les utilisateurs appliquent une base de connaissance acquise au cours de leurs
interactions quotidiennes et s’en servent pour interagir avec les premières phases de
l’expérience.
« Il n’existe rien de tel qu’une interface naturelle ou intuitive […] Un design
d’interface efficient repose sur un transfert de compétences savamment contrôlé.
Nous désignons des interfaces afin que les utilisateurs puissent prendre leurs
connaissances d’une situation et les réappliquer sur une nouvelle. »
Gord Kurtenbach, directeur de la recherche chez Autodesk
Le parcours se déploie alors au gré de la manipulation, les erreurs y sont génératrices de sens
et constitutives de l’apprentissage. La base de connaissance des utilisateurs s’enrichit au fur
et à mesure, leur permettant de s’adapter à ces nouvelles capacités extra-naturelles rendues
possibles par le système.
Parcourons maintenant une série de références issues de ces mondes de la recherche en
interaction, mais aussi des jeux vidéo et de la recherche en réalité virtuelle.
1.3.2 • Faire corps au sein des environnements virtuels
Certains travaux de recherche en psychologie cognitive explorent par exemple la possibilité
d’altérer la conscience de soi en en modifiant la perception visuelle.
Dans leur étude de 2015, Osimo et al. repoussent la question de l’embodiment7 en proposant
à un sujet de dialoguer avec lui-même à travers plusieurs corps virtuels.
Dans une première phase, la personne est incarnée dans un avatar à sa propre image et
rencontre dans l’univers virtuel un second avatar à l’apparence de Sigmund Freud (Fig. 12).
Ce dernier lui demande de se confier à lui vocalement alors que la séquence est enregistrée.
Quelques jours plus tard, le même sujet est invité à réitérer l’expérience, incarné cette fois
dans l’avatar à l’apparence de Freud. L’avatar à son image est alors présent devant lui et
répète la séquence enregistrée plus tôt.
Étant incarné dans le corps du thérapeute, le sujet assiste ainsi au récit de ses propres
confidences à travers une posture extérieure, et son extériorisation lui permet alors de se
répondre à lui-même, d’une manière franche et objective car littéralement désincarnée.
7 Terme issu des sciences cognitives et passé aujourd’hui dans le langage courant sous sa forme anglaise. Désigne à la
fois la sensation de faire corps dans l’avatar qui nous est donné à voir, et le fait de se sentir appartenir au monde tel qu’il
nous l’est proposé.
32
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
l’engagement, à travers les jeux de rôle et l’exploration de ces nouvelles identités (Turkle,
1995 ; Taylor, 2009).
1.3.3 • Des altérités numériques invitant au mouvement
Aux croisements entre arts numériques et des expériences ludiques d’autres travaux proposent
des exemples de boucles adaptatives et dynamiques visant à créer une sensation d’altérité.
Une technique très utilisée est par exemple le recours aux avatars anthropomorphes,
permettant de représenter une intelligence artificielle dont les traits se prêtent aux nôtres.
Le mouvement, les émotions, les réactions s’inspirent des rapports sociaux humains et
donnent aux utilisateurs un cadre de base pour engager le dialogue8. L’interaction y est alors
facilitée, usant de nos tendances à développer des rapports empathiques et sensibles avec
ces corps étrangers.
Pouvant prendre toutes les formes, tailles et matières, ces corps surprennent parfois par le
naturel de leurs réactions, contrastées pourtant par l’évidence de leur origine numérique.
8 Lequel dialogue peut alors se retrouver très souvent contrarié, l’anthropomorphisme créant nécessairement des
promesses et attentes que le dispositif ne peut alors combler.
Fig. 13 • « L’Autre » de Catherine Ikam & Louis-François Fléri
37
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Le modèle développe sa compréhension du dessin à travers trois niveaux, local, régional et
global, chacun apportant un degré de sens différent au produit. Les actions de l’utilisateur
sont également analysées et des informations telles que la taille des lignes, leur épaisseur ou
le temps entre chaque saisie viennent influencer les propositions du système. L’agent n’a pas
de gestes pré-encodés, il formule donc ses propositions à la fois en réponse à l’utilisateur et
à l’objet qu’ils coproduisent.
Selon les auteurs, la confrontation à un tel système créatif constituait un motif d’intrigue
important pour les utilisateurs. Ces derniers cherchaient à comprendre le fonctionnement
du système et étaient à la fois impressionnés et perplexes face aux lignes proposées par le
système. Celui-ci semblait en effet comprendre leurs intentions tout en cherchant parfois à
les malmener.
Ce processus de recherche et d’exploration était selon eux moteur de l’engagement, les
utilisateurs prêtaient alors à l’agent un degré d’intentionnalité et de créativité parfois au-
delà de ce que les chercheurs espéraient (Davis et al 2015).
Dans ces différentes expériences l’altérité émerge donc du fait qu’à travers l’interface
l’utilisateur et son interlocuteur usent d’un même langage. Qu’il soit corporel, porté par
un avatar en mouvement ou simplement par des médiums textuels et dessinés, l’un et
l’autre partagent une agentivité sur la forme coproduite qui émerge de leur rencontre. Les
partenaires s’y adaptent l’un à l’autre, résistance et frictions font intégralement partie de
la narration.
Ce partage du contrôle amène l’utilisateur à explorer différentes stratégies, pour surprendre
le partenaire virtuel, observer ses réactions, ou pour lui donner raison à travers des points
d’accord. De Loor et al. conditionnent justement l’émergence de l’individualité d’un agent
numérique dans cette capacité à résister à l’action de l’utilisateur (2014).
Fig. 21 • À gauche, le Drawing Apprentice, outil de co-création de dessin improvisée
Fig. 22 • À droite, les différentes phases d’un dessin collaboratif
38
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
1.3.4 • Des données spatialisées accessibles du bout des doigts
La possibilité inédite des interfaces spatialisées permet également aux données numériques
de se doter de comportements qui se jouent des lois de la physique. Libres des contraintes
de la nature, elles peuvent tout en même temps en garder les traits et l’expressivité. Ainsi, à
mesure que le corps de l’utilisateur s’étend, les données, elles, se dotent de caractères et de
fonctions d’organisation biomorphiques.
Dans Lyra (2016), un projet développé par le studio Metanaut dans le cadre de la
compétition 3D Jam 2.0 organisée par LeapMotion, un utilisateur est équipé d’un casque
de réalité virtuelle et d’un dispositif captant les positions de ses mains et doigts (Fig. 23). Il
est invité à interagir avec des objets minimalistes qui flottent et s’organisent autour de lui
dans l’espace virtuel. Ceux-ci sont associés à des notes et percussions qui, au passage de la
main, s’activent et font émerger une pièce musicale.
La matière sonore remplit visuellement l’espace et la musique se pense au bout des doigts.
L’expérience de composition prend alors une forme ludique et amène les utilisateurs à créer
des motifs originaux et audacieux, rendus possibles par cette manipulation directe des
notes et accords.
Dans Tamed Cloud (Garnier et al., 2019), un projet développé par le groupe Spatial Media
d’Ensadlab, « un utilisateur immergé dans un environnement virtuel fait face à un nuage
de données flottant et mouvant » (Fig. 24). Celui-ci est composé de milliers d’images et se
déplace dans l’espace à la manière d’un essaim d’étourneaux.
Fig. 23 • Le point de vue en première personne de l’expérience Lyra
39
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Via une interface vocale, l’utilisateur peut formuler des ordres au nuage, lui demandant de
s’agencer et de se filtrer de différentes manières. Par les gestes il peut ensuite saisir, manipuler
et organiser ces données tout autour de lui, développant ainsi un espace de consultation et
de visualisation versatile, invitant au mouvement et à une manipulation plus sensible.
Ces nouveaux modes de consultations permettent d’envisager des jeux de données massifs
comme une matière créative et esthétique, non envisageable à travers les paradigmes
interactifs traditionnels.
Pouvoir organiser les données à travers différentes échelles de distances permet par exemple
d’en faciliter la saisie et la réévaluation. La doter également de comportements et d’une
forme de semi-autonomie apparaît comme une modalité intrigante, où l’imagination et
l’intuition se mélangent à merveille avec les besoins intrinsèques de contrôle et d’autonomie
dont nous parlions plus tôt.
L’utilisateur est face à un système où tout semble possible, l’invitant à redoubler lui-même
de créativité pour en éprouver les limites. Par cette exploration ludique et sérendipitaire, il
s’engage naturellement dans une réflexion sur ce qu’il souhaiterait pouvoir réaliser, et crée
lui-même les règles de l’expérience.
Dans leur article de 2019, Garnier et al. y font part des nombreux commentaires enthousiastes
suscités lors des premières phases de test du projet. Tamed Cloud est aujourd’hui destiné à
être décliné dans divers milieux de la recherche scientifique, de la médecine, et à tout autre
environnement pouvant profiter de tels outils de visualisation de jeux de données massifs.
Les expériences présentées ici brouillent chacune à leurs manières les limites entre
l’objet d’interaction (au sens manipulable, interactif), l’espace numérique et l’espace
physique environnant.
Fig. 24 • Une représentation du projet Tamed Cloud
41
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Certaines de ces caractéristiques sont stables, comme l’âge, le genre, la latéralité. D’autres
évoluent au cours de la vie et peuvent changer d’une utilisation à l’autre, telles que les
compétences et connaissances préalables du système (résultantes d’expériences passées
ou similaires), les aptitudes cognitives, la personnalité (telles que l’ouverture aux nouvelles
expériences, l’extraversion etc.). Certaines caractéristiques enfin sont changeantes tout au
long de l’expérience : la charge cognitive, les capacités d’attention, ou encore les envies, les
buts, l’état émotionnel.
Des variations dans ces données peuvent conduire les utilisateurs à vivre différemment
l’expérience interactive, à commencer par un changement radical de l’intensité et de la
positivité de celle-ci. Cette constatation invite à intégrer alors une mesure de certains signes
ambigus et émotionnels pouvant être pertinents. Ebert et al (2013) proposent par exemple
une série d’adaptations autonomes sur la base de ce qu’ils nomment les interactions
implicites : des réactions du système à des informations non conscientisées par l’utilisateur.
Ils listent ainsi certaines données pouvant être recueillies et interprétées :
- Le temps d’attente du regard, d’un toucher ou du curseur de la souris
- Les expressions du visage. Le caractère répété de certaines actions
- La position du corps et l’analyse des gestes (souris, doigts, main…)
- La fréquence des changements d’actions
- Les indicateurs émotionnels et physiologiques (activité cérébrale, galvanique, souffle et
battement de cœur…)
- L’analyse de l’expérience au regard des expériences passées
Dans des interactions sociales, ces différentes informations nous renseignent et se combinent
pour permettre notre appréciation d’une situation. Elles ne requièrent pas d’explication car
elles font partie de ce qu’on juge être notre sens commun.
Dans un contexte d’interaction humain/machine il sera en revanche nécessaire de les
traduire et de les expliciter. L’exercice est évidemment périlleux, alors même qu’il nous est
impossible de donner avec certitude un sens à de telles informations.
Données contextuelles
À nouveau, l’approche énactive nous invite à voir toute action comme située. Comprendre
l’environnement dans lequel s’inscrit l’expérience est ainsi essentiel (Dourlens 2012).
Celui-ci évolue au cours du temps et peut altérer la manière dont l’utilisateur entre en contact
avec l’interface, en jouant sur ses capacités, ses motivations ou sa créativité.
Le contexte d’utilisation peut être divisé en plusieurs catégories :
- Le contexte spatial : Le lieu qui accueille l’expérience est-il propice à l’utilisation ?
La température, le bruit, la luminosité, ou encore la météo favorisent ou nuisent-ils à
l’engagement dans l’expérience ? Toute l’informatique embarquée, appliquée à la domotique
ou à l’IoT permet aujourd’hui d’intégrer ce type d’informations ambiantes.
- Le contexte social : La présence ou non de tierces personnes est-elle déterminante ? Ces
personnes encouragent ou bloquent-elles l’utilisateur dans son engagement ?
- Le contexte technique : Les conditions sont-elles suffisantes pour une utilisation correcte ?
La connectivité et l’alimentation électrique sont-elles par exemple suffisantes ?
43
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
La qualité pragmatique concerne l’atteinte de buts et l’accomplissement des objectifs, elle
est liée à l’usabilité du système et à la confiance que les utilisateurs lui portent.
La qualité hédonique concerne ce qui supporte l’utilisateur dans l’exécution de ces tâches,
en jouant sur les dimensions du plaisir, la stimulation des sens ou l’identification de
l’utilisateur à l’action.
Chaque produit numérique est ainsi constitué de ces deux types de qualités, équilibrées ou
non en fonction du caractère recherché pour le produit.
Selon Hassenzahl, toute conception d’expérience devrait idéalement chercher un équilibre
entre ces dimensions hédoniques et pragmatiques, pour lier l’efficacité dans la résolution
des tâches et la dimension plaisante de l’utilisation.
Certaines expériences en revanche seront naturellement plus portées sur les qualités
pragmatiques, c’est le cas des expériences de type ACT. Pour des expériences plus portées
sur les qualités hédoniques, on parlera de type SELF (Fig. 27).
On peut donc penser l’ensemble de nos adaptations comme déclinables à travers ces quatre
caractéristiques, et développant les qualités pragmatiques et hédoniques, pour influer
respectivement sur la manipulation et le confort de l’utilisateur.
Concernant les dimensions pragmatiques, Jameson (2003) a proposé deux catégories pour
penser l’adaptation des fonctions d’un système numérique, distinguant :
- les fonctions facilitant l’usage (prise en charge d’opérations routinières, adaptation de
l’interface, conseil d’utilisation, contrôle du dialogue)
Fig.27 • le type d’expérience, en fonction de sa balance pragmatique / hédonique
(Hassenzahl, 2018)
44
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
- les fonctions aidant à l’acquisition d’information (aide à la recherche, mise en forme de
résultats, recommandation de produits, support à la collaboration, support à l’apprentissage). »
Adressant davantage l’aspect hédonique, Hussain et al. (2018) proposent une série
d’adaptations destinées aux interfaces mobiles, permettant de favoriser l’attention,
améliorer la lisibilité, adapter l’organisation de l’information. Certaines sont rapportées dans
le tableau ci-dessous (Fig. 28).
Considérant le contexte plus particulier des NUIs immersives, les données corporelles et
biométriques peuvent être intégrées de manière explicite. L’activité cérébrale (EEG), la
résistance galvanique (EDG), le souffle ou les battements du cœur (PPG) permettent de
donner un niveau supplémentaire de lecture sur l’état d’un utilisateur. À ces données peuvent
être formulées des réponses multisensorielles, qu’elles soient visuelles, sonores ou narratives.
Kitson et al. proposent une revue d’expériences immersives explorant le principe de
biofeedbacks pour la psychologie positive (2018, Fig. 29).
Les modifications d’interface les plus récurrentes dans les études concernent l’apparence et
les dynamiques de mouvements des objets, la musique, l’ambiance sonore, les couleurs et
l’intensité lumineuse.
Fig. 28 • Une liste partielle de règles d’adaptation à appliquer à une UI en fonction de son contexte
d’utilisation (Hussain et al. 2018)
45
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Ils précisent que l’impact sur la respiration et l’état de relaxation étaient plus souvent attribués
à des adaptations musicales et auditives, tandis que les évolutions de l’engagement et de la
concentration étaient plutôt dues aux mouvements des objets (Kitson et al 2018).
Les auteurs concluent en insistant avec enthousiasme sur le potentiel prometteur des
environnements immersifs pour le développement des facultés humaines.
Ciblant à nouveau plus particulièrement les interfaces immersives et la réalité virtuelle,
l’apparence corporelle et la présence d’individus similaires ou différents joueront également
un rôle clé dans la volonté d’action. On rappellera la possibilité de s’inspirer de l’effet Proteus
qui précise que les actions d’un utilisateur seront fortement influencées par les préjugés qu’il
portera à l’apparence de l’avatar qu’il occupe (voir section 1-3-2).
On constate à travers ces exemples le caractère non généralisable de ces innombrables
liens possibles entre triggers et feedbacks. Les relations potentielles entre informations
captées par le système et réponses à apporter à l’utilisateur sont trop nombreuses et
doivent être imaginées selon un protocole propre à cette problématique. Nous proposons
pour cela de prendre inspiration à travers un contexte d’étude différent, celui des activités
d’improvisation créative impliquant plusieurs sujets, au sein desquelles de nombreux
mécanismes interadaptatifs sont à l’œuvre.
Fig. 29 • Liste d’études associant biofeedbacks et expérience interactive immersive, classées selon
le type de signal mesuré (Kitson et al. 2018)
46
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
1.5 • L’improvisation comme modèle d’interaction avec
un partenaire numérique
Nous avons vu ici la complexité à vouloir systématiser ce que doit être un langage naturel. La
combinatoire entre les différents triggers et feedbacks rendus accessibles par les différents
capteurs numériques est au regard de l’enjeu porté par les NUIs trop importante et il nous
est nécessaire à ce stade de trouver un angle d’observation du problème qui permette de se
concentrer sur ce qui est réellement important dans une interaction en médiation spatiale.
Afin de donner toute son importance au caractère naturel de nos interactions, nous
choisissons ici de nous inspirer d’une forme d’interaction qui met justement l’intuition et la
créativité au centre, l’improvisation.
L’ i m p r o v i s a t i o n f a i t j u s t e m e n t s o n a r t d e c r é e r d u sens à partir de ces boucles sensori-motrices,
à travers lesquelles un ensemble de mots et de phrases se composent. Qu’elles soient dansées,
parlées, jouées à travers des instruments de musique, ces activités sont profondément ancrées
dans l’instant et n’ont nul autre but que le plaisir issu de l’acte en question.
Afin de mieux comprendre en quoi l’improvisation peut être ici une inspiration pertinente,
invoquons dans cet état de l’art quelques principes propres à ce champ particulier, lui aussi
intégrant recherche en cognition et arts performatifs.
1.5.1 • Co-construction de sens et jeu de l’improvisation
Ajoutons donc à notre lecture cognitiviste de l’interaction l’idée d’être face à quelqu’un
d’autre. Au regard de l’énaction, nous sommes en permanence engagés dans des activités
de construction de sens, mais lorsque nous interagissons avec un autre agent social, cette
construction devient alors participative (De Jaegher et Di Paolo 2007).
Le sens construit ne dépend plus d’un individu seul et les êtres sociaux évoluent alors au-
delà de leurs capacités propres. L’interaction prend forme dans un monde différent, celui
résultant de la rencontre avec l’autre agent, où différentes règles, histoires et pensées se
rencontrent et se conjuguent (De Jaegher & Di Paolo 2007 ; Di Paolo et al 2010).
À travers de multiples indices verbaux et non-verbaux, les êtres sociaux se coordonnent
dans leurs attitudes, intentions et mouvements. Ils s’anticipent, s’imitent et s’adaptent,
s’influençant ainsi en permanence dans l’exécution d’une tâche, dans une conversation ou
dans un jeu, et ce, qu’ils le veuillent ou non (Himberg et al., 2018).
Nos interactions sociales sont donc constitutives de la manière dont nous concevons le
monde. Elles nous conduisent à des sentiments de compréhension supérieurs et participent
à l’enrichissement de nos schémas de pensée. Nous nous sentons exister à travers elles car
elles participent à notre sensation d’être présents et co-présents (Froese et al., 2014a, 2014b).
Les activités co-créatives comme l’improvisation collective explorent ces mécaniques pour
les seules fins de dérive et de développement personnel (Gerber 2007). L’improvisation se
définissant comme une activité consistant à fabriquer ou faire quelque chose de non planifié
à l’avance, lorsqu’elle est l’œuvre de deux êtres sociaux, les pratiquants interagissent alors
en systèmes couplés, partageant leur agentivité et énactant ensemble un monde singulier.
Ces phénomènes conduisent alors à des résultats à chaque fois uniques (Schiavio and De
Jaegher 2017).
47
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Cette activité fait justement son art d’être « sur le fil », de laisser s’opérer ce processus
d’évaluation constante, de ce qui est produit et des voies nouvelles qui s’ouvrent (Fig. 30).
Le déséquilibre y est central et constitutif de la narration, il s’explore et se distord, pour
révéler d’infinis possibles (Fig. 31).
Le moment y est récréatif et permet aux joueurs de conforter leurs sens d’autonomie,
d’explorer les dimensions et potentiels de leurs corps, notamment ce dont ils sont en capacité
et en droit de faire (Di Paolo et al., 2010). Ils s’engagent dans l’activité à leur convenance, en
développent les limites à volonté, et peuvent en décider à tout moment la fin.
Puisque les finalités sont secondaires, la peur de l’échec est absente et les joueurs se sentent
libres d’incorporer de nouvelles sources d’information et d’expérimenter de nouvelles
manières de faire les choses (Gray, 2008). L’erreur est ainsi partie prenante de la nouveauté
et du renouvellement de l’activité.
Il en ressort de l’amusement et du plaisir, liés à cette liberté de pouvoir jouer et composer avec leurs
propres règles et de pouvoir laisser l’objet cocréé évoluer par l’effet de leurs actions respectives.
Ce jeu créatif, qu’il use d’un médium musical, gestuel, ou vocal, est un produit de nos
dynamiques de coordination et d’inter-adaptation, et peut permettre d’atteindre des états
de conscience modifiée.
Dans ces états privilégiés, les participants peuvent atteindre des résultats impossibles à
envisager seul. Les performances ne peuvent plus y être attribuées à l’une ou l’autre des
contributions individuelles, car les participants émergent ensemble en une entité différente,
supérieure à la somme de leurs individualités séparées (Bishop, 2018).
Fig. 30 • L’improvisation vue comme un processus créatif itératif (Gifford et al. 2017)
48
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Les participants peuvent témoigner de sensations d’unité (Togertherness) et de Flow de
groupe, conférant à l’instant un statut hors du commun (Bryan-Kinns and Hamilton 2009 ;
Himberg et al. 2018).
Noy et al. proposent de définir les moments d’unité comme des « moments spéciaux,
marqués par la dissolution des frontières entre le soi et l’autre, émergeant d’une interaction
coordonnée continue entre les individus » (2015).
Dans le cas par exemple de la danse contact12, l’expérience d’unité se fonde selon Himberg
et al. sur la recherche même de l’accord des actions entre elles et dans la rencontre des
mouvements (2018).
« Notre compréhension des improvisations collectives de danse, au-delà d’être
simplement la somme des individus en mouvement, repose sur une idée similaire
à l’esthétique de l’unicité (togetherness). Celle-ci n’étant pas une aspiration singulière
et individuelle de faire partie d’un groupe, mais plutôt une intention collective
de bouger ensemble » (Himberg et al 2018)
De nombreux travaux ont étudié ces phénomènes d’harmonie de groupe, repérant certains
éléments décisifs pour leur apparition (Bryan-Kinns and Hamilton 2009 ; Borderie 2015 ;
12 Voir également les travaux d’Emma Bigé, docteure SACRe qui, à travers un rapprochement d’une littérature en
philosophie et une étude pratique approfondie de la danse contact, explore comment les êtres peuvent être amenés à
vouloir partager leurs gestes et à danser finalement ensemble (2017).
Fig. 31 • Une performance de danse contact
49
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Gifford et al. 2017). Les auteurs mettent en relief un besoin de confiance entre les participants
au regard des tâches qu’ils se partagent, ainsi qu’un besoin de retours immédiats de leur
influence sur le produit et sur le partenaire. Chacun doit être force de proposition et d’originalité,
pour repousser les limites du terrain de jeu et s’aventurer au-delà de sa propre zone de confort.
L’ i n t é r ê t m u t u e l d a n s l ’ e x p é r i e n c e r e p o s e r a a l o r s s ur l’équilibre entre le contrôle que chacun
aura sur l’objet co-produit et les nouveautés que le partenaire pourra y apporter.
L’engagement volontaire dans l’activité d’improvisation résulte ainsi d’une succession de
tensions et de résolutions, causées par les nombreuses micro-négociations passées entre
les pratiquants.
Ces instants de suspension sont les clés de voûte de leur dialogue, et la condition du
maintien de leur intérêt dans l’échange.
Tseng et al. (2021) étudient cette suspension à travers l’improvisation dansée et le concept
esthétique japonais du Ma signifiant littéralement l’« entre-deux ». Ils la présentent comme
un élément décisif de l’apparition de sensation d’unité.
« Ma n’est pas seulement le temps d’attente, mais aussi le temps de préparation
pour l’action. C’est le moment où j’inspire, avant d’expirer et de m’engager dans
l’action. » (Tseng et al., 2021)
Les auteurs proposent de lier le Ma à l’idée de pré-accélération d’Erin Manning (2009), selon
laquelle un mouvement est également présent dans l’absence de mouvement qui le précède :
« Le concept de pré-accélération est une manière de penser la naissance
du mouvement, selon lesquels le mouvement est toujours au bord de l’expression. »
(Manning, 2009)
Ils voient une corrélation entre le Ma et la sensation d’unité qui peut survenir au cours
d’une improvisation.
« Lorsque nous sentons qu’un « autre » entre en anticipation avec nous
de cette pré-accélération de l’événement (un moment de Ma partagé),
le sentiment d’unité émerge. »
Penser ainsi l’engagement dans l’interaction comme le résultat d’une alternance de
tensions et de résolutions rappelle l’aspect oscillant de la courbe de Flow (Fig. 2), mais invite
également à s’intéresser particulièrement à ses extrema.
Plutôt que de rechercher l’accord à travers une modélisation linéaire, comme le préconise
le Flow, ces travaux sur l’improvisation nous invitent également à nous attarder sur les
phases de basculements, de respiration, ou d’accélération qui bornent ces moments
de tensions. La résolution suivant une intense phase de déséquilibre pourra alors n’être
supposée que plus forte.
Penser la conception d’interfaces numériques à travers le prisme de l’improvisation
est assurément un sujet qui passionne et qui s’enrichit à mesure que les technologies
de reconnaissance et d’interprétation des intentions se perfectionnent (Davis et al
2015, Gifford et al 2017, Magerko & Long, 2020, McCormack et al 2020). Envisager une
expérience numérique qui arriverait par sa simple interaction à maintenir un plaisir
50
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
intrinsèque chez son utilisateur trouverait assurément un intérêt dans le vaste champ
de la recherche en interaction humain/machine, tant pour des produits esthétiques que
purement fonctionnels.
Envisager la machine comme un partenaire d’improvisation avec lequel il est possible de
déployer une relation sociale, nous amène à devoir repréciser nos précédentes questions.
Comment les sentiments d’unité survenant dans une improvisation partagée peuvent nous
permettre de repenser la conception d’interfaces naturelles adaptatives ? Comment mettre
en jeu de telles formes d’inter-adaptations dynamiques, à travers quel type de langage
interactif et sur quelle base de sens commun ?
Prenons un temps pour redéfinir à présent notre problématique contextualisée à ces
dernières inspirations.
1.5.2 • Redéfinition de la problématique
Reprenons les points précédents.
Les potentiels interactifs des NUIs invitent à concevoir de nouvelles formes de parcours
utilisateur, où le rapport avec la machine devient social, sensible, improvisé. En empruntant
certaines références aux mondes du design numérique, de la science cognitive et de
l’improvisation, nous avons pu dessiner plusieurs pistes pour centrer la réflexion sur
l’engagement et la mise en mouvement.
Les NUIs pouvant altérer la manière dont se comportent les données - en les spatialisant ou
en les dotant de comportements organiques - et pouvant également jouer sur la perception
et la spécification de soi en immersion, on peut développer des rapports impliquant d’autres
types de mécanismes cognitifs.
En plaçant un utilisateur face à un « autre », défini par des traits semblables ou par un
partage du contrôle sur l’expérience, on peut l’amener à user de mécanismes de mimétique
et de coordination.
S’il est correctement calibré, ce sentiment d’altérité peut faire apparaître des états de
conscience modifiée et d’expérience optimale, similaires à ceux observables dans les
activités d’improvisation collective, comme les phénomènes de Flow de groupe.
Évidemment, à la différence d’une activité d’improvisation entre deux individus, la machine
reste un outil au service de son utilisateur. Ces mécanismes de mimétisme et d’adaptation
sociale n’ont d’intérêt que pour guider, orienter, et apprendre à l’être humain dans un
système où les raisonnements peuvent être complexes, inédits, inconnus.
Simuler l’altérité peut néanmoins offrir de nouveaux types de parcours, celle-ci pouvant
en effet s’esquisser par de multiples contours. À l’aune des NUIs, où l’espace et le corps
sont des notions hybrides et fluctuantes, comment et jusqu’où peut se créer cette forme
d’empathie ?
Peut-on penser une interaction improvisée avec l’immatériel, le non-anthropomorphe,
l’abstrait et le spatialisé ?
La qualité des expériences numériques peut être mesurée par le degré d’engagement des
utilisateurs, et par la motivation qu’ils développent à en explorer les contours et limites,
comprendre comment les dimensions intrinsèques des NUIs peuvent être développées
semble intéressant à plus d’un titre.
51
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
Nous entrevoyons ici que c’est par l’exploration de ce rapport d’altérité, où l’individu et la
machine échangent et s’inter-influencent, qu’on pourra trouver de nouvelles formes de
parcours engageant, dont les applications pourront à la fois se trouver dans des contextes
ludiques, créatifs, ou professionnels.
1.5.3 • Propositions expérimentales
Nous proposons donc dans le prochain chapitre d’explorer la relation avec le numérique à
travers une approche expérimentale centrée sur ces trois idées :
Multimodalité / Friction / Altérité
Cette approche sera découpée en trois phases13.
Une grammaire commune entre danse et design industriel
Face à la multiplicité des langages et des prismes de pensée que le cadre de cette thèse
CIFRE occasionne, nous présentons dans un premier temps une phase d’inclusion de ces
différents partenaires dans la constitution d’une grammaire commune.
En se centrant d’un côté sur les mécaniques sociales influant sur la créativité gestuelle, nous
rendons compte d’une série d’interviews faites auprès de danseurs et chorégraphes, les
invitant à verbaliser les éléments clés de leurs propres expériences à travers une approche
inspirée de la phénoménologie et de la théorisation ancrée. Nous y questionnons leurs
stratégies de mise en mouvement, la générativité du langage dansé, le rapport au corps
et à celui du partenaire, ainsi que les différents éléments pouvant favoriser ou bloquer le
déploiement de l’improvisation.
Incluant d’un autre côté des designers et experts du développement d’interfaces, nous
parcourons la question du design adaptatif en contexte industriel à travers une série d’ateliers
de sensibilisation et de co-créativité créés pour l’occasion. En prenant appui sur la littérature
en design d’expérience, nous tentons de contourer les idées de plasticité et d’évolutivité des
expériences numériques, identifiant avec eux les principales contraintes.
De cette première immersion exploratoire, nous cherchons à faire ressortir des éléments
communs à ces deux environnements, et recontextualisons notre questionnement avec
cette grammaire adéquate.
Penser l’adaptativité en design industriel et création d’une base de sens commune
Face à la complexité induite précédemment par la question du design adaptatif, nous
proposons dans cette seconde partie la présentation de deux outils d’idéation, conçus au
sein de l’agence EMOTIC et testés au sein de son propre écosystème.
Ces outils tentent de sensibiliser les participants d’ateliers de design thinking à l’importante
combinatoire d’entrées/sorties que les interfaces numériques peuvent offrir, puis de
les inviter à imaginer progressivement des fonctionnalités adaptatives en phase avec un
contexte expérientiel et à des utilisateurs donnés.
Les livrables développés ici ont des destinées à la fois pédagogiques et pratiques, cherchant
à fournir d’une part les bagages théoriques nécessaires à la compréhension du problème,
13 Certains travaux auront été conduits en simultané mais cette lecture sera néanmoins pensée pour en faciliter le récit.
52
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
et d’autre part les outils de conception permettant de parvenir rapidement à imaginer de
nouvelles fonctionnalités, destinés à l’amélioration de produits numériques existants ou au
développement de nouveaux prototypes.
Nous y proposons enfin plusieurs retours d’expériences des phases de test de ces outils,
agrémentés de retours quantitatifs et qualitatifs faits par les participants à l’issue des ateliers.
Observer la genèse d’un langage interactif improvisé
Nous concentrant davantage sur les dynamiques de co-construction du langage et sur ces
idées d’altérité et de contrôle partagé, nous revenons dans cette troisième partie sur les
différentes phases du projet Articulations, une rencontre transdisciplinaire entre cogniticiens,
designers, artistes et sociologues autour de la genèse du geste dansé.
Jouant de la représentation des corps grâce à la réalité virtuelle, nous y amenons des
participants à s’immerger ensemble dans des environnements minimalistes, pour y
façonner un langage gestuel dépourvu des biais naturels du non verbal. À l’aide du simple
mouvement dans l’espace, ils sont ainsi laissés à eux-mêmes, implicitement poussés à
réagir au mouvement du partenaire, et à comprendre leur propre influence sur lui. Ils se
laissent alors dériver dans cette improvisation « diminuée » au cours de laquelle certains
semblent finalement voir leur créativité exacerbée.
Analysant les nombreuses données recueillies au cours de différentes phases expérimentales
nous faisons ressortir certains éléments clés de l’expérience, traitant des sensations, du
rapport à l’environnement, ou des différentes étapes des relations vécues par les participants.
Nous en proposons en conclusion un cadre conceptuel, la « réalité diminuée partagée », qui
vient alimenter notre réflexion sur la générativité du langage interactif en contexte immersif.
Les observations issues de ces trois phases expérimentales nous inviteront à voir le langage
naturel dans les NUIs comme profondément interrelationnel et multi-niveaux. Nous y
verrons que l’identité perçue est intimement liée à la narration et que notre cadre conceptuel
permet d’envisager de nouvelles formes de relations avec le numérique, où l’atteinte de
formes de Flow de groupe ou de Togetherness semble possible.
Est-ce simplement aux NUIs de s’adapter aux modalités interactives humaines, ou bien
peut-on espérer trouver de nouvelles clés dans cette sorte d’entre-deux hybride, où humain
et machine trouvent un autre espace de jeu ?
Cette question trouvera un écho particulier tout au long du prochain chapitre.
1.5.4 • Un écosystème propice à une recherche par la pratique en design
Comme énoncé précédemment, le terme de recherche est depuis plusieurs décennies
entièrement intégré dans le langage artistique. Les chercheurs en art et en design ont dans
toute l’histoire de la recherche en interaction apporté des contributions significatives rendues
possibles justement par leurs approches singulières. Plus que des propositions c’est parfois
par ce seul engagement dédié à la construction ce qui semble « juste » que des avancées
significatives peuvent être atteintes (Archer, 1995).
Dans cette directe lignée, l’écosystème particulier qui base cette recherche est particulièrement
favorable à une recherche par la pratique en design, voyant se rencontrer le laboratoire
SACRe - un programme porté par l’Université PSL (Paris Sciences & Lettres) réunissant six
53
L’improvisation
comme modèle interactif
pour le design d’interfaces
naturelles spatialisées
1•
différentes écoles de Paris14 - et l’entreprise EMOTIC, spécialiste depuis plus de dix ans
de la transformation digitale des entreprises, proposant le design, le développement et le
déploiement de produits numériques innovants et sur-mesure. Cet échange, rendu possible
via le dispositif CIFRE15, permet ainsi à un doctorant d’évoluer au sein d’un environnement
pluridisciplinaire et d’enrichir sa recherche de cette pluralité de langages et d’ambitions.
Nous souhaitons ici explorer de possibles futurs, impliquant nécessairement une approche
qui se doit d’être itérative et ancrée. Pour mieux comprendre ce qui dans le cadre de cette
thèse semble nécessaire et atteignable, cette approche rencontrera diverses séquences
segmentées entre étude, pratique et exploration, en lien avec le triangle de la recherche en
design d’interaction de Fallman (2008). Nous animerons ainsi un dialogue étroit, amenant
les différents acteurs concernés par ces enjeux à y contribuer directement, qu’ils soient issus
des mondes de la recherche en cognition, des arts, ou bien tournés vers une applicabilité
directe comme dans le monde industriel.
C’est par l’exploration de leurs différentes perspectives mais aussi par une mise en évidence
des tensions qui les distinguent que cette recherche en design d’interaction peut apparaître
innovante et unique (Fallman, 2008).
La construction de savoir en recherche sur l’interaction peut prendre de nombreuses formes,
et dans notre cas verra émerger des contributions issues de processus expérimentaux, mais
aussi des nouveaux outils méthodologiques et le développement d’expériences esthétiques
et interactives. L’ensemble de ces objets permettront in fine de raffiner notre problématique
et d’en développer des conclusions à destination des designers.
L’affirmation de cet ancrage transdisciplinaire et de cette recherche par la pratique en design
d’interactions sera donc résolument déterminante quant aux résultats proposés en fin de
ce manuscrit.
14 L’ENSAD, la Fémis, le CNSAD, le CNSMDP, les Beaux-Arts de Paris et l’ENS
15 Convention Industrielle de Formation par la Recherche
Geste
improvisé
et interfaces
naturelles
Vers de nouveaux fondamentaux
pour le design d’expériences optimales
en médiations immersives
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
56
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
2.1 • Regrouper différents cadres de recherche
2.1.1 • Les différents langages de l’interaction
Face à l’évidence explicitée précédemment du manque d’outils pour penser le design
plastique et adaptatif, et cherchant à développer notre objet d’étude à travers le prisme
commun du design d’expérience et de la phénoménologie de l’improvisation, il nous est
nécessaire d’identifier dans un premier temps un champ lexical commun.
La courte phase exploratoire qui suit constitue une première immersion autour de la question
du sens commun en langage naturel, en l’abordant d’une part à travers le vocabulaire
sensible du langage corporel et d’autres à travers celui de l’interaction humain/machine.
Nous mettons à profit ici la richesse des écosystèmes encadrant cette thèse pour inclure des
experts de ces différentes pratiques dans la réflexion.
À travers une série d’interviews, j’invite des professionnels de l’improvisation à exprimer ce
qui va être décisif chez eux dans la construction d’une improvisation partagée.
Qu’ils soient danseurs, chorégraphes, chercheurs ou professeurs de danse, les participants
nous y livrent un rapport intime au corps, à la rencontre et à l’échange relationnel, mais aussi
aux inspirations, aux sensations, à l’engagement, au temps et à l’espace.
Mon but est ici pluriel, je veux confronter mon intuition initiale et ma propre pratique
de l’improvisation avec les approches très personnelles et sensibles de ces différentes
personnes, pour élargir au maximum le regard porté sur cette pratique. Enfin j’essaie d’y
isoler quelques motifs récurrents pour les confronter ensuite avec le monde du design
d’interface numérique.
À travers cette fois un processus d’atelier d’idéation, nous abordons en compagnie des
experts de l’agence EMOTIC la question de la construction de sens dans l’interaction humain/
machine. Nous y usons pour cela du terme d’interface adaptative pour définir l’ensemble
des fonctionnalités qui peuvent proposer une réponse sensorielle à une information captée
par le système numérique.
Cet atelier s’inscrit dans un processus plus global qui vise à inclure l’ensemble des
collaborateurs d’EMOTIC dans une démarche de recherche, qu’elle soit personnelle ou
appliquée. Cette démarche me donne à la fois l’occasion de faire transiter des questions de
recherche en design au sein de l’agence tout en jaugeant l’écho qu’elles trouvent auprès d’elle.
Plus qu’une recherche approfondie, nous abordons ensemble cette question complexe de
l’adaptativité à travers plusieurs exercices créatifs, et en isolons quelques principes centraux,
de nombreuses intrigues ainsi que quelques scepticismes.
Nous verrons en fin de chapitre comment ces deux environnements trouvent par leur
rencontre des éléments communs, unifiant danse et design numérique d’une manière
singulière.
2.1.2 • Construire du sens en improvisation
Les quelques échanges et dialogues dont je rends compte ici, ont été menés durant les
premiers mois de cette recherche avec des spécialistes de l’improvisation dansée, qu’ils
soient issus de mon réseau proche ou du large écosystème du laboratoire SACRe.
57
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
En complément des écrits sur l’improvisation présentés précédemment, cette partie se
destine à identifier un certain nombre de mécaniques singulières propres à l’engagement
créatif. Lors de chaque rencontre, j’essaie dans un premier temps d’amener l’interviewé à
aborder la question de la danse sous un angle général, puis à détailler progressivement
l’expérience selon ses propres mots et sensations.
Cette approche s’inspire des sciences sociales et de l’approche phénoménologique, et
j’estime qu’elle peut amener un point de vue intéressant, différent de l’approche théorique
cognitive précédente.
Au total, sept interviews semi-structurées ont été menées avec deux hommes et cinq
femmes, d’âge moyen de 36 ans (σ = 10.07), provenant de milieux socio-culturels divers,
originaires d’Amérique du Sud et d’Europe occidentale, et ayant pour certains travaillé
l’improvisation dans le monde entier.
La grande majorité d’entre eux consacre aujourd’hui leur vie à la danse et l’improvisation,
que ce soit en tant que professeur, ou que danseur indépendant, et ce depuis plusieurs
années.
Ces interviews se sont déroulées en personne ou au téléphone, dans divers lieux à Nantes et
à Paris, et duraient généralement entre 45 minutes et 1 heure 30.
L’ensemble des citations qui en sont tirées peuvent être retrouvées en Annexe II de ce
manuscrit, j’en propose ici une sélection ayant trait spécifiquement à la construction de
sens dans l’improvisation partagée.
La mise en mouvement
Dans une première phase, je questionne généralement les participants sur les éléments qui
vont les mettre en mouvement et initier l’acte de danse, qu’ils soient seuls ou non. Les idées
primordiales qui semblent en ressortir sont celles de la disponibilité et de l’instantanéité.
S’engager dans la danse sans entrave et de manière immédiate apparaît comme un pré-
requis fondamental.
« J’improvise parfois sans l’avoir décidé à l’avance, toute seule chez moi »
« Je danse seule parfois pour relâcher la pression »
« Une musique passe, ça m’inspire et me met en mouvement »
« J’ai besoin d’un point de départ, ça peut être une émotion, de l’excitation, une
envie d’extérioriser, d’évacuer »
« Je pars d’une image fixe, qui passe, de la matière du béton, de tout l’environnement »
« J’aime travailler dans les bois, avec des cours d’eau »
« Je note ce qu’il se passe autour, je peux m’en servir mais tout vient de l’intérieur. »
Nous voyons déjà que cette intention peut provenir de sensations internes, ou d’un élément
perçu de l’environnement, qu’il soit visuel, auditif, imaginaire.
58
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Les participants expriment généralement leur besoin de conditionnement, comme une
sorte de préparation mentale permettant l’écoute de soi et de l’extérieur.
« La plus grande chose qu’on puisse se donner pour improviser c’est le silence
intérieur et l’écoute, faire le vide »
« Pour ça on a besoin de lâcher prise, mettre la tête de côté pour s’abandonner à soi-
même, certains réussissent d’autres pas »
« L’espace de la danse doit permettre d’enlever ce personnage social, ces relations de
pouvoir »
« La relation de danse c’est le projet qu’il n’y ait rien d’autre »
Pour cela, pas besoin de conditions précises ou d’informations complexes, le dénuement
semble au contraire plus à même d’engager dans une activité d’improvisation :
« Plus le matériau est simple plus ça garde mon attention »
« Un mouvement très simple peut se transformer en un monde, partir de quelque
chose que les gens connaissent très bien »
« On pourra trouver un infini à partir de conditions initiales minimalistes »
Le tout est de laisser l’activité se déployer par elle-même.
« Il faut se laisser partir à la dérive, se mettre dans une posture dans laquelle on est à
l’aise, et voir quel mouvement naturel se met en place, qu’est-ce qui va se déployer »
« C’est comme la musique, deux notes en appellent une 3e ou un rythme. Il faut être
à l’écoute de cet appel »
« On doit oser aller là où on ne contrôle plus, c’est ton corps qui danse et non ta tête,
il faut laisser s’impliquer le mouvement intuitif »
Une dérive conjointe
La relation avec l’autre permettra d’apporter un niveau de complexité supplémentaire, ce qui
va rendre l’activité plus curieuse, challengeante, et permettra de se surprendre soi-même
plus facilement.
« Quand tu es avec d’autres, l’environnement change tout le temps, l’imprévu est
plus présent »
« Je vais chercher à mettre la personne en confiance, on peut dans un premier temps
interagir en miroir […] Si je la connais je vais être plus rentre-dedans »
59
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
« La confiance qu’il me porte se voit au regard, dans les appuis, l’ancrage, la vitesse »
« Quand vous faites de l’impro vous êtes un DJ, vous bougez les curseurs […] On peut
trouver un équilibre dans le contrepoids entre les paramètres de l’un et de l’autre »
« La poésie vient du décalage progressif du geste […] Tu peux proposer un geste
qui a un reflet particulier pour toi et l’autre s’en empare en modifiant un paramètre,
il se crée une poésie »
La relation va favoriser le maintien de l’engagement dans l’activité grâce à la mise en place
de cette dérive conjointe et à la co-construction d’une histoire spécifique.
Une fois la rencontre établie, l’histoire va se raconter par la rencontre des gestes, par les
décisions de l’un ou de l’autre de s’en emparer et de les réutiliser à sa manière. Les participants
ne devront pas chercher à s’accorder plus que nécessaire, au risque d’appauvrir la relation.
« Mon approche est de dire « laisser la rencontre se faire ». Peut-être qu’il n’y
aura jamais de rencontre mais ce sera peut-être aussi tellement beau de voir une
magnifique relation »
« Je n’ai pas à jouer à chercher du lien là où il n’y en a pas. Plus je retarde ce moment
là, plus ce qu’il va se passer sera riche. Plus ce sera une source de tension et de
suspense. »
« L’improvisation c’est aussi le choix de réagir ou non à quelque chose qui arrive »
« Trouver un accord c’est souvent affaiblir la relation. Le point d’accord va être
une décision mentale, dictée par une idée de ce que doit être la rencontre, alors qu’en
jouant sur d’infinis désaccords, de dissonances, de contrastes, alors elle sera
mouvante et mobile. »
Tout le plaisir de l’improvisation vient donc selon nos sujets de cette observation de l’influence
que nos gestes ont sur l’expérience partagée, de voir comment ils nous reviennent, modifiés,
altérés, et de comment ce changement progressif nous surprend et nous amène à innover.
La construction de sens dans l’improvisation dansée n’apparaît donc pas comme une affaire
d’images et symboles explicites, car chacun viendra construire les bases de l’échange dans
son propre registre poétique. La poésie qui se crée, et le souhait de s’engager de manière
créative dans l’interaction est davantage impliqué par la satisfaction de voir évoluer cette
forme commune, faite de dynamiques, de jeux d’espace, où chacun s’y retrouve et influence
son évolution. Le sens perçu semble donc propre à chacun, mais l’acte d’improvisation
semble mettre en mouvement grâce à la poursuite de ce déséquilibre permanent.
60
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
2.1.3 • Un atelier de design ancré pour penser l’adaptativité
humain/machine
Programme d’idéation Emosearch
Cette seconde phase de recherche se déroule dans le contexte industriel qui m’accueille.
Rejoignant EMOTIC en 2019, la direction de l’agence et moi-même discutons à de multiples
reprises de la meilleure manière d’intégrer la R&D (recherche et développement) dans son
activité quotidienne.
Pourvu d’une grande liberté d’action et de suggestion, j’y réalise dans un premier temps
une série de présentations spécialisées destinées à sensibiliser les collaborateurs à des
sujets indirectement liés à leurs métiers (entre autres les sujets ayant trait à l’immersion, les
interfaces naturelles, le machine learning).
Nous convenons qu’un format collaboratif et inclusif est nécessaire, pour que ces derniers
s’emparent littéralement de ces questions et s’inscrivent eux-mêmes dans l’activité de
recherche intrapreneuriale.
Un programme d’innovation nommé Emosearch voit le jour quelques mois après mon
arrivée et se poursuivra jusqu’à mon départ. Développé pour l’occasion, ce programme
intègre théorie et pratique, centrées sur les divers sujets gravitant autour de cette thèse.
L’idée est d’infuser auprès des collaborateurs des questions ayant trait à l’innovation, en leur
permettant, via toutes sortes d’outils de créativité, de développer ces curiosités de manière
personnelle et ludique.
Ces ateliers ont également pour but de constituer des synergies innovantes et inédites entre
eux, de sortir des sentiers battus et de se donner un cadre commun de réflexion en vue de
développer idéalement de nouveaux savoir-faire.
Ces ateliers reposent sur quelques règles simples :
- Tous les collaborateurs peuvent participer à ces ateliers, sur une base participative et non
obligatoire. Tous les postes et toutes les spécialités sont les bienvenus, ma présence et celle
d’un spécialiste de design thinking sont néanmoins requises pour cadrer le temps alloué.
- Des restitutions doivent être faites en fin de chaque atelier, pour faire profiter à l’ensemble
des membres d’EMOTIC des résultats obtenus. Le format de ces restitutions est libre et
déterminé au cours de l’atelier, en fonction des avancées et des possibilités envisagées par
le groupe.
- Les sujets proposés peuvent être à l’initiative de tous, puis, faisant l’objet d’un vote, ceux
ayant le plus de succès sont retenus.
- Le temps mis en place pour mener à bien l’atelier est de quatre fois deux heures, réparties
sur le temps de travail.
Les sujets retenus concerneront finalement l’internet des objets, l’art numérique interactif,
la cognition de l’engagement, le machine learning et les expériences adaptatives. Le retour
d’expérience qui suit est le résultat d’une de ces sessions créatives qui a eu lieu en juillet 2019,
centrée sur cette dernière thématique.
63
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
L’exercice nous conduit finalement à centrer notre réflexion sur le sens olfactif, qui est alors
un sujet stratégique chez EMOTIC. Nous explorons donc les contours de ce que pourrait être
un assistant personnalisé opérant uniquement sur le langage des odeurs et des parfums.
Des utilisations à des fins de confort ou pour favoriser l’attention sont discutées, ainsi que
des expériences pouvant augmenter la qualité d’une communication ou d’autres activités
du quotidien (Fig. 34).
Fig. 33 • Liste de fonctionnalités pouvant cibler les 5 sens
64
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
La restitution proposée en fin d’atelier fut celle d’un scénario illustré, présentant plusieurs
étapes d’une journée, dans lesquelles un assistant olfactif offre une adaptation contextuelle
aux différents types d’activités rencontrées, et une valeur ajoutée à certains moments vécus
(Fig. 35).
Fig. 34 • Différentes fonctionnalités olfactives, qu’elles soient destinées
à des expériences solitaires ou sociales
66
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
En conclusion de cet atelier, nous avons pu éclaircir la complexité de cette question de
l’adaptation, préconisant davantage des études au cas par cas, et le développement
pour cela d’outils propices. Certains besoins se font sentir, comme le fait de pouvoir itérer
rapidement parmi ces possibles, les hiérarchiser et en évaluer correctement l’impact sur la
qualité d’expérience.
2.1.4 • Une base de grammaire commune
Cette courte exploration constitue une première confrontation entre les problématiques de
cette étude et mon terrain de recherche.
Sans prétendre constituer de réelles contributions, elles participent néanmoins à la
contextualisation de mes questions à d’autres enjeux et sensibilités. La démarche ancrée
et les témoignages d’experts de ces différents domaines m’amènent ainsi à comprendre
comment mes différents écosystèmes se distinguent et comment ils peuvent également
se rejoindre.
Si l’aspect esthétique et créatif de la danse improvisée se heurte au pragmatisme structurel
du monde industriel, ces deux mondes fonctionnant à travers des langages et des règles très
différents, je tâche néanmoins de m’imprégner le plus possible de leurs énergies respectives.
Ces deux univers abordent en effet chacun les questions de l’engagement et de la
construction de sens à leur manière, et je peux en regrouper les idées communes ainsi.
L’engagement
L’engagement dans une activité se joue dans ce qui fait du sens pour nous, que ce soit
l’atteinte d’objectifs personnels, l’adaptation pertinente d’un challenge, d’une expérience
esthétique ou créative.
Il est soutenu par un contexte facilitant, permettant une prise en main immédiate de l’objet
d’interaction, améliorant les conditions de confort d’utilisation, ou par l’ajout de stimulations
sensorielles influant l’action, que celles-ci soient conscientes ou non.
L’individu doit y trouver toute la place de s’exprimer et de s’approprier l’expérience. L’atteinte
d’états de conscience modifiée, rendue possible par l’expérience sociale, peut conférer un
statut autotélique à l’activité. La présence de l’autre, qu’il soit de chair ou bien numérique,
nourrit l’imprévu et favorise la dérive, en adaptant et en réutilisant à sa façon les éléments
de notre propre expressivité. À ces conditions, l’expérience apparaîtra unique et nouvelle à
chaque fois.
Le sens
Le sens perçu est profondément dépendant du contexte d’utilisation et de la personnalité
de l’utilisateur, autrement dit du monde duquel il émerge. Il ne sera ainsi pas le même d’une
personne à l’autre.
Le sens peut provenir des stimulations de différents canaux sensoriels, qu’ils soient uniques
ou sollicités de manière simultanée. Là encore, chacun a sa propre sensibilité et peut ainsi
interpréter un message différemment. On ne peut systématiser la manière dont sera perçu
un message, à moins que celui-ci soit explicite ou que nous ayons une parfaite connaissance
des tendances d’un individu.
Il apparaîtrait ainsi intéressant de faire coïncider le degré d’abstraction d’un message avec la
liberté d’interprétation laissé au sujet. Plus l’attention et l’action doivent être guidées, plus
67
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
le message doit être clair. À l’inverse, lorsque l’on veut laisser l’individu libre et créatif, il est
préférable de laisser le sens se construire d’une manière personnelle.
Ces deux idées invitent donc à questionner davantage et sous un angle pratique la
personnalisation des interfaces et des expériences, en tentant de comprendre quelles
variables sont déterminantes dans la prise de décision, pour comprendre comment les
intégrer dans nos équations, ou bien pour les rendre moins opérantes.
Dans les parties suivantes nous proposons d’explorer l’idée d’adaptation du langage interactif
de deux manières différentes : à t r a ve r s d ’ u n e p a r t l e d é ve l o p p e me n t d ’ o u ti l s p our faciliter la
conception d’interfaces adaptatives multimodales, et de l’autre l’étude du projet Articulations,
qui se focalise sur l’émergence de stratégies de collaboration en réalité virtuelle partagée.
2.2 • Des outils pour penser le langage adaptatif
Au cours de l’atelier Emosearch et durant la première partie de ce manuscrit, nous avons
constaté la difficulté qu’il y avait à concevoir un langage naturel et adaptatif. Quelles données
recueillir, comment les interpréter, quelles réponses y apporter, et quels intérêts réels pour
l’amélioration de l’expérience utilisateur ?
Nous y avons vu que la réaction d’une interface à des informations complexes et contextuelles
est supposée améliorer l’effet de présence, la sensation d’altérité et ainsi favoriser l’aspect
naturel de ses comportements, mais qu’en même temps cette question implique d’avoir
une lecture claire du contexte et des individus impliqués dans l’expérience.
Nous rendons compte dans cette seconde partie expérimentale d’une série de travaux pour
favoriser la réflexion autour de l’adaptativité dans les interfaces, et permettre de l’appliquer
directement dans des contextes industriels. L’essentiel de ce travail se déroule chez EMOTIC
et au sein de son écosystème direct.
2.2.1 • Une première méthode de conception en contexte industriel
Suite à une rencontre avec l’un des directeurs de l’IRISLab, le laboratoire d’innovation de
l’entreprise Système U, je suis invité le 19 septembre 2019 à faire une présentation de mes
travaux de recherche dans leurs locaux à Carquefou.
Système U est un géant mondial du retail, et l’IRISLab en est une cellule interne, destinée
à faire évoluer les pratiques et mentalités de ses collaborateurs, à travers des sessions de
sensibilisation, des présentations thématiques, ou des ateliers de créativité.
Afin de rendre cette intervention à la fois substantielle sur un plan théorique, et d’amener en
même temps les participants à intégrer pour eux-mêmes les questions que j’y porte, nous
réfléchissons chez EMOTIC au format le plus approprié pour un tel contexte.
Aidé par Maxime Boënnec, Business Developper au sein de l’agence, nous entreprenons
alors le développement d’un atelier conçu spécialement pour cette rencontre.
La première phase de la présentation est pensée pour durer une heure et consiste en une
sensibilisation générale sur la question de l’adaptativité et ses liens avec les nouvelles
tendances dans l’UX. J’y présente nos métiers et méthodes de design d’expérience, et
montre en quoi les interfaces naturelles sont sources de nouveaux enjeux pour les designers
comme pour les utilisateurs finaux.
68
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
La phase pratique est prévue quant à elle pour durer une heure et demie, et est dédiée à
l’application des notions théoriques vues dans la première partie à des sujets concrets.
Nous y envisageons deux types d’applications :
- Développer l’aspect innovant d’un produit existant en y ajoutant une surcouche
d’adaptativité, afin d’améliorer sa plasticité et l’expérience utilisateur générale.
- Observer les potentiels interactifs dans une situation donnée et concevoir une expérience
totalement nouvelle. L’outil sert ici de catalyseur de créativité.
Dans cette phase pratique, quatre exercices sont proposés :
I • Identifier les paramètres variants de l’expérience.
II • Lister parmi ces paramètres les données pouvant être accessibles par le système
numérique, en tenant compte de l’utilisabilité, l’invasivité et le respect des utilisateurs.
III • Formuler une réponse adaptative pour ces différentes données, en se focalisant sur les
différents attributs d’une expérience numérique.
IV • Synthétiser le tout en un scénario permettant de restituer les idées abordées au reste
du groupe.
Chaque étape est conçue pour durer vingt minutes, pour une durée totale d’une heure et
demie en comptant la restitution finale.
Déroulement de l’atelier
Les participants sont répartis en petits groupes auxquels il est donné du papier blanc, des
marqueurs et des post-it.
• Étape I - Identification des variants
Fig. 36 • Le tableau listant les paramètres changeants de l’expérience
69
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Dans cette première étape, nous cherchons à identifier l’ensemble des variables qui vont
évoluer au cours de l’expérience interactive. Les participants sont invités à faire un simple
tableau comme sur la Fig. 36, et à disposer des post-it contenant le mot de la variable
identifiée.
Les post-it sont séparés en trois catégories, correspondant aux différentes composantes de
l’UX : l’utilisateur, le contexte d’utilisation et l’aspect technologique.
On cherche à lister ici ces variables d’une manière indépendante, sans penser à leur
utilisation finale. Il est envisageable de lister facilement une trentaine d’éléments dans le
temps imparti.
• Étape II - Identification des données d’entrées
Dans cette seconde partie nous cherchons à traduire la liste des éléments présentés à l’étape
I en données quantifiables et accessibles. En concevant le caractère envisagé du produit
final, nous pouvons sélectionner celles qui semblent le plus à même de trouver un intérêt
dans ce cas précis.
Cette partie permet d’opérer un premier filtrage sur le type de données dont nous souhaitons
alimenter le système numérique. Ce filtrage peut se faire en fonction des contraintes
techniques rencontrées, des frontières éthiques, légales et morales qui encadrent l’usage du
produit, ou par simple souci de maintien de l’intelligibilité du langage interactif.
Les données restantes sont ensuite listées en un ensemble de nouvelles catégories,
cherchant à les différencier selon leurs impacts potentiels sur l’expérience. Ces catégories
peuvent être adaptées selon le type d’expérience envisagé16.
16 Le fait de parler en étape I de « variables », et en étape II de « données » permet de ne pas biaiser la réflexion en
réfléchissant directement aux finalités et fonctionnalités. Le rapport numérique n’est ainsi abordé que dans la seconde
étape, permettant de penser l’idéation comme progressive et globale.
Fig. 37 • On traduit les paramètres variants en données quantifiables et accessibles
70
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
• Étape III - Réponse adaptative
Cette troisième partie consiste à imaginer une réponse adaptative pour chacune des données
identifiées à l’étape II et à les classer selon le type de critère concerné.
On peut ici rappeler les critères d’un produit numérique d’Hassenzahl, et donner des exemples
d’adaptations concernant les choix de contenus, de présentation, de fonctionnalités, ou
d’interactions du produit. À partir de ces données d’entrée et ces réponses adaptatives, il
est possible d’imaginer à présent les contours de notre expérience.
Fig. 38 • On liste ici les adaptations finales de notre expérience
71
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
• Étape IV - Sélection des fonctionnalités et formalisation de l’expérience
Dans cette quatrième et dernière étape, il va être proposé de sélectionner les réponses
adaptatives les plus pertinentes et d’en formaliser finalement le déroulement de l’expérience
globale.
Cette sélection peut être réalisée via un processus d’estimation de l’intérêt de la fonctionnalité
sur l’expérience utilisateur mis en perspective à celle du coût de développement.
De l’ensemble de fonctionnalités isolées ici, on peut finalement constituer notre parcours
utilisateur type et déterminer les contours de notre produit final. Cette partie est celle qui
génère finalement le plus de discussions. Un dessin peut être réalisé afin de résumer les
choix pris au cours de l’atelier et les présenter aux autres groupes17.
17 Lorsque cela est possible, une étape supplémentaire à l’atelier peut être envisagée. Celle-ci consiste en un prototypage
rapide des différentes fonctionnalités afin d’en éprouver la pertinence via l’expérience directe. Cette étape est idéale mais
nécessite un temps pouvant s’avérer important selon les natures de l’expérience et des fonctionnalités envisagées.
Fig. 39 • Un dessin type présentant différentes étapes d’une expérience interactive
73
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Un premier groupe propose une solution sur mobile pour guider des clients dans un magasin
(Fig. 41). La solution calcule l’itinéraire le plus rapide en fonction d’une liste de courses
donnée tout en prenant compte de la vitesse de déplacement, la fréquentation et la position
des autres clients dans le magasin.
Fig. 41 • Restitution du concept du 1er groupe
75
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Un premier mode va à l’essentiel, plus succinct et basé sur les expériences passées. Un
autre mode plus exploratoire permet de voir des produits différents en fonction du jour de
la semaine, du mois de l’année et de variables éventuellement pré remplies (une recette de
cuisine spécifique par exemple).
2.2.3 • Retours et analyse de l’atelier
À la demande des participants, un tableau d’exemples des données accessibles a été affiché
durant la phase II de l’idéation. Ce tableau n’était pas destiné à aider à la réflexion mais il
s’est finalement avéré utile, plusieurs participants ayant du mal à identifier les possibles
bases pour penser l’adaptation.
À l’issue de l’atelier un questionnaire a été envoyé aux participants pour recevoir leurs avis
par rapport à l’atelier. Six personnes sur les huit ont répondu, seules les réponses qui nous
intéressent ici sont rapportées (Table 1).
Table 1 - Les notes et résultats donnés par les participants à l’issue de l’atelier
àeaueu
aLlit
eeetp
lteiea
il
tetep
nlea
àead
lteieail
tetep
nttet
Lae’lltled
lteieail
tetep
neat
LaeLetd
i uilttt
ltltetLla
aaàeap
ta uilt
eeal
itltp
lé
Lee ette ette ette l
aLae attette ette attette eeLatee
LlaaeeaLate
lreatLla
Laaàl
à-lal
tLae’ll
Let
tta-
leel
lé
Lee attette ette attette eaLatea
t l
lé
Lee attette at
tette at
tette l
aLae ette ltette attette La durée était nalement
tt laeéLlaae
Laiallaéi
ltLae’ltla
lLaeàLLe
latLe-
leel
aLae attette ltette attette aLtaea
tletelato
t
l
76
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Tout en reconnaissant la complexité de la mise en pratique, notée peu satisfaisante par
deux personnes, il est intéressant de constater l’enthousiasme rencontré par les différents
participants lors de cet atelier.
L’aspect exploratoire du sujet a pu certainement apparaître séduisant, d’autant plus que la
plupart des participants n’étaient pas habitués à manipuler de tels outils d’idéation. Des
commentaires invitent à repenser le format de l’atelier, en proposant un accompagnement
plus soutenu ou en rallongeant sa durée. Notre objectif étant ici dédié à une première
sensibilisation, le format semble tout de même approprié.
Le but de cet atelier était donc de tester une première version de cette méthode et de tester
la pertinence des questions soulevées dans ce projet de thèse dans un environnement
industriel, pour le coup très porté sur l’applicabilité des sujets abordés.
De ce point de vue les réponses sont très confortantes et plaident pour une pertinence de
l’outil développé pour s’emparer du sujet et favoriser l’idéation.
2.2.4 • Deuxième application de la méthode chez EMOTIC
Suite à cette première expérience encourageante chez Système U, nous discutons chez
EMOTIC d’une éventuelle industrialisation de la méthode d’idéation, afin de la rajouter à
l’ensemble des services proposés par l’agence à ses clients.
Nous décidons de tester ensemble cette fois la méthode, en l’appliquant à nos propres
produits. Quatre participants d’EMOTIC se joignent ainsi à moi pour ce second essai :
- Quentin, notre lead UX, designer et spécialiste de l’animation d’ateliers de design thinking.
- Jean-Charles, directeur conseil en offre phygitale et immobilière.
- Olivier, notre directeur technique.
- Moi-même, jonglant entre l’animation de l’atelier, la présentation des concepts et exercices,
et m’incluant dans les phases de créativité.
L’atelier se déroule en deux phases distinctes de 2h et 30 min, et prend comme support
différentes expériences numériques existantes chez EMOTIC. Certaines sont en cours
de développement, d’autres sont achevées mais néanmoins retenues pour l’exercice, et
d’autres encore sont encore au stade de prototypes.
Chacun en choisit deux en début d’atelier, selon ses préférences et intérêts, avant de se
lancer dans les différents exercices (Fig. 44).
Le format choisi pour l’atelier est le même qu’à Système U, à l’exception de la phase IV de
dessin qui est retirée.
Au cours des deux heures, trois expériences sont sélectionnées par les 4 participants, et 32
fonctionnalités sont listées.
Au cours d’une seconde entrevue, nous listons toutes les fonctionnalités proposées au
cours de la première session. Dans le but de les évaluer, nous proposons deux notes pour
chacune, allant de 1 à 5. La première note estime la valeur ajoutée en terme d’expérience
utilisateur (1 étant un intérêt très faible, et 5 une valeur ajoutée très forte), et la seconde le
coût de développement, estimé de 1 à 5 également (1 étant un coût très faible, et 5 un coût
très élevé)
77
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Il ressort que la liste des fonctionnalités proposée a été notée en moyenne à 3.5/5 (écart-
type de 0.67) tandis que la moyenne du coût a été notée 2.63/5 (écart-type 0.93).
Les fonctionnalités imaginées lors de l’exercice apparaissent ainsi comme majoritairement
intéressantes pour un coût de développement jugé peu important.
Fig. 44 • Quentin, Jean-Charles et Olivier participant à l’atelier
78
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
2.2.5 • Retours et analyse du second atelier
À l’issue de l’atelier nous avons engagé une discussion critique sur la pertinence de l’outil,
que j’ai pu enregistrer et dont voici quelques citations :
Jean-Charles :
« Je ne connaissais pas l’idée du design adaptatif avant tes présentations
et je trouve ça très intéressant »
« Je fixerais mieux le cadre, l’objectif et la finalité. »
Olivier :
« Je n’ai pas compris le premier exercice des variants, j’ai fait le 2e, mais je pense
qu’on est arrivé à ce qu’on voulait. »
« Le reste c’est très bien, on arrive au résultat escompté »
« L’outil nous a fait repenser à des choses qu’on avait oubliées pour certains projets »
Quentin :
« 2h c’est pas assez pour aller en profondeur sur toutes les associations possibles »
« Le tableau d’exemple a beaucoup aidé »
« Peut-être trouver un jeu de cartes avec des in et out, et on trie de manière itérative
pour faire des associations aléatoires. »
« Quand je réfléchis aux inputs, je pense directement aux outputs (Jean-Charles
confirme) »
« C’est un bon outil pour penser à des fonctionnalités, ça change de penser par les
inputs »
Par ailleurs, les mêmes problèmes semblent avoir été observés que lors de l’atelier chez
Système U :
- Concernant la structure des ateliers menés, les phases I et II ne sont pas perçues comme
suffisamment différentes. Les participants ne comprennent pas comment opérer cette
nuance entre la première phase qui consiste à identifier les variants généraux, et la seconde
qui se concentre sur les données accessibles par le système. Ce problème est peut-être dû à
un manque d’explications, ou au fait que les participants ont en tête la finalité appliquée de
l’atelier. Peut-être qu’un nom différent donné aux exercices permettrait de mieux saisir ces
nuances, ou bien est-il nécessaire de trouver une alternative groupée à ces deux exercices.
Le tableau d’exemples des données quantifiables s’est avéré dans les deux cas d’une grande
aide pour les participants. Identifier de telles données est peut-être plus évident pour un
public d’experts que pour des personnes non sensibilisées aux thématiques d’IoT. Peut-être
79
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
conviendrait-il de distribuer un exemple de données accessibles au début de l’exercice, au
risque de biaiser le raisonnement et la créativité.
- Dans chacun des deux ateliers, nous avons listé un certain nombre de fonctionnalités pour
des expériences existantes ou bien conçues à partir de 0.
De manière générale, les fonctionnalités les mieux perçues concernent des expériences pouvant
bénéficier d’une forme d’agentivité, différenciant ainsi l’interface-outil de l’interface-partenaire.
Certaines adaptations apparaissent centrales et décisives à la bonne complétion d’une
tâche, d’autres sont davantage propres à l’amélioration du confort et de l’engagement créatif.
On peut supposer que dans des expériences de type ACT, la pertinence des adaptations
pragmatiques sera primordiale, tandis que pour des expériences de type SELF, la qualité
d’expérience sera conditionnée à la justesse des adaptations hédoniques (voir 1-3-2).
Si un certain nombre de ces fonctionnalités peuvent apparaître cosmétiques et non-
indispensables, d’autres en revanche ont été évaluées comme pouvant grandement augmenter
la qualité d’expérience et ce, pour un coût de développement réduit. Le fait d’avoir pu les
imaginer ainsi en un temps réduit plaide donc pour la pertinence des outils développés.
Globalement les retours formulés au cours de ces deux ateliers sont positifs, la méthode
d’idéation semble stimulante pour accompagner l’innovation et générer de nouvelles idées
en un temps limité.
Le format n’est en revanche pas jugé optimal et pourrait être revu. Différencier davantage les
exercices ou en les regroupant sous un nom différent, et repenser également le rôle actif de
l’encadrant de l’atelier pourrait s’avérer pertinent.
La sensation générale en fin d’atelier est d’avoir accumulé beaucoup de matière pour un
petit nombre de bonnes idées. Un atelier de 2h semble adapté pour une sensibilisation
au sujet, mais pour être répété il mériterait à être étendu à un format plus long (4h+ pour
laisser davantage le temps aux associations de se faire), ou bien plus court (30 min aidé
d’exemples, amenant à une génération rapide et dynamique d’idées).
Cette dernière observation m’amène à entreprendre le développement d’une version
différente de cet outil d’idéation, et dont je vais parler à présent.
2.2.6 • Un second outil ludique
Sur les suggestions de Quentin LeRoux, lead UX chez EMOTIC, et secondé pour la conception
graphique de Juliette Lima, designeuse UI/X, nous avons décidé de plancher sur une version
plus légère et rapide de l’exercice, tout en cherchant à parvenir à des résultats similaires.
Librement inspirée des méthodes d’idéation de l’agence IDEO, cette version alternative de
notre outil d’idéation se destine à un format d’atelier où il n’est pas prévu de sensibilisation
préliminaire et où on souhaite se concentrer directement sur la dernière phase de conception
des fonctionnalités.
Le but est ici de lister un grand nombre d’exemples en pensant davantage en terme de
relationnalités18 entre les trois composantes de l’UX. Dans les faits, l’action consiste à tirer
aléatoirement des associations inédites afin d’innover de manière impulsive et rapide,
conduisant à la définition de multiples adaptations possibles de l’interface
18 Ce terme désigne ici les liens de cause à effet pouvant être imaginés, associant des événements survenant au cours de
l’expérience à des réactions du système numérique.
83
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Nous proposons de rappeler ici les quelques questions d’Ebert et al. (2013) abordées dans
notre état de l’art, afin de faciliter la sélection et la calibration de ces différentes fonctionnalités
lors d’utilisations ultérieures de ces outils d’idéation :
- Les adaptations sont-elles appropriées et aident-elles au déroulement de l’expérience ?
- Interviennent-elles à des moments opportuns ?
- Sont-elles proposées avec parcimonie ? - Une trop grande quantité d’adaptation peut en
effet lasser l’utilisateur et l’amener à les ignorer ou les éviter.
- Sont-elles transparentes ? L’utilisateur comprend-il leur provenance ?
Si l’aspect naturel du langage interactif ne semble donc pas pouvoir être systématisé,
développer la multimodalité apparaît comme susceptible d’améliorer l’engagement et la
qualité générale de l’expérience.
Cette multimodalité implique néanmoins d’identifier préalablement le contexte de
l’expérience, et d’évaluer la pertinence des différentes fonctionnalités imaginées, soit par
l’estimation soit par le prototypage et un test direct.
Les outils développés dans cette section facilitent toute cette approche et, même s’ils
nécessitent d’être encore éprouvés, ils semblent pertinents pour la suite de notre étude.
2.3 • Articulations / Vers une « réalité diminuée »
2.3.1 • Introduction
Dans les parties précédentes, nous avons exploré comment plusieurs boucles action/
perception pouvaient impacter en même temps la qualité de l’expérience utilisateur. Nous
y avons vu que les réponses adaptatives pouvaient agir à différents niveaux sémantiques et
adresser différentes catégories de fonctionnalités.
Si l’aspect multimodale semble toujours une piste à poursuivre, il apparaît également
nécessaire de comprendre en quoi l’adaptativité peut apparaître comme naturelle aux yeux
d’un participant.
Dans cette section nous proposons justement de nous confronter à cette problématique, en
tentant de comprendre les mécanismes déterminants de la coordination entre deux individus.
Nous rendons compte pour cela des différentes phases du projet Articulations, une recherche
transdisciplinaire entre arts et sciences qui étudie la genèse du geste dansé collaboratif à
travers la diminution des corps, rendue possible par l’immersion en réalité virtuelle.
Nous y questionnons la co-construction de sens à partir du simple mouvement, et tentons
d’observer les synergies pouvant avoir lieu entre deux corps privés de leurs outils usuels
de communication.
Profitant de la plasticité naturelle de la cognition humaine, nous y étudions comment les
règles de la communication peuvent être rebattues, et offrir de nouveaux outils pour la mise
en mouvement.
Le numérique y joue ici le jeu d’interface « obstacle », bridant la communication mais
ouvrant au même moment à de nouveaux possibles pour penser, créer et se comprendre.
84
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
2.3.2 • Genèse d’un projet transdisciplinaire
Le projet Articulations naît fin 2018 de la rencontre entre les membres du projet Labodanse/
ICI19 et le groupe Spatial Media20 de l’Ensadlab.
Né au sein du Labex Arts H2H, le Labodanse est un projet qui explore les synergies entre
danse, interactions Homme/machine et neurosciences pour une étude du langage et
des processus créatifs. Spatial Media, groupe de recherche de l’Ensadlab est pour sa part
spécialisé dans l’étude des médiations spatiales, questionnant les enjeux de la co-présence
et de l’empathie en milieu immersif sur la collaboration et la création en art et en design.
Les impacts de la modification de l’apparence corporelle et du rapport au geste intuitif en
immersion sont d’un intérêt primordial pour ces deux entités de recherche.
En réponse à un appel à projet de l’EUR ArTec, Articulations est initialement présenté ainsi :
« Notre projet se propose d’étudier l’articulation entre les dynamiques expérientielles vécues
et les dynamiques d’interactions créatives telles qu’elles se tissent au cours d’improvisations
collectives dansées. Nous souhaitons développer une installation artistique en réalité
virtuelle dans laquelle les participants peuvent interagir entre eux via des représentations
simplifiées de leurs mouvements corporels ».
Plus qu’une simple observation esthétique, le projet vise à développer un outil pour l’analyse
à postériori de ces mêmes dynamiques corporelles, et à recueillir des données qualitatives
permettant de mesurer la qualité de l’expérience vécue et des choix de design.
« Nous désirons, en plus d’analyser de manière quantitative les comportements observés,
recueillir les contours affectifs de leurs expériences vécus en exploitant des ressources
numériques. Nous proposons pour cela une méthode inédite d’interrogation multi-modale
et non-verbale du vécu, dans laquelle les participants qualifient leur expérience à travers des
motifs sensori-moteurs. Nous souhaitons guider ainsi la compréhension des dynamiques
d’interaction créatives et mettre en lumière les dynamiques expérientielles sous-jacentes
aux processus créatifs de groupe ».
Cette rencontre dote le projet d’un horizon résolument transdisciplinaire, incluant
cogniticiens, neuro-scientifiques, danseurs et philosophes dans une recherche commune
autour de ces phénomènes sociaux d’improvisation partagée21.
19 https://labodanse.org/ici/
20 https://spatialmedia.ensadlab.fr/
21 Tout au long de ses trois années, le projet mobilisera une formidable énergie collective, portée entre autres par Asaf
Bachrach, Julien Laroche, François Garnier, Joe Dumit, Dionysios Zamplaras, Clint Lutes, Rémi Sagot-Duvauroux, Alexandre
Coutte, Alexandra Endaltseva, Guofan Xiong et moi-même.
85
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
2.3.3 • Une rencontre entre minimalisme et réalité virtuelle
Le minimalisme pour l’étude des interactions sociales
Articulations se base sur une littérature cognitive et artistique mettant le minimalisme en
son cœur. Chercheurs et artistes ont depuis longtemps exploré la réduction de l’information
comme une manière de révéler l’espace environnant, focaliser l’attention, manipuler la
perception de l’espace, du temps ou du corps.
Heider et Simmel montrent dès 1944 les tendances qu’ont les individus à créer des histoires
de tout ce qu’ils observent, plus particulièrement ici d’attribuer des intentions à des simples
formes en mouvement. Grâce à la vidéo d’animation qui sert de support à leur étude, les
auteurs illustrent ici un biais cognitif devenu référence, qui montre que cette interprétation
des intentions nous est propre et l’œuvre d’une construction inconsciente (Fig. 48).
Cette tendance à minimaliser l’information pour focaliser l’attention a depuis été élargie à
de nombreuses reprises dans des travaux de recherche, en montrant par exemple comment
la perception humaine peut reconnaître des informations complexes comme le mouvement
corporel (Johansson, 1973) les émotions (Dittrich et al. 1996) ou même des relations sociales
(Froese et al., 2014), à travers un ensemble minimaliste.
Fig. 48 • Étude de Heider et Simmel sur les biais cognitifs portés aux formes en mouvement (1944)
86
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Plus récemment, le « cross-perceptual paradigm » proposé par l’équipe de Charles Lenay
dans Auvray et al. (2009) a marqué les esprits en proposant des installations pour l’étude
des mécanismes relationnels, où l’interaction est reconnue comme davantage que la simple
addition des comportements individuels.
À l’aide d’un axe uni-dimensionnel et d’une réponse tactile binaire, les auteurs démontrent
la capacité des individus à différencier une présence humaine d’une présence d’objets
« leurres ». Faisant parcourir à chacun un objet sur le même axe, deux participants n’ont
qu’une vue partielle du paradigme mais peuvent néanmoins se sentir co-présents, car
reconnaissant des réactions de l’autre objet à leur propre mouvement.
Fig. 49 • Étude de la perception du mouvement corporel de Johansson (1973)
Fig. 50 • Illustration schématique de l’installation expérimentale d’Auvray et al. (2009)
90
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
2.3.4 • Co-conception d’un outil d’étude
Forts des différentes influences et références présentées précédemment, nous entreprenons
fin 2019 le développement de notre plateforme expérimentale en préconisant un design
itératif centré sur la collaboration entre experts du mouvement.
Au cours d’un premier workshop regroupant danseurs, cogniticiens et philosophes, nous
proposons une version préliminaire du projet consistant à immerger deux individus au sein
d’un même environnement virtuel épuré. Les deux participants se voient mutuellement
sous la forme de trois sphères blanches correspondant aux points de leur tête et de leurs
mains (Fig. 59).
Quelques variations de conditions visuelles sont également proposées, remplaçant par
exemple la perception des mains par des traînées de couleur, permettant de visualiser la
trace du geste pendant quelques secondes.
Équipés de casques et contrôleurs HTC Vive et développant la plateforme grâce au logiciel
Unity3D, nous pouvons tester et itérer facilement des éléments de design, tenant compte
des points de vue et suggestions de chacun (Fig. 60).
Cette facilité à faire évoluer le système nous permet d’intégrer les différents participants
dans le processus de design, les amenant à expérimenter leurs idées et à nous formuler leurs
retours sur les expériences et sensations éprouvées.
Nous modulons ainsi à travers plusieurs modalités relatives à la perception de soi, de l’autre
ou de l’environnement général, tout en tenant compte de leurs suggestions et envies.
Les couples formés et le temps d’exploration sont libres et à la volonté des danseurs. Nous
décidons simplement de changer parfois les conditions visuelles sans les prévenir.
Fig. 59 • L’environnement visuel d’Articulations où deux participants interagissent
chacun avec les trois sphères en mouvement du partenaire
92
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Les chocs inattendus des corps lors des mouvements rapprochés créent des dissensus. Une
sensation de toucher l’autre ne correspond pas à ce qui est proposé visuellement, ce qui nuit
à l’immersion globale et à l’expressivité gestuelle.
Nous explorons donc la possibilité pour les participants d’évoluer ensemble dans un même
espace virtuel tout en étant séparés dans l’espace physique (Fig. 62).
Nous devenons nos propres sujets d’expérimentation. Nous soumettons nos réflexes à
des stimuli de manière que notre conscience puisse les voir sursauter (Paxton, 1993).
« La danse contact ne permet pas les spectateurs neutres » (Shibolet 2018)
Reprenant à la danse contact ses traditions, chacun passe tour à tour de spectateur à
immersant, afin de pouvoir mesurer ses suggestions à l’angle de ces différents points de
vue. Les moments de discussions après chaque phase de test nous permettent ainsi de
comprendre ce qui se joue, tant pour les corps physiques que pour ces êtres faits de sphères
en mouvement.
Ces moments d’échange sont les étapes clés du design de notre prototype, nous y collectons
un ensemble de pistes pour favoriser l’enrichissement de la relation. Les citations qui suivent
proviennent de notes prises tout au long de deux workshops. Elles sont réorganisées par
catégories, sans distinction parmi leurs auteurs.
Tous avaient une expérience de la danse mais pour la plupart l’expérience de la VR était
nouvelle ce qui peut nous inviter à nuancer leurs propos.
Fig. 62 • Différentes dispositions de l’espace lors des premiers workshop, avec des espaces
physiques partagés (à gauche) ou séparés (à droite)
93
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Certaines citations ciblent la perception de soi et les sensations ou stratégies qui en émergent.
- Mon rapport au poids a changé, les balles paraissaient si légères
- J’ai progressivement perdu la conscience de moi-même
- J’essayais d’imaginer le corps de l’autre, de le modeler afin de pouvoir le visualiser
- Je ne voyais pas une personne mais un objet, une forme, une métaphore
- Nous étions à nouveau des bébés, devant recréer nos stratégies de communication
Lorsque les conditions visuelles changeaient, il était fréquent de voir des changements
radicaux dans les qualités de gestes des participants, une observation confirmée par certains
commentaires.
- Avec les sphères, j’explorais les frontières de l’autre, mais avec les traînées
j’explorais plus mon propre mouvement
- Quand je ne vois pas mes mains mais celles de l’autre on est en miroir, on essaie
d’induire chez l’autre un mouvement. Quand je vois mes sphères et celles de l’autre
on crée davantage des motifs géométriques, on se complète. Quand j’ai des traînées,
on fait de la peinture, l’expérience est plus personnelle et moins dans l’interaction.
- Il y a toujours deux moments avec les traînées, on dessine puis on regarde,
l’expérience n’est pas centrée sur le présent ni sur notre unité (togetherness).
De nombreuses propositions visuelles ont également été formulées. L’apparente facilité de
faire évoluer le design rendait en effet les danseurs enthousiastes et désireux de tester de
nouvelles conditions expérimentales.
- Voir l’autre’ ou la ‘relation’ comme un facteur atmosphérique : on ne voit plus
son mouvement mais la traduction de sa présence/mouvement et de notre relation
par des changements dans le paysage sonore/visuelle (co-présence ressentie)
- Un corps élastique, voir le corps s’étendre, avoir les balles bien plus loin
avec les bras tendus
- Changer de point de vue (voir ce que voit l’autre, se mettre à la place de son torse,
ou à la 3e personne)
- Brancher les battements du corps pour générer des biofeedbacks, pour réduire
le stress ou générer du contenu sémantique.
- Avoir les contrôleurs non pas dans les mains mais à d’autres positions du corps
est très intéressant. Dans les mains, on se met en état figuratif, agentif. Sur le reste
du corps, l’action est moins intentionnelle / volitive.
94
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
De ces différentes expériences a pu émerger un ensemble de principes de design qui a été
central et que nous avons pu formaliser sous le nom de réalité diminuée partagée, je vais
prendre le temps d’en décrire ici les idées centrales.
2.3.5 • La réalité diminuée partagée (SDR)
L’intrigue développée au cours des précédents workshops et l’effet manifeste que la
diminution des corps provoque sur la créativité et l’expressivité nous a conduits à proposer
une conceptualisation plus détaillée de ces différents choix de design et leur impact sur
l’expérience virtuelle générale.
Décrite en détail dans notre article commun Vuarnesson et al. (2021), la Réalité Diminuée
Partagée (SDR pour Shared Diminished Reality) regroupe différents principes facilitant la
coordination par le geste et l’apparition de phénomènes de Flow collectif.
Premièrement elle se focalise sur une minimalisation des contraintes techniques, pour
garantir une forte immersion et faciliter l’émergence de ces stratégies de mouvement
collaboratif. En remplaçant les contrôleurs Vive par des trackers montés sur bracelets, le
mouvement des mains reste libre tout en permettant la collecte et la restitution précises
des mouvements dans l’environnement virtuel. Conscients de la contrainte engendrée par
la présence d’un câble relié aux ordinateurs de rendu, nous y préconisons également l’usage
d’un système sans fil monté sur la tête, permettant ainsi de se déplacer aisément dans
l’espace physique. Enfin et pour éviter les chocs entre les participants, nous les plaçons
dans deux espaces physiques distincts alors même qu’ils partagent un même espace virtuel
(Fig. 62). Ainsi l’un et l’autre peuvent bouger librement, parfois même l’un à travers l’autre,
sans craindre de collisionner avec un segment corporel non vu (ce type de dissensus étant
évidemment néfaste à l’immersion et à l’expression créative).
Une fois libérés de ces contraintes techniques, nous proposons une facilitation de
l’émergence de la coordination par le retrait de tous les signes pouvant influencer le rapport
social. Réduits à un ensemble d’objets minimalistes synchronisés avec leurs mouvements,
les participants ont une expérience corporelle et une présence différentes au monde. Du
fait d’être identiques l’un à l’autre, ils ne sont plus soumis aux stéréotypes véhiculés par
d’éventuelles distinctions de genre, d’âge, de corpulence ou de milieu social. La proximité
visuelle et la simplicité de leurs apparences les amènent donc à construire ensemble toutes
les règles qui vont régir le déploiement de leur interaction créative.
L’ e n v i r o n n e m e n t m i n i m a l i s t e e t l ’ a b s e n c e d e c o n s i g n es assurent finalement aux partenaires
de comprendre rapidement leurs champs d’action. Les avatars en mouvement sont les seuls
objets d’intérêt et, étant exemptés de toute tâche à accomplir, les immersants peuvent se
focaliser pleinement sur l’exploration de leur propre agentivité sur le mouvement du partenaire.
Cet aspect minimaliste n’est pas simplement une diminution du corps mais plutôt sa
substitution par quelque chose de suffisamment simple pour que l’imaginaire collectif
puisse s’en emparer. La SDR se veut un équilibre entre une minimalisation des informations
transitant par le système, et un choix propice quant à la manière de les représenter, afin de
garantir le sentiment de coprésence et l’expressivité créative. La boucle sensori-motrice est
plus légère et transparente, elle peut ainsi favoriser l’apparition d’un flow collectif, comme
défendu par Csikszentmihalyi (1997).
95
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Détaillons à présent les contours de notre plateforme expérimentale, ayant permis notre
instanciation d’une SDR.
2.3.6 • Notre plateforme expérimentale
Développée au cours et pour les différents workshops de ce processus de recherche-
création, la plateforme du projet s’est toujours vue destinée à garder un aspect éditable,
facilement itérable pour pouvoir tester rapidement les idées de design provenant de ces
phases exploratoires.
La plupart des modules furent développés sur-mesure, préférant garder un accès et une
capacité d’édition de chaque variable plutôt que de reposer sur des outils tiers plus limités.
L’interface immersive
Du point de vue du système technique nous avons choisi d’utiliser des casques HTC Vive Pro
Eye offrant un rendu graphique de 1440x1600 pixels pour chaque œil au sein d’un champ
de vision de 110° (environ 90° par œil). Le système de capture (Fig. 63) permet d’enregistrer
les informations de position et d’orientation à une vitesse de 60 images par seconde.
Le choix des capteurs s’avère à l’usage plus permissif et plus naturel, moins nuisible à
l’immersion et à l’apparition d’états de Flow (Kitson et al. 2018).
Du point de vue de l’interface, un moteur multi-utilisateur fut développé sur-mesure grâce
au protocole OSC, permettant de relier de multiples clients à un même serveur. Ce choix de
design, en plus de nous rendre indépendant de l’usage d’outils tiers, permet de garder un
aspect personnalisable au projet et d’inclure plus facilement d’autres développeurs dans les
phases ultérieures de co-conception et de workshops.
Optimisé pour l’immersion de deux personnes disposant de trois capteurs corporels, le projet
fonctionne grâce à la connexion de trois instances du programme en parallèle (Fig. 64).
Fig. 63 • Le casque Vive Pro Eye et les capteurs de position/orientation
96
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
L’une d’entre elles joue le rôle du serveur et se charge de synchroniser les clients entre eux.
Elle récolte les informations de positions et d’orientation, les enregistre dans des documents
CSV, et les diffuse en même temps sur l’ensemble du réseau.
Proposant une interface contrôlable, le serveur permet également d’agir de multiples manières
sur la scène virtuelle (Fig. 65), comme effectuer des changements de décor, d’apparence
corporelle, de lancer un scénario préenregistré et de lancer l’enregistrement de la performance.
Fig. 64 • L’architecture de la plateforme
Fig. 65 • L’interface de l’instance serveur, une caméra virtuelle permet de visualiser la scène
tout en manipulant les conditions d’expérimentation
97
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Les instances supplémentaires sont celles des clients qui se chargent d’envoyer au serveur
leurs informations de mouvement tout en calculant le rendu actualisé de la scène en
réalité virtuelle.
Des instances supplémentaires peuvent être connectées, permettant à des observateurs
extérieurs de visualiser la scène à partir de leur propre interface (ordinateur portable ou
tablette Android).
Les modes de visualisation
L’environnement visuel fut gardé le plus simple possible. Ici un ciel bleu infini surplombe une
arène marbrée. Un soleil permet aux objets présents de générer des ombres au sol. Ce choix
de design fait rapidement comprendre aux participants que rien d’autre que le mouvement
n’est à explorer.
Diverses conditions visuelles issues des différents workshops ont été optimisées pour
pouvoir être lancées successivement au cours des scénarios préétablis.
Une première condition constitue la base de l’expérience et consiste à remplacer les trois points
capturés par des sphères blanches de même taille. Le point de vue est placé au niveau de la
tête, ne permettant de voir que les mains et les trois ombres portées au sol (Fig. 66).
D’autres variations sont proposées, parmi elles une condition « No Hand » où chaque
participant ne voit plus ses propres mains mais voit les trois sphères du partenaire, une
condition « Miroir » où un miroir virtuel permet aux participants de voir leur propre reflet
(Fig. 67), et une condition « Miroir + couleurs » où, en plus du miroir, chaque participant voit
les sphères du partenaire prendre une couleur bleutée (Fig. 68).
Fig. 66 • Vue à la troisième personne de la condition de base
98
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
D’autres conditions plus esthétiques furent développées et utilisées dans le cadre de la
performance Articulations, détaillée plus loin dans ce chapitre (Fig. 69 et Fig. 70).
Fig. 67 • La condition « Miroir »
Fig. 68 • La condition « Miroir + couleur »
99
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Fig. 69 • Une modalité faite de traînées visuelles, dans un décor plus sombre
Fig. 70 • Une condition où les mains des participants sont reliées par un objet abstrait
et déformable, connectant visuellement leurs mouvements
100
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Deux phases de collecte de données ont été réalisées, dans des contextes expérimentaux
tout à fait différents. Le premier eut lieu à la Tate Modern Gallery de Londres lors d’un week-
end de rencontre entre chercheurs spécialistes de l’étude du geste et les visiteurs du musée,
le second eut lieu au centre CNRS Pouchet à Paris.
Nous décrivons plus loin les protocoles qui ont été conçus spécialement pour ces deux
phases expérimentales, et qui ont conduit ensuite à l’écriture de deux articles (Laroche et al.
2021 ; Vuarnesson et al. 2021).
2.3.7 • Une preuve de concept à la Tate Modern
La première présentation publique du dispositif s’est déroulée à la TATE MODERN dans
le cadre du workshop MOVING HUMANS, organisé en collaboration avec le groupe de
recherche CREATE de l’Université de Londres26.
Cette rencontre a eu lieu les 22 et 23 Juin 2019 et a pu nous donner une occasion de laisser
un public non familier de la danse ou des technologies immersives s’emparer de notre
dispositif, présenté ici comme une preuve de concept (Fig. 71).
Le fait particulier de le présenter dans un musée nous a amenés à créer un protocole
expérimental adapté à la situation qui est couvert en détail dans Laroche et al. (2021).
26 CREATE propose des rapprochements entre le grand public et les mondes des sciences cognitives ou des neurosciences,
via l’organisation d’ateliers et de rencontres entre artistes, chercheurs et performers. MOVING HUMANS était ici centré sur une
étude entre mouvement et perception. Lien explicatif : https://www.tate.org.uk/whats-on/tate-modern/moving-humans
Fig. 71 • Deux participants sont plongés dans l’expérience interactive
101
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Outre le fait de rendre publique la recherche et d’amener le grand public à découvrir nos
questions de recherche, la fluctuation des gens était plutôt laissée au hasard et nous ne
savions pas quelle sociologie de visiteurs nous allions intégrer dans l’expérience.
Nous avons proposé aux participants de constituer eux-mêmes leurs dyades, se rencontrant
sur place par le hasard d’un agenda mutuel, ou demandant spécifiquement à faire l’expérience
ensemble à un créneau horaire laissé vacant.
Équipés par nos soins, les participants étaient ensuite immergés dans l’expérience sans
consigne préalable et ce durant 9 minutes, exécutant un scénario prédéfini combinant au
choix trois conditions visuelles liées à la visualisation corporelle ou à la présence d’un miroir.
Nous avons utilisé pour cela la configuration ci-dessus (Fig. 72), où les deux participants
étaient placés chacun dans un carré physique différent mais partageaient le même espace
virtuel. Afin de rendre compte de l’expérience aux visiteurs extérieurs, nous diffusions au
même moment un rendu à la troisième personne de la scène grâce à un vidéoprojecteur
dirigé vers un écran blanc.
À la fin de la performance, les participants se retrouvaient seuls dans l’environnement
virtuel, et étaient invités par une voix provenant du casque à verbaliser à voix haute
leurs expériences et sensations. Leurs messages verbaux étaient alors enregistrés, puis
au bout de quelques dizaines de secondes la voix leur confirmait que l’expérience était
terminée. Cette approche visait à permettre aux utilisateurs de parler de leur expérience
tout en y étant encore plongé. Mener une interview encore en immersion permet en effet
de minimiser l’effet brutal de la sortie de l’expérience et d’atteindre des niveaux plus
profonds de témoignages (Prpa et al. 2020).
Fig. 72 • Schéma de la configuration de la scène, les deux participants sont séparés physiquement
mais partagent le même environnement virtuel
102
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
S’en suivait alors le remplissage d’un questionnaire plus approfondi puis la réalisation d’une
interview filmée dans une salle annexe.
Le contexte public du musée, lié à l’apparition de problèmes techniques dus aux interférences
des dispositifs WIFI permit de ne collecter que onze performances, réunissant vingt-deux
participants.
Une analyse quantitative des données de mouvement fut ensuite réalisée et peut-être lue
dans Laroche et al. (2021). Elle montre par exemple que la suppression du feedback visuel du
mouvement (condition « No Hand ») tend à améliorer la coordination des mouvements et la
sensation de proximité avec le partenaire. Les participants ayant bougé plus lentement que
les autres dyades rapportent s’être sentis plus proche que les autres dans leurs témoignages,
corroborant avec les résultats exprimés dans Soliman et al. (2015).
Je propose à présent de revenir sur une sélection de citations et notes issues des questionnaires
et des interviews, afin de venir appuyer nos choix de design et les contextualiser à mon
propre sujet d’étude.
2.3.8 • Analyse de l’expérience vécue
Une série de questions a été posée aux participants, à laquelle ils pouvaient répondre via
une échelle de Likert sur sept points (0 voulant dire que le participant n’adhérait pas du tout
à la proposition, et 6 pour au contraire manifester son total accord).
Ces résultats ont été filtrés pour ne garder que les notes des participants ayant vécu
l’expérience complète.
Affirmation Moyenne Écart-type
J’ai trouvé cet espace visuel silencieux très séduisant 4,05 1,47
Je me suis souvent retrouvé « hors » de l’expérience de réalité
virtuelle. Mon attention s’est portée sur des éléments du
monde réel en dehors de la réalité virtuelle
1,14 1,56
Mes mouvements étaient fluides et doux 4,05 1,25
Le minimalisme de l’installation m’a rendu étonnamment plus
curieux et exploratif 3,82 1,56
J’ai eu une agréable sensation de légèreté 3,60 1,84
Table 2 - Notes données par les participants sur l’immersion globale
103
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Affirmation Moyenne Écart-type
Mon attention était focalisée sur la relation entre nos
mouvements 4,32 1,62
Les connexions et les interactions avec mon partenaire se sont
produites facilement et très naturellement 3,23 1,80
Je pense que mes mouvements étaient motivés par ce que je
pensais que l’autre personne percevait 3,55 2,02
Je pense que mon partenaire n’a pas apprécié l’expérience 2,00 1,66
J’ai souvent senti mes mouvements et ma créativité limités
par la présence de l’autre 1,45 1,63
J’étais souvent celui qui initiait les interactions avec mon
partenaire 3,55 1,68
Table 3 - Notes données par les participants sur la relation avec le partenaire
Globalement les participants rapportent une immersion sensorielle suffisante pour pouvoir
se focaliser sur l’exploration de leur mouvement et sur la relation en construction.
Malgré l’ambiance sonore et le passage de nombreuses personnes dans les lieux de l’étude,
les participants n’ont pas semblé perturbés dans leur expérience.
Certains commentaires expriment une forme d’émerveillement face à l’environnement
minimaliste.
« Avoir le dos au soleil et voir les projections de mon mouvement sur le mur
était très beau »
« Le silence et l’espace étaient très satisfaisants »
« C’était charmant, absolument charmant et paisible »
Les sensations corporelles génèrent également quelques commentaires enthousiastes
« Il est intéressant de s’imaginer comme une forme. Et à quel point cela devient réel
lorsque vous imaginez quelqu’un d’autre derrière la forme »
« Ces deux boules - mes petites lunes. J’avais l’impression de déplacer des planètes
avec mes bras.
« L’expérience a été incroyable, c’était comme un court laps de temps à l’intérieur
mais long à l’extérieur. »
En ce qui concerne la relation avec le partenaire, les participants expriment une forme de
circonspection et de déroutement.
104
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
« Quand mon partenaire est apparu, je me suis demandé s’il cherchait à entrer
en compétition avec ce que je faisais ou s’il me copiait »
« J’ai mis du temps à réaliser que c’était elle. Je n’étais pas sûr de ce que
j’étais censé faire. »
« Au début, je n’étais pas sûr que ce soit toi. Mais quand tu as commencé
à bouger, j’ai su… tu sais, certains comportements… comme la boxe. J’essayais
de communiquer avec toi et de synchroniser nos mouvements »
« Parfois j’avais l’impression d’interagir avec un avatar qui copiait simplement
mes mouvements, agrémentés d’un peu de bruit. C’était étonnamment interactif »
Certains encore expriment quelques formes de désorientation ou d’anxiété.
« À un moment donné, je n’avais plus de mains. Je ne pouvais plus du tout
communiquer avec l’autre, j’essayais. J’ai essayé d’utiliser mes bras mais il n’y avait
pas de balles. Cela m’a rendu anxieux. Parce que je voulais dire quelque chose. »
« Ce n’était pas mon corps, je me sentais un peu piégé. »
Des expériences singulières
Une expérience singulière me semble intéressante à partager, éclairant davantage sur le type
d’expériences pouvant être vécues en SDR.
Les participants sont un couple marié de 58 (M14e) et 46 ans (M14p) se présentant ensemble
pour réaliser l’expérience. Ils nous disent avoir une expérience très limitée de la danse et
testent la réalité virtuelle pour la première tous les deux.
Observant le calme avec lequel ils bougent durant toute l’interaction, et voyant l’expression
émue du visage de M14e en lui enlevant le casque, il est alors clair pour moi qu’il a vécu une
expérience très forte. Les deux participants donnent en effet des notes assez similaires sur
la qualité d’expérience vécue.
Affirmation M14p M14e
J’ai trouvé cet espace visuel silencieux très séduisant 66
Je me suis souvent retrouvé « hors » de l’expérience de réalité
virtuelle. Mon attention s’est portée sur des éléments du monde
réel en dehors de la réalité virtuelle
10
Dans l’expérience de réalité virtuelle j’ai senti que j’étais plus que
mon moi habituel 46
Mes mouvements étaient fluides et doux 66
105
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Les connexions et les interactions avec mon partenaire se sont
produites facilement et très naturellement 66
J’aurais aimé que l’expérience dure plus longtemps 66
J’étais plus conscient que d’habitude de ce qui se passait à
l’intérieur de mon corps 54
Je n’avais pas vraiment l’impression que mon partenaire
répondait aux propositions que je faisais 10
Je pense que mon partenaire n’a pas apprécié l’expérience 00
J’ai souvent senti mes mouvements et ma créativité limités par la
présence de l’autre 00
Le minimalisme de l’installation m’a rendu étonnamment plus
curieux et exploratif 66
Table 4 - Quelques notes similaires données par la dyade M14p / M14e
Toutes ces notes montrent à priori une forte connexion entre les deux participants, l’un et
l’autre se sont sentis en cohésion et ont pris du plaisir dans l’interaction.
M14p
L’expérience était très paisible et joyeuse.
M14e
D’habitude je ne danse pas, mais là je n’avais plus conscience de moi-même, j’étais
dans un autre monde.
Pourtant, à la lumière de certains témoignages et réponses au questionnaire, il apparaît que
l’expérience vécue a été très différente pour l’une et l’autre. Certaines affirmations montrent
en effet une différence certaine dans l’interprétation de la relation.
Affirmation M14p M14e
Durant mon exploration avec les sphères j’ai oublié qu’elles avaient
à voir avec mon partenaire 60
Mon attention était focalisée sur la relation entre nos mouvements 16
J’ai trouvé que l’installation limitait les potentiels de mon mouvement
40
Je pense que mes mouvements étaient motivés par ce que je
pensais que l’autre personne percevait 06
J’étais souvent celui qui initiait les interactions avec mon partenaire 04
Table 5 - Quelques notes opposées données par la dyade M14p / M14e
106
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
M14e exprime ici un positionnement radicalement différent de celui de sa partenaire,
rendant compte d’une expérience totalement dédiée à elle, à leur relation, à la personne
derrière le casque et à une projection dans leur histoire conjointe. Elle, en revanche, semble
assez surprise du degré d’émotion dont il témoigne. Elle ne donne comme anecdotes que
des éléments relatifs à l’espace environnant, à ses sensations corporelles, au jeu qu’ils ont
développé.
M14p
As-tu essayé de passer à travers la grille ? (En référence aux délimitations de l’espace)
Je pouvais passer à travers tes sphères, c’était drôle.
M14e
“J’ai trouvé cette idée de communiquer non verbalement très forte et déstabilisante.
C’était une expérience très émouvante”
“Je me suis senti en harmonie avec elle.”
Il se tourne vers elle :
M14e
“J’aurais aimé passer plus de temps dans ce monde avec toi.”
“Je me suis senti plus proche de toi que les jours passés, comme si nous étions
réduits à notre essentiel. Un essentiel fait de soutien et de collaboration.”
Nous y voyons ici un biais d’intentionnalité, faisant écho aux travaux de Heider et Simmel
(1944). L’un des participants a développé une histoire forte, centrée sur leur complicité, là
où sa partenaire était davantage dans une expérience personnelle, tournée vers ses propres
sensations et amusements.
L’usage du minimalisme et de la SDR pour la création d’un narratif précis et partagé s’avère
ainsi compliqué. En revanche il est intéressant de noter que les deux participants ont pu
chacun vivre une expérience plaisante et créative, malgré la divergence du sens construit à
travers l’interaction27.
Ces premiers résultats confortent donc sur la possibilité de la SDR à permettre l’engagement
mutuel dans une interaction sociale complexe et inédite.
Au cours des interviews, les participants ont pu donner des explications à leurs actions et
rappeler le cours de l’expérience vécue, usant de métaphores géométriques (alignements,
triangles, pendules, planètes) et de dynamiques gestuelles (rebonds, boxe).
Notre instanciation de la SDR semble ici donner aux participants une certaine aisance à se
mettre en mouvement, leur permettant de construire un langage qui leur est propre.
La dernière performance analysée et le biais intentionnel qu’elle révèle montrent en revanche
la possibilité pour deux participants de vivre une expérience radicalement différente. Ces
27 La vidéo de leur interview peut être visionnée ici : https://vimeo.com/363260149
107
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
résultats nous invitent donc à chercher d’autres indices dans le mouvement partagé pour
extraire du sens de la relation et de l’expérience vécue.
2.3.9 • Expérimentation au centre CNRS Pouchet
Une deuxième phase expérimentale a eu lieu au centre CNRS Pouchet les jeudi 24 et
vendredi 25 octobre 2019 avec un protocole réadapté pour l’occasion.
Une invitation fut rendue publique sur un réseau social, proposant de venir explorer le
mouvement partagé en réalité virtuelle. Un lien vidéo vers le teaser de notre expérience à la
Tate y fut joint, mais aucune explication supplémentaire ne fut donnée.
Sur l’ensemble des participants ayant répondu, 42 furent sélectionnés pour participer sur
les deux jours.
À la différence de l’expérience à la Tate Modern, le lieu se prêtait parfaitement à l’enchaînement
des dyades et nous permis de récolter davantage de données.
Une différence notable supplémentaire était que les participants avaient des créneaux horaires
attribués, et qu’il leur était impossible de voir l’expérience faite par d’autres participants
avant la leur. Si certains avaient déjà pu essayer les premiers prototypes, notamment dans
le cadre des workshops publics, la grande majorité découvraient complètement le projet à
cette occasion.
Typologie des participants
Les participants furent accueillis tout au long des deux jours, sans se connaître au préalable.
Un questionnaire préalable put collecter quelques informations à leur sujet, notamment sur
leurs rapports à la réalité virtuelle et à la danse. À la différence de l’expérimentation à Tate, la
plupart d’entre eux avaient une déjà une expérience de ces deux types d’activités (Table 6).
Votre numéro sujet Mon expérience avec la danse Pratique RV
11 Quelques cours Quelques expériences
12 Quelques cours Aucune expérience
13 Pratique régulière de la danse Aucune expérience
14 Danse sociale, Psychomotricien Aucune expérience
15 Danse sociale Aucune expérience
16 Danse sociale Aucune expérience
17 Quelques cours Quelques expériences
18 Pratique régulière de la danse Aucune expérience
19 Danseur professionnel Aucune expérience
20 Pratique régulière de la danse un/e habitué/e
21 Quelques cours Aucune expérience
22 Pratique régulière de la danse Aucune expérience
108
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
23 Pratique régulière de la danse Quelques expériences
24 Pratique régulière de la danse Quelques expériences
25 Danseur professionnel Quelques expériences
26 Quelques cours, Pratique
régulière de la danse Aucune expérience
27 Quelques cours, Danse libre Aucune expérience
28 Rares expériences Quelques expériences
29 Danseur professionnel Aucune expérience
30 Quelques cours Aucune expérience
31 Danseur professionnel Quelques expériences
32 Pratique régulière de la danse Quelques expériences
33 Quelques cours Quelques expériences
34 Danse sociale Quelques expériences
35 Danseur professionnel Aucune expérience
36 Pratique régulière de la danse Aucune expérience
37 Pratique régulière de la danse Aucune expérience
38 Danseur professionnel Aucune expérience
39 Danse sociale Quelques expériences
40 Quelques cours Quelques expériences
41 Quelques cours Quelques expériences
42 Danseur professionnel Quelques expériences
43 Pratique régulière de la danse Quelques expériences
44 Quelques cours un/e habitué/e
45 Danse sociale Quelques expériences
46 Pratique régulière de la danse Aucune expérience
47 Pratique régulière de la danse Quelques expériences
48 Danseur professionnel Aucune expérience
49 Pratique régulière de la danse Aucune expérience
50 Pratique régulière de la danse Quelques expériences
51 Danse sociale un/e habitué/e
52 Danse sociale, Quelques cours Quelques expériences
Table 6 - L’expérience des participants à la danse et à la réalité virtuelle
110
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
À la différence du retour d’expérience de Tate, nous entrerons ici en détail sur les effets de
ces changements de conditions sur leurs expériences.
Les conditions évaluées pour chaque scénario étaient les suivantes :
1A - Condition de base (trois sphères blanches)
1B - Absence du retour des mains
2B - Condition de base avec présence d’un miroir
2C - Miroir et couleurs différentes entre les sphères des partenaires
La première phase fut prévue pour durer 12 minutes et 40 secondes (3 minutes et 10
secondes par condition). À la fin, il leur fut à nouveau proposé de verbaliser à voix haute leur
expérience tout en restant en immersion, puis une fois l’enregistrement terminé, ils furent
ensuite invités à se déséquiper, et à se rendre dans une pièce différente, pour remplir un
questionnaire et répondre à quelques questions lors d’un entretien.
Un second passage de 6 minutes en immersion leur fut ensuite proposé, leur permettant de
choisir la condition visuelle qu’ils souhaitaient refaire.
Nous avons ainsi pu collecter 20 fichiers de performances lors de la première phase, et 15
fichiers lors de la seconde, couvrant ainsi l’ensemble des conditions proposées. Au total,
35 fichiers de données de mouvements et 32 questionnaires post-expérience y ont été
recueillis.
Ces questionnaires proposent un set de questions différant légèrement de l’expérience
de Tate. Également notées à l’aide d’une échelle de Likert sur sept points, allant de 0 (je
n’adhère pas) à 6 (j’adhère complètement), les différentes affirmations sont regroupées par
thématique et accolées à des témoignages des participants. L’ensemble des notes et des
résultats pourra être trouvé en Annexe III à la fin de ce manuscrit.
2.3.10 • Retours d’expériences collectés
L’impact d’un corps minimaliste pour la mise en mouvement
N’étant pas préparés à ce qu’ils vont vivre, nous avons pu observer une tendance chez
la majorité des participants à explorer leurs nouvelles propriétés corporelles au cours des
premières secondes de l’expérience. À part quelques participants ayant déjà participé à des
versions préliminaires de l’expérience, la plupart ont pu découvrir le dissensus particulier de
ne plus voir la liaison entre son propre buste et ce qui remplace alors les mains. Nous avons
pu les voir commencer par confronter leurs visions à leurs sensations proprioceptives (se
toucher sans se voir, faire se rencontrer et mélanger les deux sphères virtuelles).
PX28
“Mon lien au sol était absent, cela me permettait d’avoir un mouvement plus fluide”
“Je ne sentais pas la gravité pour mes mains”
28 Numéro de sujet non renseigné
111
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
P30, sans expérience préalable de la VR
« Je me souviens encore des 20 premières secondes où j’apprenais à utiliser l’espace,
à utiliser l’absence de mon « corps » et de cette transition dans laquelle je suis
devenue immatérielle. C’est un peu bizarre, je me sentais plus proche du sol que
d’habitude. »
P43
« Ma masse corporelle n’existe pas, uniquement mon mouvement. »
« J’ai appris et été surpris par la capacité de la VR à me donner des repères d’espaces
cohérents pour mon système vestibulaire. En effet, j’ai pu danser avec autant
d’équilibre et d’aisance que si j’avais les yeux ouverts à l’espace réel. »
Le mouvement des mains faisant coïncider celui des sphères virtuelles, les participants
acceptent généralement assez vite cette nouvelle corporalité et laissent voguer leur attention
vers leurs alentours.
L’environnement comme catalyseur de l’attention
Comme nous l’avons vu, l’environnement virtuel joue dans l’expérience un rôle clé, en
cherchant à induire une sensation de confort et de paix. Épuré au possible, celui-ci laisse
les participants livrés à eux-mêmes, en les amenant toutefois à se focaliser sur leur objet
d’attention principal, l’interaction sociale.
P30
« Le silence était si profond que je pouvais imaginer du vent juste dans ma tête, en
bougeant mes cheveux, probablement était-ce dû au son de ma propre respiration. »
P11
« C’était très apaisant grâce au décor minimaliste et aux sphères qui flottent. Les
couleurs de l’environnement participent également à cet état de tranquillité. »
« Que l’environnement soit le plus minimaliste permet d’éviter des variables
parasites pour l’expérience donc selon moi il n’y a rien à ajouter. »
Certains participants ont exprimé une certaine frustration de voir une grille virtuelle apparaître
lorsqu’ils sortaient des limites physiques qui leur étaient imposées.
P36
« L’espace m’a limité, j’aurais aimé aller très loin, courir »
Pour une participante, une sensation de claustrophobie s’est même déclarée, due à l’aspect
non évident des raisons de son apparition. Se savoir contrainte par une grille pouvant
apparaître à tout instant a ajouté pour elle un caractère anxiogène à l’expérience.
112
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Le rapport à l’autre
Si à la Tate Modern, il était rendu clair pour les participants qu’ils seraient invités à interagir,
lors de l’expérience à Pouchet, aucune mention de coprésence n’était faite au préalable
(quelques participants avaient néanmoins déjà participé aux premiers workshops).
À partir des réponses collectées à travers les questionnaires et au cours des interviews, il est
apparu que 17 personnes n’ont compris être en interaction avec l’autre participant qu’après
la première expérience (lors du déséquipement ou au cours des entretiens). 12 ont exprimé
des doutes ou s’en sont rendu compte au cours de l’interaction, enfin 11 ont compris ou
savaient dès le début que les sphères représentaient leur partenaire (Table 7).
Numéro sujet Scénario Détection de la coprésence
11 1B1A2B2C Après l’expérience
12 Après l’expérience
13 1A1B2C2B Après l’expérience
14 « Après l’expérience »
15 1B1A2C2B Au milieu
16 Tout au début
17 2B2C1A1B Non renseigné
18 Tout au début
19 1A1B2B2C « Tout au début »
20 Changement de couleur
21 1B1A2B2C Vers la fin
22 Après l’expérience
23 1A1B2C2B Vers la fin
24 Après l’expérience
25 1B1A2C2B « Tout au début »
26 Après l’expérience
27 2B2C1A1B « Après l’expérience »
28 Non renseigné
29 2B2C1B1A Tout au début
30 Au milieu
31 2C2B1A1B « Au milieu »
32 Tout au début
33 2C2B1B1A « Après l’expérience »
34 Tout au début
113
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
35 1A1B2B2C Après l’expérience
36 Tout au début
37 1A1B2B2C Changement de couleur
38 Après l’expérience
39 2C2B1A1B Vers la fin
40 Après l’expérience
41 2C2B1B1A Tout au début
42 Après l’expérience
43 1A1B2B2C Tout au début
44 Tout au début
45 1B1A2B2C « Après l’expérience »
46 Après l’expérience
47 1A1B2C2B Après l’expérience
48 Après l’expérience
49 1B1A2C2B Changement de couleur
50 Apparition du miroir
51 2B2C1A1B « Tout au début »
52 Au milieu
Table 7 - Liste des participants et moment de leur découverte de la coprésence dans
l’expérience (les résultats entre guillemets sont déduits des réponses des interviews)
Les participants n’ayant pas compris tout de suite cette co-présence nous ont donné
diverses intuitions sur l’origine du mouvement des autres sphères.
P46
« C’était pour moi un personnage téléguidé manipulé par les informaticiens. Je ne
savais pas comment danser avec ça. Pour moi c’était semi-humain. »
P35
« Il n’y avait pas de personnalité ou de volonté dans les balles, pour moi c’était des
possibilités de circuits. »
P11
« Je pensais que c’était l’ordinateur / les ingénieurs derrière l’ordi. »
P39
« Au début je pensais que c’était un scénario déjà fait, pas besoin d’interagir.
114
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Ensuite je me suis dit c’était un ordi, donc que je pouvais jouer avec. Après j’ai
compris que c’était lui/elle. »
Pourtant certains ont ressenti cette ambiguïté qui se dégageait du mouvement du partenaire.
P40
« Je n’ai pas ressenti une intention dans ces sphères, mais j’ai vu des effets
de décalage par rapport à mon mouvement. Je me suis demandé si mes gestes
revenaient désordonnés, comme un miroir déformant, un écho. »
P12
« J’ai cru qu’il y avait un problème dans le programme parce qu’il y avait un décalage
par rapport à mon mouvement. »
De cette ambiguïté, certains ont compris en cours d’expérience qu’ils avaient affaire au
second participant. Cette découverte a pu parfois changer leur stratégie d’interaction et la
posture adoptée.
P15
« Au début je pensais être face à un opérateur mais je me suis dit il fait quand même
beaucoup comme moi… Je me suis dit que c’était impossible, qu’il devait avoir un
casque.
J’ai tout de suite changé mon comportement, j’ai questionné le sens
de mes mouvements précédents, j’ai reconsidéré mes actions par rapport au but
de l’expérience. Plein d’émotions se sont manifestées en même temps. »
« Je l’ai alors considéré comme une personne, j’ai eu moins envie d’être intrusive,
de moins pénétrer son espace. Je me suis déplacé différemment autour de lui. »
P29
« J’ai toujours senti avoir affaire à quelqu’un par contre je n’ai pas toujours senti avoir
à faire à un corps. Je n’arrive pas à évoquer l’image de son corps en moi, sauf quand
j’ai perçu qu’elle tournait sur elle-même avec ses bras. »
P16
« À partir du moment où on s’est reconnu, l’interaction est allée dans les deux sens. »
« Le fait de ne plus être seul a tout changé, j’ai eu la sensation d’être regardé,
ça change l’expérience. »
Ayant pris conscience rapidement ou non de la présence de leur partenaire, les participants
ont pour la plupart entrepris une exploration par le mouvement de l’environnement virtuel.
Le mouvement retour des sphères adverses a définitivement eu une influence sur eux. Étant
privés de leurs outils usuels de communication, ils ont dû initier la construction d’un langage
115
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
propre et improvisé. Certains se sont demandé comment devaient se comporter des sphères
flottantes dans un tel environnement.
P30
« J’ai adopté et accepté cette idée d’être juste trois ballons, et j’ai décidé de me sentir
fragmentée. »
Nous pouvons remarquer les tendances des participants à recourir naturellement à
l’imaginaire implicite des sphères. Cette apparence particulière semble leur donner une base
de sens commun, ouvrant des possibles sans en restreindre pourtant l’interprétation.
P46
« J’ai été très surprise que les balles me sautent à la figure et ça m’a fait rire. Ça m’a
fait penser au jonglage, j’ai vu un acrobate qui surgissait. »
« J’ai eu l’impression de jouer avec des planètes, d’être dans le cosmos »
P45
« Moi je voyais des papillons qui volaient autour de moi »
Certains participants s’entendront ensuite sur un certain nombre de figures métaphoriques,
comme lors de l’expérience à Tate. Certains évoqueront des balancements, des rebonds, des
pendules, d’autres iront chercher des métaphores géométriques en parlant d’alignements,
de dispositions en triangles parfaits, ou invoqueront des approches plus animales et
anthropomorphiques avec des allusions à la boxe et au combat.
P16 à P15 :
« Tu faisais un mouvement de recul à chaque fois que j’approchais mes balles de ta
tête »
P15 lui répond :
« Eh bien oui tu m’as attaqué alors je t’ai attaqué »
Le mouvement du partenaire étant l’élément central d’attention, les qualités perçues dans
les gestes influencent directement l’action, amenant chacun à requestionner à chaque
instant son agentivité sur les mouvements de l’autre.
P32
« On a pris du temps pour définir cette relation, j’ai voulu explorer le rythme, le mien,
celui de l’autre, explorer les niveaux (bas haut milieu), j’ai laissé tout ça me guider. »
L’influence des changements visuels
• Changement de couleur
Parmi les différents changements de conditions visuelles, le changement de la couleur de
l’autre participant a été vécu comme un évènement décisif pour plusieurs personnes. Cette
116
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
distinction soudaine de l’apparence a pu être responsable d’une individualisation de cet
« autre » qui pouvait auparavant apparaître comme une entité ambiante ou bien un égal.
Pour P20, P37 et P49 le changement de couleur a été le déclencheur permettant de
comprendre que les autres sphères représentaient l’autre participant.
P20
« Quand les sphères ont changé de couleur, la présence de l’autre est devenue bien
plus forte, ma relation à l’espace et aux gestes a changé »
Le caractère porté à l’autre avatar semble propre à chacun, certains vont attribuer à ce
changement de couleur une intention différente, pouvant être connoté positivement ou
négativement.
P29
« Je me suis questionné quand les sphères sont devenues bleues. C’était toujours
la même personne mais sous une modalité différente. Comme une variation légère
d’un avatar. De ça :-) à çà ;-) »
Se sentant d’abord persécutée par le mouvement des sphères, P33 a finalement apprécié
cette altération visuelle.
P33
« Je me suis senti plus à l’aise lors du changement de couleur, la relation était plus
affective »
Pour P39, la couleur a créé une distance.
P39
« Les boules bleues me paraissaient agressives, alors que les blanches étaient
de la même espèce que moi. »
Plus simplement, l’apparition d’une couleur différente a pour certains redynamisé
l’interaction, ajoutant de la surprise et du renouveau.
P23
« L’apparition des boules vertes a été très soudain, ça amenait de la joie dans
cet environnement froid. C’était agréable. »
P45
« Le changement de couleur a donné un côté peps à l’interaction, ça aurait pu être un
changement de forme aussi, c’était un rebond ludique »
• Le miroir
L’apparition du miroir est également importante à plusieurs égards. Le fait d’avoir une
sphère à la place de la tête n’est en effet pas implicite tant que le miroir n’est pas apparu.
117
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Initialement, seules les deux sphères à la place des mains sont visibles, le point de vue étant
en effet confondu avec la position de cette troisième sphère.
À moins de repérer la troisième ombre portée au sol, ou de supposer être identique au
partenaire, cette possibilité de s’exprimer par le mouvement de la tête n’apparaît donc pas
comme évidente.
Le miroir est donc une phase importante pour comprendre que l’apparence des deux avatars
est identique, entraînant de fait la possibilité de créer une identification et un lien social.
P25
« Le miroir nous a permis de voir nos alignements ; la relation est devenue plus
stable, plus collaborative »
P32
« Le miroir m’a permis, comme dans un cours de danse, de comprendre le
mouvement et comment j’apparaissais »
P20
« Cela donnait l’impression d’être dans un espace plus grand, modifiant l’amplitude
des mouvements. Cela a également renforcé cette présence de l’autre et l’espièglerie
entre nous »
Pour P26, qui a pourtant compris après l’expérience avoir été en interaction avec une vraie
personne, le miroir lui a donné la sensation d’un regard provenant des sphères.
P26
« On a pu se regarder, j’ai eu l’impression qu’on regardait le miroir en même temps. »
Néanmoins, et si le miroir permet de sécuriser la base de la relation (augmenter l’écoute,
développer le sentiment d’altérité), il conduit généralement à un appauvrissement de
l’expressivité gestuelle et à de l’ennui. Les participants ont finalement apprécié de ne pas y
être trop longtemps confrontés.
P32
« Le moment où le miroir s’enlève je me suis sentie plus mobile, et je sentais plus
l’autre. Avec le miroir j’étais bloquée en 2D. »
P44
« J’ai retrouvé des repères après la phase du miroir, l’interaction en face s’est sentie
plus forte évidente et émouvante
J’étais plus présent à l’interaction, c’était plus subtil, ma manière d’aborder
l’interaction a changé. »
118
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
P43
« J’ai quitté le miroir après qu’il a commencé à m’ennuyer, ça me semblait évident
qu’on allait le quitter ensemble, qu’on était en synchronie. »
Certains comme P48 ne l’ont pas vu de toute l’expérience. D’autres préféraient ne pas y
prêter d’attention.
P11
« Je ne suis pas allé voir le miroir, je préférais rester avec les sphères »
Cette condition visuelle apparaît donc comme un outil efficace pour une prise de conscience
de soi au sein du virtuel, et constater sa proximité/différence avec l’autre. Il apparaît en
revanche limitant à la longue.
• Disparition des mains
Enfin, la condition de disparition des mains a été plus déroutante pour certains participants.
En l’absence des mains, la seule perception de sa propre existence matérielle passe par la seule
ombre portée au sol et par le retour de son propre mouvement à travers ceux du partenaire.
Cette absence de retour perceptif de soi a pu conduire à une certaine forme d’anxiété chez
certains.
P25
« Je me suis sentie en insécurité, je ne pouvais pas contrôler ce que tu voyais.
Cette perte de sensation rendait difficile de participer à l’échange. J’ai essayé d’être
plus réactive et ça m’a conduit à être plus agressive. »
P44
« La disparition des balles j’ai cru à un bug, j’ai fait avec et c’était très étrange,
je me disais elle voyait juste ma tête et j’ai fait des mimes juste avec la tête. »
Cette privation a exigé pour certains une adaptation, comme un besoin de s’assurer de ce
qui était encore en place et de ce qui était encore permis de faire.
P39
« Quand je ne voyais plus mes boules c’est là que j’ai essayé d’être le plus
communicatif, mes gestes étaient plus symboliques, répétés »
P31
« Je ne me suis pas rendu compte tout de suite de l’absence de mes balles,
ça a perturbé mon narratif, et j’ai dû m’adapter. »
P35
« Un moment où les balles ont disparu, sentir son corps sans le voir était
une possibilité intéressante, c’est différent que d’avoir les yeux fermés, ça enlève
119
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
des limites, le mouvement peut être infini. J’étais dans une recherche intérieure,
dans l’écoute des sensations du corps, et dans une projection infinie vers l’espace.
L’attention n’était plus sur les boules, elle était plus intérieure et plus globale.
Ça agrandit le cadre d’attention. »
Ce dernier commentaire est saisissant et inviterait à voir la perception de soi comme une
variable pour orienter l’attention au sein d’expériences immersives.
Pour P37 qui n’avait pas compris être en présence de son partenaire au moment de la
disparition de ses mains, cette privation l’a forcé à être davantage dans l’écoute.
P37
« On a l’impression d’avoir moins d’options gestuelles, on est comme obligé
de suivre. L’attention a davantage été portée du global vers l’autre. »
Pour quelques-uns, le changement n’a pas été notable ou n’a pas dérangé l’interaction. P24
nous dit par exemple n’avoir remarqué cette condition visuelle que pendant un temps très
court, de l’ordre de la seconde, alors que comme chaque condition il a duré 3 minutes.
Cette condition semble de manière générale intéressante pour amener les participants
à focaliser leur attention sur l’extérieur. Altérer la complexité de la perception de soi pour
altérer les dynamiques d’action peut être un atout puissant en SDR, en faisant attention
toutefois à ne pas priver les participants de leurs sensations de présence et d’agentivité au
sein de l’environnement virtuel.
2.3.11 • Analyse de l’expérience globale
Les expériences vécues ont globalement été très bien évaluées par l’ensemble de nos
participants. Tous ont rempli le questionnaire à la suite du premier passage, nous permettant
d’obtenir les notes suivantes (40 réponses + 2 enlevées suite à un problème technique
durant la performance).
Affirmation Moyenne Écart-type
J’ai trouvé cet espace visuel silencieux très séduisant 4.45 1.50
La simplicité de l’environnement de réalité virtuelle me rendait
d’autant plus curieux et exploratif 4.36 1.63
Je trouve que l’installation en réalité virtuelle limitait le
potentiel de mes mouvements 2.3 1.79
Mon partenaire n’a pas apprécié l’expérience 1.69 1.88
J’avais une agréable sensation de légèreté 4.30 1.60
Des éléments du monde réel m’ont souvent extrait de mon
expérience en réalité virtuelle 1.18 1.47
120
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Mes mouvements et ma créativité étaient amplifiés par la
présence de l’autre personne 3.85 1.79
Ne pas avoir d’instructions ou de buts spécifiques me
déroutait et m’égarait 1.83 1.78
J’aurais aimé que l’expérience dure beaucoup plus longtemps 3.53 1.92
Table 8 - Quelques notes données par les participants relatives à la qualité
d’expérience générale
Ces résultats nous confortent à nouveau sur nos choix de design et sur la capacité de la
SDR à offrir aux participants les conditions pour vivre une expérience basée sur l’interaction
sensible improvisée.
L’ a b s t r a c t i o n d u l a n g a g e e t l e m i n i m a l i s m e v i s u e l s emblent ici permettre le développement d’une
relation originale, influencée certes par l’imaginaire des sphères et usant parfois de métaphores
récurrentes, mais permettant dans la plupart des cas de développer une histoire singulière.
Nous avons pu observer de multiples stratégies amenant à la coordination entre dyades et
nous en détaillerons quelques-unes dans le chapitre 3 de ce manuscrit.
En les questionnant sur les moments forts vécus, de nombreux témoignages nous disent
que l’expérience est cependant devenue plaisante lorsque d’une lutte ils sont passés à une
écoute mutuelle.
P11
« J’ai trouvé une sensation d’accord, au fait d’arrêter de lutter, de lâcher et de décider
de partager »
P26
« J’étais fatigué de tenter des choses et j’ai décidé de m’asseoir. Je me suis calmé
et j’ai eu l’impression que les balles m’écoutaient, elles me regardaient. Là j’ai vraiment
commencé à jouer avec. Au début je ne comprenais pas et elles étaient agressives.29 »
Le mimétisme des gestes est souvent cité comme un moment fort par les participants.
P29
« Il me reste ce moment où une communication « explicite » s’est manifestée entre
ma partenaire et moi. J’ai aligné mes 3 sphères horizontalement, elle a fait de même. »
29 Il semble intéressant de constater que P11 et P26 ont tous les deux commencé avec la condition 1B qui masque le
retour visuel des mains.
P11 commente d’ailleurs ne pas avoir remarqué cette absence et tous deux disent qu’ils ont lutté dans la première partie
de l’expérience. Ils disent ensuite avoir laissé tomber la lutte, pour découvrir finalement que les balles étaient à l’écoute.
Peut-être si cette condition était intervenue après avoir expérimenté la condition 1A ensemble, ils auraient compris
davantage leur agentivité sur le mouvement du partenaire.
121
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
P30
« Je me rappelle clairement deux moments : le premier super violent, avec des
ballons courant autour de moi (ou l’absence de moi), et l’autre plus confortable,
essayant de nous aligner encore et encore. »
P48
« On a eu des immobilités communes, des alignements qui m’ont beaucoup
intéressé. »
P45
« Pour moi le moment fort c’était quand l’une des balles s’est mise à osciller, et je me
suis dit c’est marrant je vais faire pareil. »
Ici P45 n’avait pas conscience que les sphères représentaient sa partenaire. Elle a
naturellement adapté sa gestuelle et le sens porté.
La mimétique est connue pour être un phénomène implicite qui atteste de la mise en place
et du maintien de la relation interpersonnelle, en effet l’imitation augmente l’affiliation et
vice-versa (Lefebvre, 2008).
Il n’est pas évident de dire si dans notre cas cette mimétique avait une portée sociale mais
c’est néanmoins un signe que l’embodiment minimaliste a réussi à induire un rapport
d’altérité entre elle et sa partenaire, transportant du sens d’un corps vers l’autre.
Globalement les participants nous ont fait part du plaisir qu’ils ont pu avoir à expérimenter
ce type de relation minimaliste.
P19
« J’ai vraiment un souvenir de plénitude, relaxant et très agréable. C’était à la fois une
expérience très créative et intime. »
P32
« J’aimerais essayer cette expérience à nouveau. »
Dans le questionnaire en ligne envoyé quelques jours après la rencontre, une question leur
demandait quelle sensation il leur restait, après avoir pris du recul sur l’ensemble des deux
expériences vécues.
P44
« C’est une expérience qui a éveillé en moi des sensations et des émotions toutes
nouvelles par rapport à mon corps et ses mouvements et son rapport à autrui.
Très juste, sensible et originale. »
P48
« Un moment énigmatique, silencieux, stimulant et agréable »
122
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
P20
« Il me reste du plaisir, un léger étonnement de l’effet vers la fin de l’expérience,
c’est-à-dire l’ouverture de mes mouvements vers un espace plus grand,
une sensation plus élastique et une chaleur, une sorte d’énergie intérieure. »
PXX
« J’ai appris à me déplacer différemment et à me concentrer sur des choses
essentielles »
P23
« Le temps semblait passer bien plus lentement, mon esprit ne pensait à rien d’autre
que le problème des « boules » en face de moi »
P40
« [J’ai appris] Que seulement 12 + 6 minutes passées à bouger (même en restant
dans un petit cube ! ) plongé dans une réalité virtuelle avec une grande profondeur
de champ (pas sûre que ce soit le terme exact), dans un espace indéfini et presque
infini fait énormément de bien ! »
P44
« Il me reste une impression particulière d’avoir eu envie d’être en connexion
avec un autre. Je ne savais pas comment créer cette connexion mais je me sentais
libre d’essayer. »
P43
« Une sensation de liberté, de jeu, un rapport à l’autre différent. »
2.3.12 • Analyse comparée
Au regard des différences d’expériences entre les participants, il nous semble intéressant de
nuancer ces notes en fonction de différents critères.
Plusieurs participants ont vécu une première expérience en se sentant seuls, tandis que
d’autres ont compris dès le début ou au milieu de l’expérience qu’ils partageaient l’espace avec
quelqu’un d’autre. Plusieurs commentaires nous disent que la découverte de la coprésence a
eu un changement important dans leurs stratégies d’adaptation et dans leurs postures. Nous
voulons voir si cette différence se ressent dans leurs manières de noter l’expérience.
Il est tentant de penser aussi que des habitués de la danse auront plus de facilité à développer
un langage créatif et personnalisé que des participants non-danseurs, les conduisant
potentiellement à de meilleurs degrés de qualité d’expérience.
Enfin les expériences préalables de la VR nous semblent être un élément supplémentaire
pouvant nuancer les retours formulés. Comme mentionné précédemment, les premières
expériences immersives sont généralement sources de plus grands enthousiasmes et
émerveillements, du fait de vivre pour la première fois ce type de sensation de disembodiment.
123
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Ce phénomène tend à diminuer lorsque l’usage des technologies de réalité virtuelle est
répété, ce qui peut conduire également à une diminution de la qualité d’expérience vécue.
Nous proposons donc ici une analyse comparée des notes données aux questionnaires post-
expérimentaux afin de voir si des différences significatives apparaissent entre les groupes.
Nous mettrons également ce comparatif en relief avec quelques-uns des commentaires de
nos participants.
Se savoir en coprésence
Parmi nos participants, 17 n’avaient donc pas compris être en coprésence lors de la première
expérience, contre 22 qui l’ont découvert avant ou pendant (2 réponses ont été écartées
pour cause de problème technique, et une participante n’a pas renseigné le questionnaire et
n’a pas participé aux interviews).
Nous pouvons observer une certaine similarité sur les notes ayant trait à la qualité de
l’expérience et à la créativité induite par ces choix de design.
Affirmation
Coprésence non
découverte - 17 réponses
Coprésence découverte
22 réponses
Moyenne Écart-type Moyenne Écart-type
J’ai trouvé cet espace visuel et
silencieux très séduisant 4.65 1.22 4.59 1.44
La simplicité de l’environnement
de réalité virtuelle me rendait
d’autant plus curieux et exploratif
4.56 1.79 4.23 1.57
Ne pas avoir d’instructions ou de
buts spécifiques me déroutait et
m’égarait
1.82 2.04 1.68 1.49
Table 9 - Premier comparatif de notes données entre les groupes n’ayant pas identifié
leur coprésence et ceux l’ayant identifié
Les deux groupes semblent n’avoir pas été gênés du manque de consignes et ont apprécié
les choix minimalistes de design.
Certaines autres affirmations méritent en revanche d’être rapportées au regard de notre
étude, observant des écarts de moyenne significatifs (supérieurs à 0.5 points30).
30 Les affirmations faisant mention du partenaire obtiennent des différences importantes mais ont été écartées, les
résultats étant forcément biaisés car certains découvraient sur le moment la réalité de la relation sociale (l’affirmation
« J’oubliais souvent (régulièrement ?) que certaines des balles représentaient une autre personne » voit par exemple des
notes de 5.29 pour le groupe se pensant seul, contre 2.36 pour l’autre).
124
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Affirmation
Coprésence non
découverte - 17 réponses
Coprésence découverte
22 réponses
Moyenne Écart-type Moyenne Écart-type
Des éléments du monde réel m’ont
souvent extrait de mon expérience
en réalité virtuelle
0.82 1.19 1.41 1.65
Dans cette expérience de réalité
virtuelle, je me sentais être
davantage que mon moi habituel
2.41 2.00 3.18 1.94
J’aurais aimé que l’expérience dure
beaucoup plus longtemps
3.88 1.50 3.36 2.17
Quand on pouvait voir nos balles
dans le miroir, j’avais le sentiment que
nos mouvements ne faisaient qu’un
3.76 1.89 2.91 1.90
Table 10 - Second comparatif de notes données entre les groupes n’ayant pas identifié
leur coprésence et ceux l’ayant identifié
De manière générale il semblerait que les personnes se pensant seules ont une plus
grande facilité à s’immerger et à vivre une expérience introspective que celles se sachant en
coprésence. Elles se sentent généralement moins perturbées par le monde extérieur.
Le second groupe semble quant à lui plus à même de vivre une expérience sociale
« augmentée », en se disant se sentir au-delà de leur moi habituel. On peut supposer que
les participants ont trouvé ici quelque chose de plus fort que leurs individualités séparées,
rappelant les phénomènes de Flow de groupe. L’apparition de cet état s’avère peut-être
conditionnée au fait de se savoir accompagné dans l’expérience interactive31.
Analysons à présent quelques commentaires des personnes ayant découvert la coprésence
de manière tardive.
Lorsqu’on les interroge sur la différence entre la première expérience, lorsqu’elles se sentaient
seules, et la seconde, après avoir pu échanger ensemble sur leur vécu, les sensations
rapportées diffèrent.
P12
« Je me suis sentie plus à l’aise, plus joueuse, plus détendue. »
P38
« Le relationnel a vraiment changé, c’était réellement une danse à deux, et
je me suis sentie plus en état de danse, alors que la première fois je me sentais plus
en état d’expérimentation du mouvement »
31 Au sein de ce premier groupe 7 sur 17 (41 %) avaient déjà eu des expériences de réalité virtuelle, et 11/17 (65 %) avaient
au moins une pratique régulière de la danse.
Dans le second, 13/22 (59 %) avaient déjà eu des expériences de réalité virtuelle, et 12/22 (55 %) avaient au moins une
pratique régulière de la danse.
125
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
P24
« C’était différent, l’interaction était beaucoup moins spontanée »
P42 (traduit de l’espagnol)
« Ça a changé le point d’exploration, [dans la première expérience] je bougeais
à travers les sensations visuelles, [alors que dans la seconde] j’ai essayé de sortir
de ma physicalité et de dessiner avec mon partenaire, en étant des balles.
Mon objectif était contraire à celui de la première expérience. »
De manière générale, se savoir en face d’un humain semble changer le ressenti et la posture
adoptée par rapport à des expériences présumées solitaires.
Même pour des personnes se sachant en coprésence dès la première expérience, le fait
d’avoir pu mettre des mots ensemble sur leur vécu a changé la qualité du rapport lors de la
seconde.
P16
« De 1 avec un inconnu nous sommes passés à 2. Ce n’est plus le même échange.
Il y a eu un peu plus de complicité dans le deuxième échange. »
P43
« Le rapport devient plus influencé par mon idée ou habitude de ce qu’est la relation
humaine dans notre société. Il y a moins de mystère, moins d’abandon vers l’inconnu,
mais peut-être plus de complicité. »
P49 et P52 avaient par exemple vécu chacune une première expérience assez anxiogène,
se sentant l’une enfermée par l’environnement virtuel, et l’autre attaquée par les sphères
adverses. Après avoir discuté avec leurs partenaires respectifs, elles ont pu vivre une seconde
expérience bien plus satisfaisante :
P49
« Le cadre était beaucoup plus rassurant que la première fois ! Environnement connu,
présence reconnue de l’autre personne »
P52
« Je savais que c’est mon amie. J’ai joué avec elle »
P35 nous apporte en guise de conclusion :
P35
« Je pense que c’est bien de ne pas savoir à l’avance [que les autres sphères
sont l’autre personne], ça m’a permis de rentrer dans l’expérience par mon propre
corps en réalité virtuelle puis de rentrer en interaction à un certain moment
sans que ce soit un devoir »
Ces commentaires nuancent nos précédentes observations sur le potentiel de la SDR.
126
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Le fait de se penser seul dans l’environnement virtuel induit une expérience tournée vers
ses propres sensations, plus exploratoire et personnelle. Se savoir accompagné amène
en revanche les participants à user sciemment des stratégies de coordination sociale, à
entrer davantage dans une forme de danse. La dimension de jeu et l’écoute portée aux
mouvements changent radicalement.
Les participants se sentant seuls ont exprimé plus de difficulté à comprendre ce qui leur
était demandé, ont émis parfois de la frustration et ont pu user de qualités gestuelles plus
violentes. Certains ont ainsi pu se sentir soulagés lors de la 2e expérience, partageant cette
fois leur désorientation avec quelqu’un d’autre.
Certains nous disent avoir finalement apprécié cette ambiguïté, se sentant peut-être plus
libres d’expérimenter ces nouvelles sensations comme ils l’entendaient, et se satisfaisant de
cette énigme consistant à voir leurs propres mouvements leur revenir altérés, décalés.
Expérience préliminaire de la RV
Il est intéressant de nuancer également les notes données aux questionnaires par le fait que
beaucoup de ces personnes découvraient la VR pour la première fois.
21 participants ont déclaré avoir eu quelques expériences préalables ou se disaient des
habitués de la VR, contre 19 n’ayant jamais eu d’expérience. Là encore des différences de
notation apparaissent pour certaines des affirmations du questionnaire.
Affirmations
Non-connaisseurs
de la VR - 21 réponses
Connaisseurs de la VR
19 réponses
Moyenne Écart-type Moyenne Écart-type
J’ai trouvé cet espace visuel
et silencieux très séduisant 4.84 0.96 4.19 1.83
La simplicité de l’environnement
de réalité virtuelle me rendait
d’autant plus curieux et exploratif
4.68 1.42 4.05 1.79
Mon partenaire n’a pas apprécié
l’expérience 1.33 1.53 2.00 2.12
J’oubliais souvent (régulièrement ?)
que certaines des balles représentaient
une autre personne
4.05 2.15 3.24 2.10
Des éléments du monde réel m’ont
souvent extrait de mon expérience
en réalité virtuelle
0.84 1.01 1.48 1.75
Mon attention était davantage
focalisée sur mes propres
mouvements que sur la relation
entre nos mouvements respectifs
3.37 1.74 2.33 2.03
127
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Dans cette expérience de réalité
virtuelle, je me sentais être davantage
que mon moi habituel
3.16 1.71 2.43 2.23
J’aurais aimé que l’expérience dure
beaucoup plus longtemps 3.84 1.74 3.24 2.07
J’étais davantage conscient
de mon corps que d’habitude 3.00 1.83 2.38 2.01
J’étais souvent celui qui initiait les
interactions avec l’autre personne 2.47 1.26 3.29 1.71
Quand nos balles avaient des
couleurs différentes, je me sentais
davantage séparé de l’autre personne
1.74 1.82 2.38 2.40
Quand je ne pouvais plus voir
mes propres balles, je trouvais que
j’interagissais davantage avec l’autre
personne
3.32 2.08 1.57 2.04
Quand je ne voyais plus mes propres
balles, je ressentais davantage de
proximité avec l’autre personne.
L’absence de mes propres balles
me faisait ressentir davantage de
proximité avec l’autre personne
3.32 2.00 1.76 2.07
Cohabiter l’espace virtuel avec
l’autre personne créait un sentiment
d’intimité
2.53 2.27 3.62 1.88
Table 11 - Comparatif de notes données entre le groupe n’ayant pas une grande expérience de la
RV et celui se disant habitué
Il est intéressant de noter que les expériences étaient souvent plus immersives et personnelles
pour les participants découvrant la VR. Ils étaient également plus sensibles à la disparition
de la perception de leurs mains.
Les connaisseurs parvenaient davantage à sentir du dialogue avec le partenaire et à
s’adapter aux changements perceptifs. Ces changements arrivant de manière inattendue,
il est probable que des personnes découvrant la réalité virtuelle aient pu les vivre avec une
certaine décontenance.
Ces derniers notent de manière plus basse la question « J’aurais aimé que l’expérience
dure plus longtemps », peut-être furent-ils plus rapidement lassés de l’expérience et moins
sujets à l’émerveillement des premières fois.
128
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Expérience préliminaire de la danse
Enfin, il semble intéressant de différencier les notes des experts de la danse de celles des
autres, moins habitués à utiliser leur corps comme un moyen d’expression.
Le groupe appelé ci-après « Non danseurs » regroupe les participants ayant renseigné
« Danse sociale », « Quelques cours » et « rares expériences » aux questions traitant de leur
niveau de pratique de la danse.
Le groupe « Danseurs réguliers » regroupe les participants ayant renseigné « Pratique
régulière » et « Danseur professionnel » aux mêmes questions.
Affirmation
Non-danseurs
18 personnes
Danseurs réguliers
24 personnes
Moyenne Écart-type Moyenne Écart-type
J’ai trouvé cet espace visuel
et silencieux très séduisant 3.83 1.65 4.96 1.12
La simplicité de l’environnement
de réalité virtuelle me rendait
d’autant plus curieux et exploratif
3.94 1.89 4.75 1.33
J’avais une agréable sensation
de légèreté 3.83 1.50 4.63 1.56
Des éléments du monde réel m’ont
souvent extrait de mon expérience
en réalité virtuelle
1.67 1.81 0.92 1.28
Dans cette expérience de réalité
virtuelle, je me sentais être
davantage que mon moi habituel
2.11 2.05 3.25 1.92
La connexion et les interactions
avec l’autre personne se faisaient
facilement et très naturellement
2.44 1.79 3.54 1.72
J’aurais aimé que l’expérience
dure beaucoup plus longtemps 2.39 1.94 4.29 1.40
J’étais davantage conscient
de mon corps que d’habitude 2.33 2.03 3.00 1.82
Je trouve que l’installation en
réalité virtuelle limitait le potentiel
de mes mouvements
1.72 1.64 2.83 1.79
129
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Quand on pouvait voir nos balles
dans le miroir, j’avais le sentiment que
nos mouvements ne faisaient qu’un
2.56 1.72 3.67 1.95
Je ne faisais pas attention au reflet
de nos mouvements dans le miroir 2.33 2.25 1.46 2.00
Ne pas avoir d’instructions ou
de buts spécifiques me déroutait
et m’égarait
2.72 2.02 1.17 1.27
Cohabiter l’espace virtuel avec
l’autre personne créait
un sentiment d’intimité
3.56 1.76 2.83 2.30
Table 12 - Comparatif de notes données entre le groupe de non-danseurs
et celui constitué de danseurs réguliers
L’espace virtuel est particulièrement séduisant pour les danseurs, il les rend plus créatifs et
ils se laissent facilement emmener dans l’interaction. Ils témoignent également avoir plus
de facilités à créer du lien avec l’autre.
Ils sont également moins perturbés que les non-danseurs par les éléments de l’extérieur
mais se sentent aussi moins libres de leurs mouvements.
Les non-danseurs ont semble-t-il été plus attentifs au miroir, à la singularité de cette
nouvelle expérience intime et sociale, là où les danseurs se concentraient davantage sur la
proximité de leurs mouvements avec ceux du partenaire.
Enfin il est logique que les danseurs trouvent dans ce paradigme interactif un outil
d’exploration intéressant, et qu’ils expriment vouloir vivre l’expérience plus longtemps.
Ces différentes distinctions entre les participants nous invitent à reconsidérer la pertinence
de la SDR pour un usage grand public. Ayant été développé par et pour des danseurs, il est
logique que la plateforme du projet Articulations trouve chez eux un intérêt plus important.
Cette plateforme apporte un ensemble d’ingrédients permettant de favoriser l’attention sur
le mouvement collaboratif, tout en offrant une expérience corporelle différente, fluctuante,
à l’influence directe sur les stratégies gestuelles.
Pour les publics non-danseurs, l’immersion dans l’expérience semblait moins forte et d’un intérêt
moindre, à l’image des publics ayant déjà eu des expériences préalables en réalité virtuelle.
2.3.13 • Une performance hybride et semi-improvisée en Réalité Diminuée
Nous clôturerons cette longue section par la présentation d’une performance, rendue publique
au cours de deux événements différents et tirant profit de notre plateforme expérimentale.
Comme développé en détail dans notre article commun Vuarnesson et al. (2021), il nous est
apparu au cours des différents workshops et expérimentations que cette plateforme possédait
130
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
un potentiel performatif important. Si la configuration utilisée pour les expérimentations,
plaçant les deux partenaires dans des espaces physiques distincts, peut rendre complexe
l’observation des dynamiques sociales pour un regard extérieur – les corps bougent à part,
sans lien visible pour les réunir –, observer certaines performances dans l’environnement
virtuel a quelque chose de fascinant, même sur un écran et vu à la troisième personne.
Développer davantage le potentiel artistique de notre outil s’est ainsi rapidement révélé
primordial.
Une des particularités de travailler avec des danseurs est qu’ils nous font vite constater
les limites de nos propres cadres expérimentaux. Que ce soit en traversant volontairement
les limites de l’espace virtuel qui leur est dédié (et au risque d’entrer en collision avec les
objets environnants), en dégrafant les capteurs des mains pour les mettre aux pieds, ou bien
même en se roulant par terre et en faisant le poirier, ils parcourent l’ensemble des éléments
pouvant révéler un caractère ludique et n’hésitent pas à les intégrer à leur composition.
Ces derniers voient ainsi dans notre plateforme bien plus qu’un outil de recherche sur le
geste, avant tout c’est pour eux une occasion d’explorer un nouveau corps et un nouvel
espace de règles.
Observant ainsi notre outil expérimental se faire malmener, l’aspect performatif de
l’installation se révèle donc de lui-même et il est décidé en compagnie du chorégraphe Clint
Lutes, membre originel du projet, et des danseurs de Hip-Hop Nassim Baddag et Sofian El
Boukhari, de monter ensemble un objet artistique en SDR.
Réaliser cette performance contribue ainsi à la richesse de ce projet à au moins deux égards.
- Il nous apparaît alors comme un enjeu social et épistémologique de permettre à la recherche
de trouver de nouveaux terrains de valorisation et de rencontre avec le grand public.
- En le présentant à un public divers dans des contextes de rencontres arts-sciences, nous
laissons volontairement les limites du projet nous échapper. Laisser les danseurs et le public
découvrir et s’approprier l’outil contribue en effet à tracer de nouvelles pistes de recherches
et faire émerger de nouveaux questionnements.
Clint Lutes avait déjà soulevé lors des premiers workshops certaines des qualités et objectifs
que nous devions atteindre pour développer une forme performative intéressante :
- L’outil doit permettre aux participants de danser
- La danse doit être intéressante à regarder en elle-même
- Le public doit comprendre ce qu’il se passe dans le virtuel
La première phase de la création de la performance a donc lieu au cours de la semaine
de symposium Virtual Creativity, Collective Realities, où deux jours sont consacrés à un
workshop au centre CNRS Pouchet.
Nous y faisons découvrir la plateforme aux deux danseurs qui peuvent explorer leurs nouveaux
potentiels et contraintes corporelles. Leur danse étant très portée sur une relation au sol, au
poids et aux équilibres, la perspective d’être privé de la perception des pieds constitue une
première phase d’adaptation. Les danseurs, placés tour à tour dans les différentes conditions
visuelles d’Articulations découvrent les sensations singulières de toucher le sol avec des
sphères, de voir leurs bras s’agrandir, de dessiner dans l’espace, et surtout de transposer
leurs multiples figures au registre permis par ce nouvel environnement.
131
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Observant les danseurs immergés, nous pouvons observer leurs réactions et l’impact des
changements visuels sur leurs prises d’initiatives et leur plaisir de bouger ensemble. Nous
éditons à leur demande certains paramètres et improvisons également quelques variations
pour les surprendre ou leur faire visualiser le potentiel du moteur graphique.
Clint, quant à lui, observe et questionne les différentes manières de donner à voir sur l’espace
scénique l’interaction qui se développe dans le virtuel. Que ce soit en touchant les danseurs,
en leur parlant, il leur fait prendre conscience de la dualité des réalités spatiales, et devient
lui-même un point de pivot entre ces différentes dimensions.
De ces observations et à travers le recueil des différentes impressions (Fig. 75), une première
ébauche de scénario se dessine naturellement.
Différents tableaux semi-improvisés sont dessinés, délimités temporellement par des
signaux envoyés par les danseurs, par un changement de musique, de condition visuelle,
ou par l’action directe de Clint. Le rôle de ce dernier devient central. Intégrant pleinement la
performance en qualité de médiateur, il permet d’intégrer en quelque sorte le public dans
la danse. Au cours des différents tableaux, il influence le mouvement, déplace un capteur
d’une main à la cheville, et danse lui aussi au milieu de l’espace.
Fig. 75 • Séquence de discussion et d’idéation suite à la première immersion des danseurs
dans le dispositif Articulations
133
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Deux performances sont proposées en présence d’un public, la première à l’occasion des
journées Artec à Enghien-les-Bains le 6 novembre 2019 (Fig. 77), et la seconde le 13 novembre
à la salle Rotonde de l’ENSAD (Fig. 78).
Le descriptif complet de la performance peut-être lu dans Vuarnesson et al. (2021) et une
vidéo de la captation de la seconde performance peut être visionnée à l’adresse suivante :
https://vimeo.com/392659020.
Cette vidéo offre un témoignage tangible de nos explorations scientifiques et artistiques et
permet de rendre compte de cette approche hybride et transdimensionnelle.
La discussion autour de la question du médiateur a d’ailleurs pu être poursuivie dans
Vuarnesson et al. (2021), formalisée par l’approche conceptuelle du White Rabbit, celui qui à
la manière du lapin blanc d’Alice au pays des merveilles fait le lien entre différentes réalités
qui se chevauchent.
En cherchant à donner à voir au public la relation qui se construit entre les deux danseurs
immergés, le médiateur s’apparente en effet à ce personnage, révélant l’existence de ces
différentes dimensions par son propre mouvement. Il incarne l’hybridité de la performance
et transforme l’expérience immersive en réalité mixte, dont les jointures se révèlent à la fois
à travers les sens visuels, auditifs et tactiles.
Ce matériau esthétique et conceptuel du lapin blanc est donc le fruit même de cette
approche performative, il a pu donner lieu à deux workshops de recherche création, invitant
durant l’année 2021 des marionnettistes et étudiants du master Artec au lieu-dit de Larret,
et plusieurs expérimentations du troisième chapitre de ce manuscrit en sont issues.
Plus qu’une simple valorisation publique d’un projet de recherche-création, cette performance
apparaît donc comme la condition même de l’émergence de nouvelles questions de design.
Certaines conditions non évaluées en laboratoire ont ainsi pu être explorées à travers leurs
finalités purement esthétiques (traces de fumée, objets abstraits liants les participants entre
eux), et le cadre même du projet se sera vu repousser.
L’approche hybride de la recherche-création s’avère tout indiquée pour faire vivre nos
questionnements et les laisser ressurgir sous de nouvelles perspectives.
2.3.14 • Discussion sur le projet Articulations
Pour tirer quelques conclusions préliminaires du projet Articulations et les appliquer à ma
propre étude, je vais d’abord revenir sur quelques grandes idées exposées jusqu’ici.
Construit par et pour les spécialistes du mouvement, ce projet aura servi de point de jonction
entre de multiples disciplines, notamment les mondes de la recherche en design et ceux de
la psychologie cognitive.
Plusieurs contributions et intuitions intéressantes ressortent de ce partenariat, liant
perception, geste, relation sociale et expérience sensible :
La RV et l’embodiment minimaliste pour l’étude des mécaniques interpersonnelles
Au regard des témoignages parcourus lors des précédentes sections, le concept de Réalité
Diminuée Partagée (SDR) est ressorti de nos expérimentations comme un paradigme
d’étude pertinent pour l’étude des stratégies de coordination sociale.
134
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Préconisant de laisser au simple langage gestuel le soin de porter l’interaction, la SDR a su
faire émerger à travers notre plateforme des relations créatives, parfois intimes, malgré le
fait que beaucoup de participants ne se connaissaient pas avant.
En jouant à la fois sur les apparences de l’environnement (priming) et des corps (effet
Proteus), il nous est apparu possible d’induire chez les participants des états mentaux
introspectifs. Le calme et la légèreté induits par le visuel épuré leur ont permis de s’engager
parfois au-delà d’eux-mêmes, et d’oublier l’environnement physique autour d’eux.
Les propriétés portables et immersives de la réalité virtuelle auront ainsi permis d’appliquer
notre protocole expérimental dans de multiples contextes et d’y récolter ainsi de nombreuses
données :
- À travers les informations de position et d’orientation collectées, nous avons pu révéler par
exemple une corrélation entre la lenteur du mouvement et le sentiment de proximité entre
les participants. Ce type d’observation invite à poursuivre l’étude en développant d’autres
questions et intuitions, nous en aborderons quelques-unes dans la section suivante traitant
des prochaines étapes du projet.
- Concernant les témoignages recueillis au sein des questionnaires et des différentes
interviews, nous avons pu voir à quel point les expériences vécues ont pu être diverses. Que ce
soit dans l’amplitude des récits, dans le sens donné au mouvement ou dans la projection de
soi, les participants ont tous engagé une part d’eux-mêmes malgré l’incarnation minimaliste.
Ces observations invitent quant à elles à explorer davantage les liens entre perception de soi
et dynamiques gestuelles, et observer par exemple comment les dynamiques de conditions
visuelles peuvent encourager le mouvement ou refocaliser l’attention.
La SDR s’avère donc un outil conceptuel et technique particulièrement adapté pour explorer
le lien entre geste et qualité d’expérience, aux sens individuels et relationnels.
Fig. 79 • Des participantes explorant la plateforme lors de la présentation publique
du projet à l’ENSAD en novembre 2019
135
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Une coordination hors du registre anthropomorphique
Selon la pensée énactive, le sens construit au sein d’une expérience dépend de l’interaction que
l’on développe à travers elle. C’est le résultat du couplage sensori-moteur entre un corps et ce
qu’il perçoit de son environnement, et où l’action est constamment adaptée en conséquence.
Lors d’une rencontre sociale, les individus se coordonnent, quand bien même leur
perception mutuelle serait minimisée par une interface obstacle, à l’image du paradigme
d’Auvray et al. (2009).
Nous avons pu au cours de ce projet observer des résultats similaires, voyant les participants
se reconnaître, s’adapter et construire du sens ensemble malgré l’absence d’éléments
rappelant le corps humain.
Plus intéressant encore, si une bonne partie de nos participants ont compris dès le début être
en interaction avec une autre personne, certains autres ont développé toute leur expérience
en ignorant ce fait, mettant néanmoins en place ces mêmes stratégies de coordination et
d’adaptation. Certains participants ont témoigné se sentir regardés ou ont mis en place une
mimétique sans envisager pourtant la présence humaine derrière les sphères partenaires.
Sans pour autant conclure à une forme de projection sociale et empathique, cette tendance
à l’imitation démontre qu’il est possible d’induire du mouvement dynamiquement avec des
formes abstraites qui bougent et nous ressemblent. Elle interroge également sur les frontières
de cette coordination, et sur l’amplitude de gestes qu’un individu peut emprunter d’une forme
numérique. Cette question pourrait s’avérer déterminante pour le développement de parcours
utilisateurs dans des interfaces naturelles. Nous y reviendrons en conclusion de ce chapitre.
Des limitations de la SDR pour la co-construction d’une narration
Les différents témoignages recueillis durant les phases expérimentales nous mettent face
à l’évidence que chaque participant a pu vivre une expérience différente, et construit son
propre raisonnement face à l’expérience d’embodiment minimaliste. Nous avons pu voir des
divergences entre intentions et interprétations au sein même de certaines dyades, conduisant
parfois à des incompréhensions, à des attentes non assouvies, à du rire. Le geste minimaliste
enlève certainement de nombreuses informations qui permettent de contextualiser, nuancer,
préciser le sens d’une action, c’est en même temps son défaut et son principal atout. L’accès
direct qu’offre la SDR à un registre expressif aussi intime que le geste intuitif nous questionne
sur ses pouvoirs et ses limites en tant que modalité interactive.
L’usage du geste reste propice à l’étude de la coordination sociale par le mouvement, mais
restreint la capacité de développer des langages plus complexes et précis. Les applications
de la SDR doivent donc nécessairement pouvoir tirer profit de cette asymétrie des
interprétations subjectives, induite par le mouvement de formes minimalistes.
Cet aspect abstrait du mouvement n’en reste pas moins un outil créatif intéressant pour
les danseurs, et nécessiterait d’être exploré davantage à cette fin. Les analyses précédentes
laissent peut-être envisager un effet lassant, pouvant se manifester dans le cas d’un usage
répété, et demandant de développer davantage la plateforme pour renforcer son lot de
surprises perceptives et d’altérations stimulantes.
136
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
La recherche transdisciplinaire pour transcender les pratiques du design
Articulations offre finalement un témoignage de la pertinence de l’approche transdisciplinaire
pour déconstruire nos réflexes et certitudes de conception. Croisant les champs des sciences
cognitives, de l’art et du design, nos hypothèses de recherche ont pu être éprouvées,
déconstruites et malmenées par chacun des membres du projet au cours des workshops
préliminaires.
À l’opposé des danseurs, pour qui la pratique est accessible à l’envie, nos places en tant que
designers ont pu plusieurs fois apparaître comme un ensemble important de contraintes,
du fait de la lourdeur de l’installation numérique et de son lot de contrariétés. Pourtant en
les amenant à s’approprier la plateforme, nous avons pu nous questionner sur la relativité
de nos propres principes de designers. Voyant les capteurs de réalité virtuelle passer de
main en main, comme des objets de disembodiment esthétique, voyant certains traverser
volontairement les limites de l’espace virtuel par défiance et espièglerie, ou écoutant
encore la longue liste de fonctionnalités qu’ils auraient aimé explorer, nous avons pu voir la
technologie de réalité virtuelle comme un outil permettant de générer des idées, d’approcher
collectivement de nouvelles sensations, de tenter de les saisir et de les nommer ensemble
malgré la diversité de nos langages.
Le projet Articulations a permis de mener plusieurs événements scientifiques et artistiques,
au cours desquels nous avons à chaque fois pu repousser les manières d’appréhender ces
espaces et relations minimalistes. Cet objet d’étude ne cesse encore de nous échapper et de
renouveler son lot de questions, offrant à nos différentes disciplines quelque chose de bien
plus fort qu’une simple somme de nos contributions respectives.
2.3.15 • Prochaines étapes du projet
Articulations est à l’heure de l’écriture de ces lignes un projet toujours en cours. Un nouveau
protocole expérimental fut développé courant 2020 sur la base de la plateforme existante,
et annonçait une nouvelle phase expérimentale inspirée du « jeu du miroir » de Noy et al.
(2011). Cette expérience, chargée d’observer les dynamiques de mimétique en SDR devait
avoir lieu en partenariat avec l’Université de Vincennes mais a dû être annulée à cause des
restrictions sanitaires. Elle est toujours envisagée et devrait être reprogrammée dès que la
situation le permettra.
Durant l’année 2021, nous avons pu organiser deux workshops créatifs impliquant
marionnettistes, étudiants de master et l’équipe du projet Articulations. Une présentation
publique a pu en être issue à la fin de la seconde semaine32.
Outre ces horizons en sciences cognitives et les explorations créatives en workshops, le
projet offre de nombreuses perspectives de recherches ultérieures, détaillées dans nos
articles Laroche et al. (2021) et Vuarnesson et al. (2021). Parmi elles :
- Explorer davantage nos tendances à construire des histoires - Les divergences
d’interprétation observées rappellent les travaux sur les biais cognitifs de Heider et Simmel
(1944) et nous invitent à impliquer les participants davantage dans l’explication de leurs
propres constructions de sens. Mêlant théorie ancrée et approche phénoménologique, nous
32 Un descriptif plus complet du workshop peut être lu ici :
https://spatialmedia.ensadlab.fr/2021/05/workshop-articulation-lapin-blanc/
137
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
pourrions entamer la déconstruction de performances singulières en SDR et tenter ainsi de
comprendre davantage la place du geste dans nos mécanismes de construction sociale.
- Les phénomènes et conséquences liés au disembodiment - De nombreuses études ont
permis d’établir un lien direct entre la perception de notre corps et la manière dont cela altère
nos actions, nos émotions et l’impact sur nos comportements sociaux (Serino et al., 2013 ;
De Jaegher, 2013 ; Tajadura-Jiménez et al., 2017 ; Valori et al., 2021). La capacité de notre
plateforme à contrôler précisément les paradigmes visuels pourrait nous amener à proposer
différentes configurations de rencontre sociale, voyant changer les enveloppes corporelles
et les niveaux de similarité entre les différents participants. L’emploi de la SDR trouverait
ainsi une certaine utilité dans l’observation et l’étude de certains phénomènes de troubles
corporels, individuels ou relationnels.
- Développer un outil de pure création artistique - Articulations nous invite à développer
davantage l’application de la SDR pour la création de chorégraphies et autres formes
esthétiques en mouvement. En jouant davantage de l’effet Proteus, nous pourrions par
exemple envisager un embodiment dans des corps polymorphes et hybrides, afin d’influer
directement sur les propositions gestuelles à des fins d’écriture de pièces dansées. À l’image
de la performance d’Articulations en novembre 2019, nous pourrions envisager également
de poursuivre l’exploration de nouvelles formes de visualisations et scénographies hybrides,
questionnant la relation conjuguée des immersants avec le public.
- Faire parler les données de mouvement relationnel - Enfin nous avons pu collecter de
nombreuses données de performances, dont certaines ont permis de faire ressortir quelques
tendances, décrites dans Laroche et al. (2021). Certains travaux proposent une traduction
haut niveau des mouvements pour y reconnaître des qualités de gestes, permettant de lier
gestes et émotions ou d’envisager des modalités interactives plus sensibles (Aristidou et
al., 2015 ; Fdili Alaoui et al., 2017 ; Senecal et al., 2020 ; Garcia 2020). Face à la diversité des
données de performances collectées, et concevant les capacités actuelles de la plateforme,
il semble intéressant de poursuivre le travail d’analyse dans ce sens, nous y consacrerons
pour cela une partie du chapitre III.
Mises ici en perspective avec notre étude sur la générativité du langage interactif dans les
interfaces numériques spatialisées, nous finirons ce chapitre avec quelques préconisations à
destination des designers d’interfaces immersives, inspirées des observations précédentes.
Celles-ci nous permettront d’établir un plan expérimental pour le prochain chapitre.
2.4 • Conclusions pour le design d’expériences naturelles
2.4.1 • Résumé du chapitre
Au début de ce chapitre nous avons vu que le langage interactif numérique pouvait prendre
des formes multiples, en tenant compte de nombreuses informations en simultané et en
y réagissant à travers de multiples canaux sensoriels. Notre inspiration sur les activités
d’improvisation préconisait alors la multimodalité parcimonieuse, préférant des adaptations
minimalistes personnalisées à l’abondance des réactions sensorielles en simultanées. Les
aspects très personnels de la construction de sens et de la réaction à l’information abstraite
invitaient alors à hiérarchiser les réponses adaptatives en fonction de leur intelligibilité et de
leur impact estimé sur la qualité d’expérience.
138
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Pour faciliter cette réflexion, nous avons abordé un développement d’outils de design,
permettant d’estimer rapidement les combinaisons envisageables entre entrées et sorties
au sein d’un contexte expérientiel donné.
Après avoir testé l’un d’entre eux dans plusieurs contextes industriels différents, il s’est
avéré que l’enchaînement entre sensibilisation théorique, déconstruction méthodique et
idéation ciblée était pertinent pour permettre à des personnes non initiées de s’approprier
cette problématique. Il semble en revanche évident que l’expérience directe de l’interaction
est préférable à une simple estimation du bénéfice sur la qualité d’expérience.
Je peux donc à ce stade préconiser l’emploi de tels outils de design pour stimuler
l’innovation, sans négliger pour autant la mise en pratique des fonctionnalités imaginées
lorsque cela est possible.
Au sein du projet Articulations, nous avons pu ensuite voir en quoi le minimalisme
de l’information et l’adaptation directe du langage interactif portaient une dimension
intrinsèquement motivante pour des utilisateurs immergés ensemble. À partir de gestes
intuitifs, les participants ont improvisé des expériences qui leur étaient propres, mettant
leurs expressivités et créativités singulières au premier plan.
Nous y avons vu comment la réalité diminuée partagée permettait de maximiser l’attention
sur tout en laissant la place aux imaginaires individuels de s’exprimer et de construire du
sens du simple mouvement.
Nous avons également vu les liens entre perception corporelle, similarité avec le partenaire,
et stratégies gestuelles déployées. Les altérations perceptives se sont révélées en effet
déterminantes pour orienter l’attention, influencer la sensation de présence, et permettre à
la relation d’atteindre des niveaux de créativité et de plaisir supérieurs.
Ce projet nous invite donc à penser la générativité d’un langage naturel au regard de ce que
les interfaces permettent d’y observer, c’est-à-dire contextualiser l’information en reflet aux
actions et au développement narratif qui y semble lisible.
Dans notre cas, cette proposition questionne la possibilité même d’extraire un sens universel
du simple mouvement et des moyens pour y parvenir. Intégrer les dimensions corporelles et
cognitives dans l’échange interactif permettrait alors de co-développer un narratif avec les
utilisateurs et d’imaginer de nouvelles formes d’interfaces improvisantes comme celles que
nous envisagions en introduction de ce manuscrit.
Pour ce faire, je proposerai à présent et en lien avec les observations précédentes, quelques
directives pour la conception de nouvelles formes de langages naturels et d’interactions
humain/machine.
2.4.2 • Un langage interactif extra-naturel entre l’humain et la machine
Nous avons vu l’extrême souplesse dont peut faire preuve la cognition humaine à l’égard des
changements perceptifs qui surviennent et altèrent les règles de la communication. Nous
avons constaté la diversité des mécanismes d’adaptation déployés, permettant de développer
intuitivement des stratégies d’action, ce, malgré l’aspect évolutif du paradigme virtuel.
Nous avons vu également que des mécanismes de coordination peuvent apparaître entre
un individu et l’interface, au-delà du champ anthropomorphique. Cette sorte d’entre deux
extra-naturel, où les frontières entre l’origine humaine et la matière virtuelle ne sont plus
aussi évidentes, se suffit d’un ensemble d’informations épurées et peut envisager d’être
modulé en fonction de la situation.
139
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Il nous semble intéressant au vu de cette observation, de plaider pour la réutilisation de
certains principes issus de la SDR à des applications plus générales, qu’elles soient multi ou
mono-utilisateurs.
Cette interaction extra-naturelle pourrai t prendre forme à travers les quel ques idées suiva ntes :
• Un rapport d’altérité aux frontières de l’humain
En offrant de nouvelles manières de représenter le corps et les gestes, les interfaces
spatialisées permettent de nouer des expériences sociales riches, toujours dans un registre
expressif naturel mais ne cherchant pas nécessairement à imiter le monde réel.
Les observations faites au cours de cette phase expérimentale nous amènent à préconiser
un design d’expérience ne cherchant pas la « fusion » avec l’humain, ni de tomber dans les
travers de l’humanisation par anthropomorphisme mais plutôt d’explorer un entre-deux
extra-naturel.
À l’heure où de nombreux services proposent de remplacer la présence humaine en en
singeant les conversations à l’aide de chatbots, d’avatars ultra-réalistes ou de voix générées
par ordinateurs, nous pensons que l’usage du minimaliste peut offrir de nombreux potentiels
expérientiels tout en maintenant une séparation claire entre l’individu et l’interface.
Cet intervalle ambigu laisse envisager de nouvelles formes de parcours, mettant en
jeu la coordination et l’altérité tout en évitant les fausses promesses que les avatars
anthropomorphes peuvent induire.
S’il est difficile (et non souhaitable) de reproduire des relationnalités avec la machine aussi
riches que celles des rapports sociaux humains, jouer ainsi des similitudes corporelles et de
l’imitation des dynamiques spatiales et temporelles apparaît comme une piste concrète
vers la conception d’expériences numériques plus organiques.
• Le corps perçu comme lieu d’affordances
Dans un tel contexte extra-naturel, le corps perçu est lui-même bien plus qu’un signe
d’identification. Si l’une des premières actions en contexte immersif consiste à se spécifier
soi-même, l’apparence de l’avatar est également primordiale dans l’élaboration des
stratégies d’interaction.
Nous avons vu à quel point la seule perception des mains pouvait induire des gestualités
particulières, donnant des impressions de légèreté, de fragmentation. L’avatar renseigne
ainsi immédiatement de ses potentiels et influence l’action à venir. Plus les apparences
seront minimalistes, plus l’interaction sera personnelle, car basée sur l’imaginaire subjectif
et les métaphores. À l’inverse, une apparence corporelle proposant des affordances
précises semblera naturellement destinée à la réalisation d’une tâche (des mains
d’apparences humaines inviteront à la saisie d’objets, un pinceau et une palette de
couleur seront destinées à peindre une surface). Enfin les premières, plus abstraites seront
davantage appropriées à des expériences de type SELF, car invitant plus à l’introspection,
à l’exploration intuitive. Les secondes, plus franches et directes trouveront leur intérêt
dans des expériences de type ACT, où prime la satisfaction de l’accomplissement de
tâches proposées.
Nous préconisons donc d’explorer davantage le rôle que le corps perçu peut revêtir, et les
modalités selon lesquelles on peut le voir évoluer à travers différents niveaux d’abstraction et
140
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
de complexité. Celui-ci est le premier vecteur de construction de sens, et relie naturellement
à l’autre, à l’environnement, et aux actions qui pourront être développées avec eux33.
• Créer un rapport affectif et personnalisé avec l’environnement
Central malgré sa nature englobante, l’environnement joue lui aussi un rôle clé quant à
l’induction de sentiments et de stratégies d’action.
Jouant des échelles, distances, lumières ou contrastes, il influe directement sur le champ
d’attention de l’utilisateur et peut ainsi mettre plus ou moins en valeur certaines informations
numériques.
Si l’accomplissement d’une tâche requiert l’attention complète de l’utilisateur,
l’environnement trouvera un intérêt certain à diminuer toute forme de perturbation et à ne
susciter qu’un intérêt diffus et modéré. À l’inverse, si l’expérience invite à l’exploration ou à
la prise de risque il pourra être plus réactif à l’action et aux situations rencontrées.
En tous les cas il assure un cadre à toute l’expérience et se doit de faciliter la tâche principale,
il doit pour cela rendre évidentes certaines règles sur lesquelles toute l’interaction va reposer.
À la différence du rapport d’altérité exposé précédemment, on est davantage ici dans un
rapport affectif. Les adaptations environnementales doivent être pour cela calibrées par
rapport à la disponibilité attentionnelle instantanée de l’utilisateur.
2.4.3 • Portée des choix de design et horizons de travail
Si le design adaptatif est un sujet clé qui ne cessera de trouver des applications dans les
nombreux domaines de l’industrie, de la santé, ou dans tous types d’applications grand
public, certaines tendances s’orientent aujourd’hui vers une récolte systématique de jeux
massifs de données pour l’analyse de comportements sociaux ou émotionnels, souvent en
dissimulant la réalité des usages faits de ces mêmes données.
Penser l’adaptation à l’aide de ces principes et technologies invasifs questionne les limites
éthiques que nous nous devons de maintenir en tant que designer, pour pousser au contraire
l’innovation vers des approches préservant le bien-être et le respect de la vie privée des
utilisateurs.
L’analyse des performances d’Articulations nous a montré que le geste intuitif porte
en lui suffisamment d’informations pour permettre de vivre une expérience adaptative
émotionnellement riche tout en étant extrêmement personnelle. Qui plus est, ces données
de mouvement sont directement accessibles par les technologies de réalité virtuelle et ne
nécessitent pas d’équipements supplémentaires. Enfin ces dernières ne trompent pas sur la
réalité de leur fonction, tous les modules de capture gestuelle étant clairement identifiés et
manipulés par l’utilisateur.
En l’état actuel des connaissances, nous nous heurtons encore à quelques incertitudes sur
les bonnes manières de traiter l’information gestuelle intuitive.
Comme nous le disions précédemment, différents niveaux sémantiques sont sollicités par le
geste humain, et même s’ils sont issus d’une base de sens commun, ils restent néanmoins
complexes à traduire d’une manière explicite.
33 Pour citer Abraham Maslow : « J’imagine qu’il est tentant, si le seul outil dont vous disposiez est un marteau, de tout
considérer comme un clou » (1966)
141
Expérimentations •
Vers une traduction du geste
dans les expériences
numériques
2•
Dans le souhait de poursuivre le travail en vue d’un développement d’interfaces humain/
machine autonomes, certaines questions subsistent donc :
- Dans quelle mesure les gestes font-ils appel à l’interprétation individuelle, et existe-t-il
des invariants pouvant être communément reconnus par tous ?
- À quels niveaux sémantiques ces éventuels invariants se définissent-ils, et existe-t-il des
unités de mesure pour les évaluer ?
- Comment opérer des adaptations multimodales à partir de ces éventuelles mesures, peut-
on envisager la conception d’un langage interactif naturel de cette manière ?
Dans le but de répondre à ces différentes questions, nous prendrons dans le prochain
chapitre une posture plus personnelle consistant à développer une approche pratique en
design d’interface, fondée sur l’ensemble des outils et observations précédentes.
Nous tenterons d’y faire parler nos données de mouvement, afin de comprendre ce qu’elles
peuvent révéler d’une situation, puis nous entraînerons des machines à y réagir de manière
automatisée, dans le but de conduire peut-être à l’émergence d’états cognitifs similaires à
ceux approchés en SDR.
Geste
improvisé
et interfaces
naturelles
Vers de nouveaux fondamentaux
pour le design d’expériences optimales
en médiations immersives
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
144
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.1 • Introduction
3.1.1 • L’adoption d’un point de vue ancré et situé
Dans les parties précédentes nous avons pu identifier certains enjeux des NUIs sous-
tendant l’engagement créatif d’individus en interaction, en liant notamment mécanismes
de perception et de motivation.
Cherchant à estimer l’importance des facteurs individuels et contextuels sur le déroulement
d’une expérience, nous avons pu identifier de nombreuses variables pouvant influer sur l’action
d’un utilisateur, et de nombreuses manières d’amener la machine à y formuler une réponse.
Penser une expérience numérique adaptée à la sensibilité d’un individu implique de pouvoir
en lire le caractère, le comprendre, mais aussi de le contextualiser au regard du lien et du
temps qui l’accueillent.
Gardant notre socle conceptuel des activités d’improvisation partagée, nous avons ensuite
exploré comment deux participants peuvent co-créer du sens à partir du mouvement intuitif
au sein d’une expérience numérique spatialisée. La perception de soi, la différence avec
l’autre, l’esthétique de l’environnement et la liberté laissée à l’exploration se sont toutes
avérées des considérations déterminantes sur les volontés d’engagement des participants.
Inviter un individu à user de sa sensibilité et de sa créativité au sein même d’une expérience
numérique implique, d’un point de vue technique comme conceptuel, de voir l’expérience
non pas comme une succession d’interactions avec des fonctionnalités mais davantage
comme une rencontre avec quelque chose d’« autre », comme un langage en construction.
C’est ce que nous proposons d’explorer à présent.
Face à l’impasse que la volonté de systématisation du langage intuitif et sensible laisse
entrevoir, il apparaît nécessaire d’adopter au cours de ce chapitre une approche différente.
Ne pouvant proprement décontextualiser la question du langage à la singularité même des
individus considérés, ce travail doit se mener en poursuivant un raisonnement singulier,
incarné et situé.
Au-delà de l’application des recommandations faites à la fin du chapitre précédent pour
la conception d’interfaces naturelles, je prends le choix de mettre en jeu ici ma propre
sensibilité de chercheur et de designer. Je basculerai pour cela intégralement vers l’usage
du pronom « je », non pas pour me placer comme le centre de ma recherche mais pour
m’affirmer comme son point de départ et le responsable de ses évolutions.
Ainsi et si le ton employé durant ce chapitre pourra parfois s’apparenter à un carnet de notes
— proposant au lecteur de m’accompagner dans la déconstruction de multiples questions,
qu’elles soient d’ordre techniques ou conceptuelles — il reste néanmoins nécessaire pour
justifier l’entièreté de mon raisonnement et de ses résolutions.
Ce positionnement me permet d’itérer à travers des intuitions personnelles, et de développer
une recherche résolument axée sur une pratique en design. Les contributions proposées
seront alors un reflet même de ce que ce changement d’approche rend possible.
145
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.1.2 • Un langage naturel adressant deux registres attentionnels
Je souhaite tout d’abord rendre compte d’un basculement affectant le caractère même de
mon objet de recherche.
Auparavant centré autour du concept imprécis d’adaptativité - et dont le scope de recherche
en design numérique s’avère finalement limitant - celui-ci s’est vu malmener au fil de mes
expériences de danse et d’immersion numérique, jusqu’à finalement s’essentialiser sous la
forme d’une sensation.
Une sensation est complexe à décrire par les mots, mais je me risquerai ici à la résumer
comme un état fragmenté, dû à une dissociation de l’attention portée sur deux formes
interactives conjuguées, liant chacune mouvement et réaction sensible.
La première de ces interactions prend forme dans le contexte particulier de la SDR qui, à titre
personnel, m’aura laissé apercevoir à plusieurs reprises cet équilibre fragile entre contrôle et
dérive dont je parlais en introduction de ce manuscrit.
La réduction des corps et la similarité des avatars, ôtés du poids des biais sociaux et non-
verbaux, purent favoriser semble-t-il, l’apparition de mécanismes naturels d’imitation et de
coordination, allant jusqu’à cristalliser le phénomène même de résonance créative.
La sensation d’être écouté et compris, alors même que notre agentivité est incertaine, donne
un pouvoir affectif séduisant à l’échange. Se trouver ainsi en résonance avec ce mouvement
dont les origines restent imprécises révèle une nouvelle vallée de l’étrange, où ce n’est pas la
gêne provoquée par l’apparence trop réaliste qui ressort, mais plutôt la familiarité étonnante
qu’ils nous évoquent.
Par son caractère improvisé et libre, à la fois invitant et questionnant, l’échange revêt alors
un caractère intuitif, ludique et profondément personnel.
La deuxième forme d’interaction m’est apparue régulièrement lors des différents workshops
expérimentaux et met en lumière la relation étroite que nous construisons entre designers
et danseurs immersants. Les premiers y accompagnent les seconds en leur proposant des
variations visuelles auxquelles ils ne sont pas toujours préparés. Ces changements influent
directement sur la qualité de leurs mouvements et sur la qualité de l’expérience elle-même.
Du point de vue de l’immersant, l’état vécu est alors étrange. On ne peut qu’accepter que
ce qui nous semble acquis puisse disparaître et être remplacé sans crier gare, et que cela
conduira in fine à un dénouement appréciable. On remet son sort alors à quelque chose
d’ambiant, d’englobant, qu’on imagine doué d’une compréhension plus large que ce qui
nous est directement perceptible. On porte alors une part de notre conscience sur un ailleurs
qui finit par faire partie de notre conception du monde.
Cette dualité de l’attention portée sur des interactions tantôt explicites tantôt implicites
conditionne je crois mon propre lâcher-prise en immersion. Elle donne une trame à ce qui
me semble maintenant nécessaire d’explorer, et qui témoigne du potentiel incroyable des
interfaces naturelles spatialisées : voir l’outil numérique comme un partenaire protéiforme,
accompagnant l’utilisateur dans un espace où ses propres limites ne sont plus évidentes,
où ses sensations et son intuition sont reines, et où ce qu’il y apprend trouve son sens bien
au-delà du temps de l’expérience.
146
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.1.3 • Stratégie expérimentale
Dans les sections qui suivent je me baserai sur les concepts développés précédemment et
tenterai d’en appliquer l’essentiel à des prototypes d’expériences mono et multi-utilisateur.
Je prendrai comme matériau de travail les données de mouvements récoltées lors du
projet Articulations et appliquerai à mon propre cas la trame d’idéation présentée dans la
section 2-2. Cette dernière permettra de segmenter naturellement les différentes étapes
de développement, et conduira finalement à la conception de prototypes expérimentaux
conclusifs, témoignant du changement de regard sur mon objet de recherche, comme
exposé en introduction de ce chapitre.
Le travail se découpera donc comme suit :
- Cherchant à définir tout d’abord la grammaire de notre langage interactif, par laquelle les
différentes réponses et adaptations comportementales de notre expérience pourront être
pensées, cette première partie consistera à identifier ce qui dans les données de mouvement
pourra constituer une matière suffisante pour justifier l’adaptation.
Usant d’outils développés pour l’occasion, je rendrai compte de plusieurs phases de
visionnage des données, extrayant parmi les éléments dignes d’intérêt deux caractères
esthétiques particuliers présents dans le mouvement : l’expressivité individuelle et la
cohésion du mouvement relationnel.
Quelques travaux de référence sur la reconnaissance émotionnelle me permettront
d’imaginer une méthode pour parvenir à mesurer ces métriques en temps réel, malgré leurs
aspects subjectifs.
- Afin d’apprendre à la machine à reconnaître en temps réel des caractères esthétiques
au sein du mouvement, j’entreprends une première phase d’annotation des données de
performances, me fiant ici à ma seule appréciation. Ensuite, je convertis les données de
mouvements en descripteurs de gestes, afin de leur donner un format plus explicite que
celui des simples données de position et d’orientation.
Ces deux phases me permettent de constituer un jeu d’entraînement avec lequel j’entame
ensuite une phase d’apprentissage automatisée. À travers trois problèmes de classification
et de régression je parviens à amener la machine à imiter ma propre appréciation du
mouvement, me permettant ensuite d’en décliner l’usage pour des applications temps-réel.
Cette phase du travail me permet de plus d’identifier les descripteurs les plus à même de
« faire parler » les données de geste, permettant d’esquisser une approche originale de
l’exploitation des mouvements individuels et relationnels, laquelle pourra être réutilisée par
la suite dans mes différents contextes applicatifs.
- La troisième phase consiste finalement à imaginer un ensemble de prototypes, mettant
en scène les réactions adaptatives pouvant être performés par le système numérique en
fonction des données accessibles.
J’envisage pour cela deux approches, à l’image des deux formes d’interaction décrites plus tôt :
• La première est ambiante et implicite, à l’image de la relation englobante entre designer
et immersant. Elle propose l’exploration de différents paysages affectifs, où le geste et
l’environnement sont liés d’une manière inconsciente mais néanmoins perceptible. Les
participants sont invités à apprécier les fluctuations de la scène, tout en essayant de comprendre
147
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
leur influence sur ces dernières. Ce sont ici les différents descripteurs de geste qui manipulent
les réactions ambiantes, et le caractère abstrait de l’interaction invite plutôt à la retenue et au
« bouger juste ». Le virtuel s’habite alors d’une manière ambiante et plurielle.
• La seconde est dynamique et explicite, et vise à reproduire la sensation de contrôle et de
dérive permise par la sensation d’altérité. Je me base ici sur un concept proposé lors d’un
nouveau workshop d’Articulations et que j’ai nommé le danseur médian. Celui-ci se trouve
être une entité intermédiaire, générée par la rencontre de deux séquences de mouvements,
et laissant apparaître un troisième danseur qui intègre les dynamiques de mouvements
des deux participants à la fois. Agrémenté d’un facteur de poids, le danseur médian peut
progressivement glisser vers les caractères de l’un ou l’autre des deux participants, leur
laissant tous les deux la sensation d’avoir un contrôle variable sur celui-ci.
Ces deux preuves de concept m’amènent à finalement à formuler quelques observations
préliminaires au chapitre final et conclusif de cette thèse de recherche-création.
3.2 • Extraire du sens de la SDR
Durant cette première phase de travail, je souhaite identifier ce qui dans mes futurs
prototypes peut être considéré comme une donnée objective intégrable et pourrait in fine
servir de base à leurs adaptations sensibles. Cherchant à développer ces prototypes pour
des expériences immersives mono-utilisateur, je souhaite utiliser l’information accessible, et
comprendre comment en extraire du sens.
Lors des phases expérimentales d’Articulations nous avons pu constater les propriétés
particulières d’un échange entièrement basé sur le mouvement des mains et de la tête, et
l’étonnante capacité des utilisateurs à en développer un narratif engageant.
L’absence de langage non-verbal autre que le mouvement des sphères a, certes, rendu
impossible le fait de nuancer l’action et a pu entraîner parfois des incompréhensions voire
des biais d’interprétation. Certains sujets ont en effet pu témoigner des difficultés qu’ils
ont eu à se comprendre, prenant parfois pour de l’agression certaines invitations amicales à
l’échange. Pourtant nous pouvons reconnaître également la richesse créative de certains de
ces échanges, mise en perspective avec les commentaires passionnés de nos participants
sur leur expérience vécue.
Il me semble important de comprendre ce qui se joue ici et ce qui est réellement contenu
dans les données de gestes. Pour cela je rends compte d’une phase de visionnage de ces
données de mouvement, rendue possible par le développement d’outils spécialement
conçus à cette fin, et d’une série de discussions entreprises avec les différents membres
du projet Articulations. J’y observe à nouveau que plusieurs niveaux sémantiques se
rencontrent, mais que seuls certains d’entre eux sont suffisamment objectifs pour qualifier
les performances individuelles et relationnelles de nos participants.
À l’issue de cette section, j’invoque une littérature spécialisée sur la reconnaissance
émotionnelle par analyse du mouvement, et présente la marche à suivre pour parvenir à
doter la machine de capacités de mesure de ces caractères en temps réel.
148
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.2.1 • Un outil d’analyse sur-mesure
Afin de pouvoir apprécier les dizaines de performances accumulées lors des précédentes
phases expérimentales du projet, j’entreprends dans un premier temps le développement
d’outils dédiés à leur visionnage. La plateforme expérimentale de réalité virtuelle ayant été
développée de manière modulaire, elle peut être facilement agrémentée de fonctionnalités
nouvelles. Aussi, le programme est rapidement adapté à ces nouveaux besoins.
Ci-dessus, on peut voir un rendu du fichier de performance en cours de lecture (Fig. 80). À
l’aide de la souris et du clavier, la caméra peut être déplacée et orientée à l’envie autour des
sphères. À travers l’usage des boutons présents en bas à droite de l’interface, celle-ci peut
prendre successivement les points de vue des danseurs, ou alterner entre une position de
face, de côté et du dessus. Un mode de caméra orbitale peut également être activé afin de
faire tourner automatiquement le point de vue autour des participants et rendre ainsi mieux
compte de la sensation de volume.
D’autres contrôles permettent de naviguer rapidement dans le temps, avec un bouton
de lecture qui permet de pauser temporairement la performance, une barre de vitesse
permettant de régler la rapidité de lecture, et différents boutons qui permettent de passer
rapidement d’une condition à une autre ou de faire des sauts de quelques secondes en
avant et en arrière.
Des paramètres supplémentaires offrent la possibilité d’ajouter un nez sur les sphères de têtes
ou “d’allumer” les différentes sphères lorsqu’elles sont dans le champ de vision du partenaire
Fig. 80 • Accédant directement aux fichiers de performances présents dans l’arborescence du
projet, une interface de contrôle permet de piloter le visionnage de la performance, tout en
pouvant en contrôler la vitesse de défilement et le point de vue
149
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
- ces deux fonctionnalités permettent de pallier l’absence d’information d’orientation des
sphères, rendant par exemple impossible de savoir où se porte le regard d’un participant.
À l’occasion des différentes sessions de travail au cours desquelles les membres du projet
Articulations se rencontrent, il est proposé de réaliser collectivement ce travail de visionnage.
Le programme est donc envoyé aux différents annotateurs qui peuvent chacun visionner
chez eux les performances et en réaliser un travail d’annotation.
3.2.2 • Qualifier l’interaction en SDR
Une démarche d’annotation des performances est entreprise afin de comparer nos
appréciations et voir comment chacun peut extraire du sens des rapports sociaux à l’œuvre.
Nous discutons dans un premier temps des meilleures manières d’étiqueter les performances
gestuelles, ces dernières pouvant être analysées à plusieurs niveaux.
Devons-nous étudier ce qu’il se passe au niveau individuel ? Au niveau de la relation ? Doit-
on utiliser une visualisation améliorée pour se rendre compte par exemple de l’orientation
des sphères, ou bien doit-on éprouver la relation à travers le point de vue des participants
eux-mêmes ? Doit-on enfin différencier visuellement les deux participants ou bien les laisser
vêtus de leur couleur blanche originale ?
En bref, devons-nous recourir à des aides visuelles afin de faire davantage ressortir les
informations contenues, ou vaut-il mieux préserver le minimalisme de la performance et
laisser davantage notre intuition faire le travail d’interprétation ?
Nous abordons finalement cet exercice sous l’angle de l’intuitif, laissant les idées ressortir
naturellement et sans en biaiser le raisonnement.
Pour ma part, je suis marqué à de multiples reprises par le caractère fascinant de ces sphères
en mouvement. Ce qui m’apparaît c’est l’étonnante expressivité des sphères, et le degré
avec lequel il m’est possible de me projeter dans leur relation.
De multiples histoires s’y racontent de toute évidence, tandis que des personnalités très
expressives et différentes en émergent.
Il faut reconnaître que mon esprit est à ce moment habitué à identifier une tête et des
mains et à projeter le mouvement des sphères sur un corps invisible, là où quelqu’un d’autre
pourrait simplement voir trois sphères flottantes. L’éventualité de biaiser mon raisonnement
par un excès de projection et d’interprétation y est un risque important.
Pourtant et malgré cette habitude, les individus disparaissent parfois à mes yeux, et ce, au
profit d’un amas collectif de mouvements poétiques. Dans ces moments particuliers, il n’est
plus possible de différencier qui est qui. L’ensemble apparaît alors harmonieux, comme si
les participants atteignaient une sorte d’unicité dans leur condition d’êtres minimalisés.
Noy et al. décrivent justement les moments d’unité en danse comme des « moments
spéciaux, marqués par la dissolution des frontières entre le soi et l’autre, émergeant d’une
interaction coordonnée continue entre les individus » (2015). Cette définition semble se
rapprocher de ce qui me semble transparaître de certains de ces enregistrements.
S’il m’est évident que ces données contiennent une information très riche, il m’est nécessaire
de confronter ces intuitions avec les autres membres du projet. Nous réunissons alors nos
notes et voyons différents niveaux d’interprétations en émerger.
150
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
D’un point de vue quantifiable, on relève plusieurs commentaires traitant de :
- L’usage des niveaux explorés sur l’axe vertical
- La tendance à occuper l’espace horizontal d’une manière ample, à se déplacer ou à rester
statique
- La tendance de chaque participant à parcourir sa propre kinésphère34
- La quantité de mouvement, l’aspect statique ou actif
Traitant des dynamiques purement relationnelles, on remarque des commentaires sur :
- L’exploration de la kinésphère de l’autre
- La proximité relative de l’un par rapport à l’autre
- Le fait de traverser l’espace intime de l’autre, de se superposer
- Finir le mouvement de l’autre
- S’imiter, s’alterner, s’attendre, se tourner autour
- Se suivre ou se fuir
Selon les commentaires, le mouvement apparaît parfois comme :
- Désorganisé, confus, symétrique
- Dansant, jouant, combatif
- En phase
Certains qualificatifs plus haut-niveau viennent donner un sens à l’expérience sociale :
- Être guideur ou guidé
- Faire des signes symboliques/figuratifs (dire bonjour)
- Être à l’écoute, chercher l’attention
- Taquiner, repousser, dans l’attente,
- Collaborer, hésiter,
- Être en accord ou en désaccord
- Être en tension ou en résolution
- Dégager une frustration
Enfin, certains commentaires traitent de l’expérience de visionnage, où l’annotateur peut
ressentir lui-même :
- Une forme d’ennui
- De la confusion
- Une frustration
On dénote donc différents niveaux de lecture, rappelant les registres sémantiques relevés
dans les commentaires des performances d’Articulations (voir 2.3.7). Certains sont aisément
mesurables par des outils mathématiques, d’autres plutôt basés sur une projection
empathique de soi.
Nous avons ensuite reproduit l’exercice, cette fois-ci sur une performance commune, afin
de voir si cette diversité d’annotation est le fait des individus ou des performances elles-
mêmes.
34 La kinésphère désigne l’espace accessible par les membres d’une personne sur trois dimensions, délimitant son espace
personnel.
151
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.2.3 • Annotations comparées d’une même performance
Dans le but de comprendre ce qu’il peut être perçu collectivement au sein du mouvement
minimaliste, nous décidons de poursuivre l’exercice en travaillant chacun de notre côté sur
une même performance.
Nous précisons cette fois une liste de thématiques pour cadrer la visualisation et les degrés
de lecture.
Nous sommes invités à relever :
- Les moments qui apparaissent forts et touchants
- Les indices responsables de ces séquences marquantes
- Les événements qui rendent curieux ou qui ennuient
- Les moments de modulation affective dans le duo
- Les sensations subjectives que quelque chose commence ou se termine
- Les perspectives et points de vue les plus appréciés
- Les moments où un changement de point de vue fut requis
Ces indices temporels peuvent être classifiés en tant qu’événement précis dans le temps (un
code temporel précis) ou par une bande de temps plus ou moins large (disposant de deux
bornes temporelles).
La performance choisie est celle du couple P15 et P1635, sélectionnée parmi celles n’ayant
pas fait encore l’objet d’une visualisation.
Cette phase de visionnage nous amène à nouveau à obtenir des styles d’annotations
bien différents (à noter que les annotateurs n’étaient pas invités à lire au préalable les
commentaires post-expérience des participants36)
Comme nous pouvons le voir sur la figure page suivante (Fig. 81), certains annotateurs ont
davantage isolé des événements sur un moment précis (matérialisé par un point), tandis
que d’autres les ont annotés sur des périodes données (bandes rouges et vertes).
Un certain nombre d’événements sont néanmoins collectivement relevés, sur lesquels nous
allons nous attarder.
35 L’expérience peut être visionnée de manière interactive sur le lien suivant :
https://loupv.github.io/ArticulationsWebGLPlayer/
Sélectionner le couple 15 et 16 - 1re rencontre
36 Pour contextualiser à postériori cette performance, les participants P15 et P16 ont respectivement 33 (F) et 25 (H) ans, ils
ne se connaissaient pas avant, n’ont pas une pratique régulière de la danse et n’avaient pas d’expérience préalable de la VR.
Le premier comprend vers le milieu de l’expérience que les autres sphères représentent son partenaire, tandis que le
second le comprend tout au début.
P16 a senti une connexion assez facile et naturelle (notée 5/6), au contraire de P15 (notée 1/6)
Ils se sont sentis tous les deux animés par la projection de la perception de l’autre, à la question « Mes mouvements étaient
motivés par ce que je pensais que l’autre personne percevait », ils répondent respectivement 5/6 et 4/6
Ils ont tous les deux eu la sensation que l’autre avait apprécié, à la question « Mon partenaire n’a pas apprécié l’expérience »
ils répondent 1/6 et 0/6
152
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
- Durant la première minute de la performance, trois annotateurs identifient un signe clair
de poursuite, où le participant P15 marche à la suite de son partenaire :
A3 interval 11 72 p15 suit p16, au même rythme.
A4 interval 24.632 42.231 ils se suivent
A2 interval 32.864 16.215 p15 suit p16
- Sur un espace temporel allant de la seconde 68 à 85, A2 A3 et A5 identifient chacun un
moment où le participant P15 cherche l’interaction d’une manière appuyée.
A2 interval 33.832 79.296 p15 essaie d’engager l’interaction
avec p16
A3 event 68 68 p15 provoque
A5 event 72.214 72.214 p16 explore tandis que p15 cherche
l’interaction et s’impose
A3 event 85 85 p15 provoque
(Nous voyons que ces deux événements sont situés dans une zone temporelle
relativement floue, traduisant la difficulté avec laquelle un tel moment marquant peut
être précisément situé.)
Fig. 81 • Comparaison des différents styles d’annotation sur une période donnée
Chaque annotateur est ici désigné par un identifiant allant de A1 à A5
153
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
- Entre les limites temporelles des secondes 246 et 356, trois annotateurs remarquent une
reproduction manifeste des gestes entre l’un et l’autre. Certains isolent cet événement en un
seul bloc temporel, d’autres le divisent en plusieurs instants clés.
On y parle d’imitation, d’invitation ou de question / réponse.
A4 event 255.512 255.512 imitation
A5 event 259.129 259.129 ils s’imitent
A1 interval 254.127 261.044 invitation
A4 event 246.944 246.944 question
A4 event 251.33 251.33 Response
- Entre les secondes 324 et 371, une transition entre deux phases distinctes de
l’interaction est communément identifiée, et décrite par chacun à l’aide de métaphores
et styles personnels.
La particularité de cette transition est qu’elle voit changer à la fois les dynamiques gestuelles
et le rapport qu’entretiennent les participants ensemble.
A1 décrit un passage allant de dansant, à boxant, puis à tapant au sol :
A1 interval 324.144 357.011 dance
A1 interval 357.011 361.828 boxe
A1 interval 361.828 380.943 les pas sont lourds
A2 identifie une attente mutuelle se prolongeant dans un rapport rappelant la tauromachie,
dérivant finalement en un combat de boxe.
A2 event 350.761 350.761 attente réciproque
A2 interval 351.26 371.576 p16 fait le taureau, p15 le matador
A2 interval 357.177 366.727 combat de boxe initié par p16
A3 est plus précis et distingue davantage d’étapes, les premières reconnaissant le caractère
miroir des mouvements des participants, puis s’enchaînent plusieurs ruptures, l’un passant
à travers l’autre, puis quelques mouvements vifs rappelant des coups sont échangés. La
métaphore de la boxe est à nouveau employée.
154
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
A3 event 334 334
p15 marche vers p16 qui est
en miroir, ça lui pose un problème
pour continuer à faire le miroir
A3 event 337 337 p16 marche à travers p15 et
ne se retourne pas
A3 event 340 340 presque des mouvements de tango
(miroir ?)
A3 event 355 355 p15 casse le tango et marche
à travers p16
A3 event 357 357 p16 envoie des coups à la tête
de p15 (punch)
A3 interval 359 364
p15 se comporte comme
un boxeur et vise sa tête -
les deux combattent lentement
A3 interval 364 371 p15 marche à travers p16
et vice-versa
A4 identifie ce changement de style dans la relation à travers un seul moment clé.
A4 interval 263.494 356.41 jeu d’imitation
A4 event 358.528 358.528 le rythme se casse break /
les coups sont plus rapides
A5 propose finalement d’autres termes pour qualifier le rapport relationnel.
A5 event 356.46 356.46 p16 s’intéresse maintenant
beaucoup à p15
A5 event 364.11 364.11 p16 tape p15
A5 event 375.743 375.743
p15 montre des signes
de domination
Bien que cette annotation conjointe n’ait été réalisée que sur une seule performance, rendant
la quantité d’éléments comparatifs assez pauvre, nous pouvons quand même statuer sur
la diversité des vocabulaires employés. Les tons propres à chaque annotateur traduisent
un besoin de recourir à un imaginaire personnel pour caractériser la relation sociale. Ceux-
ci peignent des images finalement assez proches, particulièrement lorsque l’interaction y
est expressive (phénomènes d’imitation, d’engagement, ou utilisation par exemple d’une
métaphore commune de la boxe). Il apparaît néanmoins complexe de décrire avec certitude
155
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
ce qui s’y joue réellement, d’autant plus en sachant que les participants eux-mêmes nous
ont exprimé avoir vécu parfois des expériences contradictoires (voir partie 2-3).
Au-delà de solliciter l’imaginaire, certains qualificatifs plus absolus sont également utilisés.
Adressant les liens du geste par rapport au temps et à l’espace, ceux-ci apparaissent
finalement comme les plus objectifs pour nous renseigner sur l’action en cours (en étudiant
par exemple les tendances à occuper l’espace, les quantités de mouvement déployées, ou
l’expressivité…).
Enfin, quelques caractères propres à l’esthétique et la créativité du mouvement semblent
collectivement appréciés par les différents annotateurs.
Plutôt que de tenter de comprendre ce qui se joue d’un point de vue psychologique ou
sémantique, il apparaît plus pertinent de se doter ici d’outils de qualification de la gestuelle,
pouvant faire le lien entre sensibilité et propriétés dynamiques ou géométriques.
Poursuivant cette approche, consistant à identifier les variants mesurables au sein des
données de mouvement pouvant par la suite servir de base à nos adaptations numériques,
je vais à présent invoquer quelques lectures de référence qui permettront d’esquisser les
prochaines étapes de ce travail.
3.3 • Des métriques gestuelles adaptées à notre contexte
3.3.1 • L’analyse du mouvement de Laban (LMA) - Une qualification
plus objective du geste
Au centre des nombreuses approches traitant de l’analyse et de la compréhension intrinsèque
du geste, les travaux de Rudolf Laban apparaissent comme une référence majeure (1971). Le
chorégraphe, danseur et théoricien hongrois a en effet développé un système de description
des mouvements du corps qui a depuis été enrichie de nombreux apports venant de la
psychologie, de la kinésiologie et de l’anatomie. L’analyse de mouvements de Laban (ou
LMA) est aujourd’hui employée dans de nombreux domaines de recherche, en informatique
et en sciences cognitives, mais aussi en pédagogie, en thérapie, et en sport de haut niveau.
Pensé originellement pour la notation de la danse, la LMA dote les analystes du mouvement
humain d’un langage universel, où les gestes sont décrits à partir de leurs caractères expressifs
et d’un certain nombre de propriétés ayant trait à leur rapport au temps, à l’espace et à la
force déployée.
Laban décrit ainsi un mouvement à travers quatre catégories principales : l’espace, la forme,
le corps, l’effort.
• L’espace - décrit le rapport entre le mouvement et l’espace environnant. Il peut se référer au
lieu, à la direction et au chemin du mouvement. On utilise pour cela le concept de kinésphère
reliant le mouvement à tout le corps qui le performe.
• La Forme - analyse la manière dont le corps change de forme au cours du mouvement,
c’est un critère qui voit le corps comme un tout qui se développe, se contracte et s’ouvre au
sein de son espace.
• Le Corps - associe le geste aux différentes caractéristiques structurelles, physiques, et
relationnelles des parties du corps qui le composent.
156
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
• L’Effort - décrit l’intention et les qualités dynamiques perçues du mouvement. La notion
d’effort est intrinsèquement liée aux changements d’humeurs et d’émotions, Laban la
représente sur quatre axes qui sont tous liés les uns aux autres (Fig. 82).
L’Effort se subdivise alors en :
- L’Espace : qui mesure l’aspect direct ou indirect du mouvement.
- Le Poids : qui qualifie le rapport à la gravité du mouvement, on peut le qualifier de léger
ou de lourd.
- Le Temps : où n’est pas qualifiée ici la durée du mouvement mais son rapport direct au
temps. On peut le décrire comme soudain ou soutenu.
- Le Flow : qui évalue la continuité du mouvement, qui peut être contraint ou libre.
Les qualités de geste révèlent ainsi une information objective, non soumise à l’interprétation
de l’analyste mais portant pour autant en elle un certain nombre de critères émotionnels et
esthétiques.
Cette approche se révèle particulièrement intéressante pour notre problématique car nous
trouvons là un langage intermédiaire, permettant de traduire nos propres ressentis en des
métriques intelligibles pour le sens commun, et à fortiori pour la machine.
Nous orientons ainsi la suite de notre étude sur cette idée d’association entre LMA et
reconnaissance émotionnelle, prenant pour cela en référence les travaux d’Andreas Aristidou
et de ses collègues (Aristidou et al. 2015 ; Senecal et al. 2016).
Fig. 82 • Les différents axes de la notion d’effort de Laban
157
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.3.2 • Reconnaissance émotionnelle et LMA
Les travaux menés par Andreas Aristidou et ses collègues proposent différentes approches
pour permettre d’associer automatiquement les émotions et le mouvement d’une personne
(Aristidou et al. 2015 ; Senecal et al. 2016). Ils parviennent à des résultats significatifs grâce
à une méthode inspirée de l’analyse des qualités de geste et par l’usage d’algorithmes
d’apprentissage automatisé, différant selon les types de problèmes qu’ils affrontent.
Leurs différents travaux suivent une démarche similaire consistant dans un premier temps
à traduire les données de mouvement et les émotions qui y sont associées en données
quantitatives, étapes réalisées en amont des phases d’entraînement.
La première de ces phases consiste en la traduction des émotions en données bi-
dimensionnelles, les auteurs utilisent pour cela le modèle de l’affect de Russell (1980), qui
classifie les différentes émotions humaines sur deux axes distincts (Fig. 83). Les deux valeurs
sont évaluées entre -1 et 1 et correspondent d’une part à l’intensité de l’affect et d’autre part
à sa positivité (à quel point celui-ci est vécu comme plaisant).
Fig. 83 • Le modèle de l’affect de Russell (seuls les affects cerclés de rouge sont abordés
dans Aristidou et al. (2015))
158
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Un affect comme la peur pourra être par exemple qualifié d’intense et de non-plaisant, au
contraire d’un sentiment de relaxation, qui n’est pas considéré comme intense mais qui se
place dans la moitié positif du modèle.
La seconde phase consiste à recueillir un nombre suffisant de performances correspondant
à ces différents affects. Les auteurs demandent ainsi à des danseurs ou des acteurs de jouer
face à une caméra la série d’émotions qu’ils veulent parvenir à reconnaître. Les informations
de mouvements mesurées sont les positions et orientations de la tête, des épaules, des
mains, des hanches, des pieds et du bassin (Fig. 84).
Ces séquences sont ensuite annotées des deux valeurs émotionnelles correspondantes, puis
les données de mouvement sont converties en un ensemble d’informations plus haut-niveau.
C’est ici que les auteurs s’inspirent des notions développées par Rudolf Laban : en
convertissant les séquences de positions et d’orientations des acteurs en un certain nombre
de descripteurs, ils donnent aux données un caractère plus explicite, plus à même de faire
apparaître des corrélations entre le mouvement et les émotions.
Aristidou et al. listent ainsi 86 paramètres (repris également par Senecal et al.), repartis entre
les 4 catégories citées précédemment : le corps (body), l’effort (effort), la forme (shape), et
l’espace (space).
Chacun des descripteurs peut être décliné en un ensemble de valeurs maximales, minimales,
moyennes, et d’écarts-types, isolés sur une portion de temps donnée. Parmi eux on peut
trouver des informations telles que la distance des mains à la tête, le volume occupé par
Fig. 84 • Représentation du squelette articulé utilisé pour calculer les descripteurs de geste
159
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
les différents points du corps, ou la distance parcourue. Nous reviendrons en détail sur ces
descripteurs dans la partie 3-4, où nous essaierons de les adapter à notre problématique.
Le travail d’apprentissage automatisé consiste ensuite à entraîner un algorithme d’apprentissage
automatisé à reconnaître les deux valeurs de l’affect de Russell, à partir d’une séquence de
descripteurs donnée. Selon les travaux, les auteurs utiliseront pour cela des algorithmes de
Random Forests, de Support Vector Machines, ou des réseaux neuronaux.
Les résultats qu’ils obtiennent sont mesurés lors des phases de tests, où ils confrontent les
algorithmes entraînés à de nouvelles données de mouvement, et en évaluent les capacités
à reconnaître correctement les émotions qui y sont performées.
Dans Aristidou et al. (2015), les auteurs parviennent par exemple à obtenir 91.75 % de précision
grâce à leurs différents modèles et une stratégie One-versus-Rest, tandis que Senecal et al.
(2016) démontrent la possibilité d’en étendre le principe à un flux de mouvement continu
qui voit enchaîner une diversité d’émotions successives.
Ces résultats nous encouragent donc à adapter leurs méthodes à notre propre cas, au prix
néanmoins de quelques adaptations nécessaires sur lesquelles nous allons revenir dans la
section suivante.
3.3.3 • Identifier le caractère intrinsèque de nos données de mouvement
Les résultats probants obtenus par les auteurs cités invitent à nous inspirer de leur approche
pour notre propre problématique, néanmoins nous devons évidemment adapter leur
protocole à la réalité de notre propre contexte expérimental.
La base du travail que j’envisage diffère en effet de celle des précédents auteurs sur
plusieurs points.
- Premièrement, la forme de nos données est différente. Nous n’avons accès qu’aux positions
et orientations de trois points du corps, celles des mains et de la tête, tandis que les auteurs
en utilisaient six. Nous avons en revanche accès à d’autres informations propres à la nature
relationnelle de l’expérience Articulations. Les deux danseurs peuvent être analysés l’un par
rapport à l’autre à travers des informations qui n’étaient pas présentes dans les études
citées, et que nous avons commencé à aborder lors des exercices de visionnage.
Nous devrons donc sélectionner une liste de descripteurs de geste propre à notre contexte
expérimental, et éventuellement rajouter ceux qui nous paraissent adéquats.
- Deuxièmement, la nature même de nos données diffère également. Celles constituant les
jeux d’apprentissage des auteurs ont été récoltées dans un contexte contrôlé, spécialement
calibré à cette fin. Basées sur des performances d’acteurs, elles ont pu être enregistrées
et triées directement pour leurs finalités d’apprentissage. Les acteurs eux-mêmes avaient
pour tâche de jouer ces différentes émotions, laissant supposer une certaine exagération
et distance par rapport aux types de mouvements pouvant être réellement performés de
manière naturelle.
Dans notre cas, les données sur lesquelles on peut baser l’analyse ne sont pas celles d’acteurs
mais d’utilisateurs improvisant sur la base de leurs propres intuitions. Elles n’ont pas été
récoltées spécifiquement pour l’entraînement d’algorithmes et il n’est pas possible d’y attribuer
avec certitude l’expression d’émotions comme dans les études citées précédemment.
160
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Il ne me paraît d’ailleurs pas intéressant à titre personnel de cibler les mêmes émotions que
celles retenues par les auteurs, les participants d’Articulations ne nous ont en effet pas fait
part d’une telle diversité d’émotions vécues.
Ces deux points nécessitent donc de spécifier à la fois les métriques du mouvement dont on
souhaite automatiser la reconnaissance, et d’identifier les types de descripteurs qui seront
les plus à même de nous permettre d’y arriver.
3.3.4 • Un besoin de métriques personnelles pour qualifier le mouvement
Dans la section 3-2, nous avons pu voir que le mouvement minimaliste contient en lui
une information hautement évocatrice. Tant les participants que les annotateurs ont pu
reconnaître un certain nombre d’indices forts au sein des performances, ce, malgré l’absence
visuelle d’un corps humain.
J’ai fait part à titre personnel de moments particuliers où les individualités s’effacent au profit
d’un mouvement uni, harmonieux. D’autres commentaires relevés traitent de sentiments
similaires, parlant par exemple de l’aspect dansant d’un geste, ou de l’impression de
cohésion qui se dégage du mouvement relationnel.
Ces qualificatifs semblent appartenir à un registre sémantique commun, et peuvent de fait
fournir un socle intéressant pour le développement de langages numériques adaptatifs
basés sur le mouvement37.
Particulièrement dans une expérience comme Articulations, où l’improvisation gestuelle
est vue comme moteur central, un mouvement expressif et une cohésion relationnelle
sont généralement synonymes d’expérience positivement vécue, où la rencontre entre les
participants a effectivement eu lieu.
Il me semble donc pertinent en tant que designer d’expérience d’étudier en quoi ces signaux,
visiblement décelables à l’œil nu, pourraient devenir des données proprement quantifiables
par la machine et servir à l’altération de ses comportements adaptatifs.
Intégrer des mesures de l’expressivité gestuelle et la cohésion relationnelle m’impose d’une
part de comprendre comment rendre cette évaluation personnelle intelligible pour un
système numérique, et d’autre part comment amener ce dernier à en opérer lui-même la
mesure, permettant in fine d’y réagir de manière autonome lors de futures performances.
L’intérêt d’une telle démarche me semble double :
- D’une part, elle me permet de considérer pleinement la richesse du mouvement au regard
du présent contexte : en en reconnaissant ses qualités expressives et abstraites, sans
chercher à en déconstruire (et de surcroît à en appauvrir) le sens.
- D’autre part, elle ajoute une dimension performative à mon rôle de designer d’expérience.
En plus d’œuvrer à la conception de ces environnements virtuels interactifs, elle me laisse
envisager la possibilité d’intégrer sous une forme programmatique ma propre subjectivité,
afin que de multiples fluctuations et réactions multisensorielles puissent y être associées
sur l’expérience finale.
37 À la différence de certaines des interprétations explicites et métaphoriques qui ont pu être formulées plus tôt et qui
sont le fruit d’imaginaires individuels
161
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Ainsi me semble-t-il, ce travail laisse entrevoir la possibilité de concevoir des designs
interactifs pouvant réagir à des contextes expérientiels uniques et des caractères gestuels
originaux. L’idée passionnante de donner aux dimensions sensibles et impulsives des
utilisateurs une part centrale s’affirme alors pleinement.
Je fais donc le choix de focaliser la suite du travail sur cette reconnaissance de l’expressivité
individuelle et du degré d’unité perceptible au sein du mouvement relationnel, deux
informations qui semblent effectivement appréciables au sein des données d’Articulations.
Ces qualificatifs du geste étant nécessairement subjectifs, je ferai par la suite le choix
d’adapter mon positionnement en fonction. Mon intuition et mon jugement seront les
principaux critères d’appréciation du mouvement et tous les résultats obtenus par la suite
en seront donc la conséquence directe. C’est ici un parti que je me résous à prendre, tant
pour des raisons pratiques que par le vif intérêt que ce challenge suscite en moi.
L’étape de travail à suivre consistera donc à apprendre à la machine à imiter ma manière
d’évaluer le mouvement, et toute adaptation sensible formulée en réponse n’en sera in fine
que plus pertinente vis-à-vis de mon propre positionnement de designer.
3.4 • Préparer nos jeux de données pour l’apprentissage
3.4.1 • Trois hypothèses de travail pour un apprentissage automatisé
Fidèles à la trame de notre méthode d’idéation, nous avons pu dans une première phase
identifier des variants pertinents pour la définition d’une grammaire adaptative propre à la
nature même de nos données. La seconde cherchera à présent à transformer ces variants
en données intelligibles pour notre système, et tenter ensuite d’en appliquer l’usage à des
expériences en temps réel.
Pour approcher progressivement le but envisagé, je prends ici la décision de poursuivre trois
hypothèses au cours des prochaines sections :
(Hypothèse 1) - Il est possible pour un algorithme d’imiter ma manière d’évaluer l’expressivité
d’une performance individuelle. L’expressivité sera ici une mesure subjective et dépendante
de ma propre appréciation d’une séquence de mouvements. Cette hypothèse cherche à
évaluer la capacité d’un algorithme d’apprentissage à s’adapter à une mesure basée sur le
ressenti instantané.
(Hypothèse 2) - Il est possible pour un algorithme de différencier un vrai fichier d’entraînement
d’un faux.
Cette hypothèse cherche à démontrer qu’une information présente dans le geste relationnel
permet de différencier une vraie rencontre d’un fichier composé de deux performances
individuelles indépendantes et collées l’une à l’autre.
(Hypothèse 3) - De la même manière qu’il est possible de différencier un vrai fichier d’un faux,
il est possible de noter de manière subjective le niveau de cohésion entre les participants et
d’amener un modèle algorithmique à imiter cette mesure. Cette hypothèse viserait à doter un
système adaptatif de la capacité à donner une note esthétique à la performance relationnelle.
162
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Ces trois hypothèses jouent donc à la fois sur une appréciation individuelle et collective du
mouvement. Mon travail consistera donc à reproduire les deux actions de préparation des
données, proposée dans les études de l’équipe d’Andreas Aristidou. Je ferai dans un premier
temps une annotation des données de performances à l’aide de mes propres métriques,
puis dans un second temps je travaillerai à la conversion des données de mouvement en un
ensemble de descripteurs de geste adaptés à ce contexte de travail particulier.
3.4.2 • Stratégie de travail pour chaque hypothèse considérée
Détaillons davantage ici ces trois problèmes :
(Problème 1) - Le premier considère le mouvement d’un participant unique, et cherche
à en mesurer l’expressivité. Cette idée étant subjective, je fais le choix comme nous
l’avons vu d’annoter les données selon ma propre appréciation. Ce choix peut être à la
fois bénéfique pour la qualité de l’apprentissage (plusieurs personnes peuvent avoir des
appréciations différentes de l’expressivité auquel cas mélanger leurs notes bruiterait alors
les fichiers d’entraînements), comme néfaste (moins de « vérité » dans les notes, et plus
de dommages impliqués par les éventuelles erreurs de notation). Techniquement je noterai
donc l’expressivité entre 0 et 1, 0 équivalant d’une expressivité nulle, et 1 d’une expressivité
très importante. C’est donc un problème dit de régression.
(Problème 2) - Le second est une sorte d’étape intermédiaire au problème 3, et tente de
déconstruire la problématique de l’évaluation du mouvement relationnel à travers un
exercice de classification. Le but est ici d’entraîner la machine à différencier un vrai fichier
d’entraînement d’un faux, en lui donnant des échantillons de mouvement relationnel
originaux ou bien créés pour l’occasion. Cet exercice vise à faire ressortir les descripteurs les
plus à même d’apprécier correctement un mouvement relationnel, et à collecter quelques
intuitions pouvant être réutilisées lors du problème 3.
(Problème 3) - Le troisième cherche à mesurer cette fois la cohésion du mouvement
relationnel. Comme pour le problème 1, cette appréciation est personnelle mais se base
sur les sentiments que j’ai pu expliciter plus tôt et qui donnent la sensation que de deux
individualités il ne reste qu’un mouvement harmonieux. J’essaie ici de qualifier chaque
échantillon d’une note de cohésion également comprise entre 0 et 1, où 0 correspond à une
absence totale de cohésion, et 1 une harmonie parfaite.
Je détaillerai à présent les différentes étapes qui me permettront de construire trois jeux
de données indépendants, chacun dédié à son propre problème. Chaque échantillon
d’entraînement y sera constitué d’une séquence de descripteurs de gestes, associée à une
classe ou à une valeur flottante.
3.4.3 • Filtrage préalable des données
Afin d’entamer proprement la phase d’annotation, une première étape consiste à filtrer et
nettoyer les fichiers de performances actuels.
Dans les trois problèmes mon but est de faciliter le travail d’apprentissage des algorithmes
en les alimentant de séquences où les dynamiques gestuelles individuelles et relationnelles
sont particulièrement parlantes. Pour cela je dois m’assurer de fournir des jeux de données
optimisés, excluant au maximum les séquences pouvant affaiblir l’entraînement.
163
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Cela implique de retirer un certain nombre de séquences parmi lesquelles nous avons :
- Les conditions expérimentales qui ne correspondent pas à nos problèmes. Celles du
miroir en l’occurrence présentent des dynamiques de mouvement totalement différentes
des autres, les participants y sont généralement côte à côte, face au miroir, et sont alors
beaucoup moins expressifs.
- Les débuts de fichiers contiennent par exemple des moments où les participants attendent
un signal venant des manipulateurs (on leur demande entre autres de faire un clap de
synchronisation avant de lancer l’expérience). Cette étape n’est donc pas représentative de
l’expérience interactive.
- La fin des fichiers, où chaque participant se retrouve seul dans l’environnement virtuel et
est invité à verbaliser son expérience. Cette phase est enregistrée mais les mouvements n’y
sont plus liés à l’autre.
- De nombreuses performances sont également pourvues de petits segments à problèmes :
un participant qui perd son casque, une déconnexion de l’un d’entre eux, des ralentissements
dus à une surchauffe informatique, etc. Ces moments ne sont pas courants mais nécessitent
d’être retirés un à un, afin de ne pas surcharger les données d’entraînements de séquences
gestuelles non appropriées.
Pour toutes ces raisons, je décide de développer plusieurs outils de filtrage.
Garder les phases de performance où les participants sont face à face (conditions 1A et 1B)
est une étape simple. La condition visuelle en cours est en effet inscrite dans les fichiers
Fig. 85 • Le module Classifier à droite permet d’écrire des informations supplémentaires
sur les fichiers de performance
164
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
de performances, et un simple script peut retirer automatiquement toutes les lignes ne
contenant pas les conditions désirées.
Pour tous les segments problématiques je décide en revanche de développer un système
intégré à la visionneuse, me permettant d’annoter les segments à retirer en les regardant
directement (Fig. 85).
Un outil de classification est ajouté au programme de visionnage Unity, doté de deux
boutons activables et désactivables.
Le premier est appelé REC et le second Unusable. Lorsque le premier est enclenché, l’action
du second bouton est enregistrée. Ce dernier détermine alors la valeur à attribuer au segment
en cours de visionnage. Lorsque REC est actif, Unusable renseigne d’une valeur de 0 ou 1
chaque ligne de la performance visionnée, créant un nouveau fichier qui gardera en mémoire
le besoin de retirer ou non la ligne en question des fichiers d’entraînement.
Je réalise donc cette étape sur 23 fichiers de performance, ce qui équivaut à peu près à la
moitié du nombre de fichiers recueillis pendant la phase expérimentale du projet Articulations
au centre Pouchet.
Une fois cet ensemble de performances visionné, un nouveau script s’occupe de retirer
l’ensemble des lignes notées comme inutilisables, filtrant ainsi proprement les fichiers
d’entraînement.
Lorsqu’un segment se trouve au milieu d’une performance, celle-ci est coupée en deux
fichiers distincts, ce, afin de ne pas créer de sautes soudaines du mouvement pouvant
compliquer plus tard la phase d’apprentissage.
3.4.4 • Annotation des fichiers d’entraînement
Annotation pour les problèmes de classification
Une fois les fichiers de base nettoyés, j’entame la phase de préparation des différents jeux
de fichiers d’entraînement. Je commence par simplicité par le problème 2.
L’approche consiste à créer un ensemble de faux fichiers constitués de données de
mouvements provenant de performances différentes. Cette étape est réalisée à l’aide d’un
nouveau script qui prend tour à tour deux fichiers de taille similaire, et en crée deux nouveaux
où le danseur 1 de la performance 1 est associé au danseur 2 de la performance 2, et où le
danseur 2 de la performance 1 est associé au danseur 1 de la performance 2.
Cette approche permet de créer autant de faux que de vrais fichiers, les premiers étant
agrémentés d’une colonne étiquetée à 0 (pour faux), et les seconds d’une colonne étiquetée
à 1 (pour vrai).
Afin de ne pas fausser le processus d’apprentissage, je prendrai plus loin soin de m’assurer
que les fichiers d’entraînement et de test ne partagent pas de données en commun.
Annotation pour les problèmes de régression
Les problèmes 1 et 3 impliquent pour leur part une approche plus engageante, nécessitant
de donner aux performances une note traitant de leurs propriétés esthétiques.
165
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Devant réaliser ici ces mesures tout en visionnant les performances, j’use du même principe
que celui utilisé pour filtrer les données (voir section 3-4-2). J’entreprends le développement
d’une fonctionnalité permettant de renseigner cette fois une valeur entre 0 et 1 à l’aide d’un
ensemble de glissières interactives, dotées elles aussi d’un bouton REC.
Trois glissières permettent finalement de noter les deux expressivités individuelles des
danseurs ainsi que la cohésion générale du mouvement (Fig. 86).
La phase d’annotation se déroule donc en trois temps, deux visionnages centrés
successivement sur le premier puis le second danseur, puis un troisième visionnage chargé
d’évaluer leur relation.
Pour les deux premières phases, je dote la visionneuse d’un outil permettant de n’afficher
que le danseur concerné, afin de ne pas être influencé par l’action de son partenaire. Dans la
troisième phase, les deux danseurs redeviennent bien sûr visibles.
En cas d’erreur de notation Il est possible de revenir après coup sur une même performance
pour revisualiser les notes données. Si le bouton REC n’est pas enclenché, les glissières
bougent alors toutes seules, affichant leur valeur de manière synchronisée à la performance
en cours.
Une fois l’enregistrement terminé, le programme enregistre un nouveau fichier CSV contenant
les trois colonnes de valeurs. Les deux premières contiennent les valeurs subjectives
d’expressivités perçues pour l’un et l’autre danseur, et la troisième concerne la sensation de
cohésion des deux danseurs entre eux.
Fig. 86 • Le module de classification et d’annotation des performances
166
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Fichiers d’entraînement finaux
À l’issue de cette phase, j’obtiens donc un ensemble de fichiers de données, associant
chaque échantillon à une note qui le caractérise.
- Pour le problème 1, j’ai 46 fichiers de travail, correspondant aux 23 performances annotées
et aux deux participants faisant partie de chaque performance. Cela représente environ
500 000 échantillons.
- Pour le problème 2, j’ai 45 fichiers de travail, soit 23 qui notent les vraies performances, et
22 qui notent les fausses. Cela représente environ 492 000 échantillons.
- Pour le problème 3, j’ai 23 fichiers de travail contenant la note de cohésion du mouvement
relationnel, ressentie lors du visionnage. Cela représente environ 230 000 échantillons.
Tous ces fichiers sont donc remplis de données de mouvement, échantillonnés à 60 images
par seconde, auxquels sont associées des colonnes de valeurs prêtes à être appliquées aux
prochaines phases d’entraînement.
Nous allons à présent passer à la traduction de ces données de position et d’orientation en
descripteurs de gestes.
Note sur le processus d’annotation
Durant cette phase d’annotation des performances j’ai donc abordé l’évaluation seul, d’une
manière la plus intuitive et sensible possible.
Les mots « expressivité » et « cohésion » que j’associe à ces deux problèmes sont ceux qui
me semblent le plus correspondre aux émotions ressenties durant le déroulement du projet
Articulations. Je les emploie par facilité sans chercher à les faire reposer sur des travaux de
référence, qui auraient déjà entrepris de les lier à des qualités gestuelles38.
Je ne pourrai pas non plus expliquer avec certitude pourquoi un mouvement fut noté
plus expressif qu’un autre. Cette note fut certainement influencée par les performances
visionnées précédemment, par mon état de concentration, de fatigue, par une éventuelle
musique passant en fond, ainsi que par les milliers d’autres variables imperceptibles
auxquelles on pourrait songer. Ce processus, s’il devait être reproduit, ne conduira donc
vraisemblablement pas aux mêmes résultats, et toute éventuelle finalité de ce travail sera
donc à mettre en perspective de cette phase de travail intime et singulière.
J’estime pour autant que cette particularité n’est pas une tare, mon propos est ici d’amener
la machine à apprécier le mouvement d’une manière unique, et non pas de lui faire atteindre
une vérité absolue.
Il me semble d’ailleurs d’autant plus intéressant en tant que designer d’expérience de doter
la machine de comportements discutables mais francs, plutôt que de réactions modérées
cherchant à mettre tout le monde d’accord39.
38 Pelachaud (2005) a par exemple conduit des études autour de la perception de l’expressivité, concluant qu’elle pouvait
agir à plusieurs niveaux du geste (une séquence, ou le geste entier) et avoir plusieurs fonctions discursives (persuader,
attirer l’attention, témoigner d’un état émotionnel).
39 Une alternative aurait été évidemment de demander à de multiples personnes de noter ces performances avec moi,
afin d’accumuler supposément des données robustes et plus objectives. Pour information, un test d’annotation comparée
sera réalisé plus tard avec cinq des membres du projet Articulations et semblera contrarier cette hypothèse.
167
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.5 • Développement des descripteurs du geste
3.5.1 • Inspiration de travaux existants
Pour chacun des fichiers étiquetés, vient maintenant la seconde phase de préparation
consistant à transformer les données de position et d’orientation en une série de données
plus intelligibles pour les algorithmes d’apprentissage.
Je pars ici avec l’idée d’adapter à nos différents problèmes la liste des 86 descripteurs utilisés
dans les études citées plus tôt (Fig. 87).
L’exercice proposé sera de noter nos appréciations de la cohésion du mouvement minimaliste sur une même performance,
nous permettant d’obtenir deux graphiques comparatifs pouvant être consultés en Annexe IV.
Les différentes valeurs rendues visibles sur ce graphique montrent une appréciation diffuse et des styles d’annotations
encore une fois bien différents. Les moments d’accord entre nous y sont par ailleurs peu nombreux. Cela me conforte sur
la décision de préférer ma seule annotation à un ensemble d’annotations conjuguées.
Fig. 87 • Les descripteurs de geste utilisés dans Aristidou et al. (2015) et Senecal et al. (2016)
168
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Chaque descripteur est ici décliné en différentes valeurs. Les quatre colonnes de droite
renseignent si l’information en question est déclinée en valeurs maximales, minimales,
moyennes et d’écarts-types.
Comme expliqué précédemment, le contexte expérimental des problèmes envisagés dans
cette section diffère de celui des auteurs. Les données provenant du projet Articulations
n’offrent comme information que les positions et orientations des mains et de la tête. Il
m’est donc nécessaire de tester ces différents descripteurs et d’évaluer leur performance sur
les processus d’apprentissage.
3.5.2 • Descripteurs individuels de performance
Je constitue la liste des 28 descripteurs suivants.
Corps - 12 descripteurs
• Distance des mains l’une par rapport à l’autre
(maximum, minimum, moyenne, écart-type)
• Distance des mains par rapport à la tête
(maximum, minimum, moyenne, écart-type)
• Hauteur du centre de gravité
Hauteur au sol du point moyen entre les trois sphères de chaque participant (maximum,
minimum, moyenne, écart-type)
Effort - 11 descripteurs
• Déviation de la tête
Angle entre la direction du mouvement et l’orientation de la tête (maximum, moyenne,
écart-type). On prend ici comme point de repère la direction du mouvement pour que
le descripteur ne soit pas relatif à un axe absolu, la contrepartie est d’obtenir des valeurs
bruitées lorsque le danseur ne se déplace pas ou fait des micro-mouvements.
• Pics de décélération :
Nombre de pics repérés dans la courbe de décélération sur la période concernée. On utilise
pour cela la méthode find_peaks de scipy.signal.
• Vélocité des mains :
Dérivée de la position (maximum, moyenne, écart-type)
• Accélération des mains :
Dérivée de la vélocité (maximum, écart-type)
• Secousse / Jerk :
Dérivée de l’accélération (maximum, écart-type)
Forme - 3 descripteurs
• Volume occupé :
Volume du prisme formé par la tête et les mains et leur triangle projeté au sol.
• Niveaux de hauteur des mains droite et gauche :
Cette valeur vaut 1 si la main est à moins de deux tiers de la distance entre le sol et la tête,
2 si elle se trouve à plus de deux tiers et en dessous de la tête, et 3 si la main est au-dessus
de la tête.
169
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Espace - 2 descripteurs
• Distance parcourue :
Évaluée à partir de la position de la tête sur le plan horizontal
• Zone parcourue :
Calcule l’aire du polygone parcouru au sol dans les 240 dernières frames. Utilisant pour cela
la méthode ConvexHull de la bibliothèque scipy.signal.
Nous pouvons donc lister l’ensemble des descripteurs suivants associés à des identifiants
distincts (Table 13).
Identifiants des descripteurs individuels Descripteurs
f1_max, f1_std, f1_mean Déviation de la tête par rapport à la direction
du mouvement
f2_max, f2_std, f2_mean Vélocité moyenne des deux mains
f3_max, f3_std Accélération moyenne des deux mains
f4_max, f4_std Secousses (jerk) moyenne des deux mains
f5_max, f5_min, f5_std, f5_mean Distance entre les deux mains
f6_max, f6_min, f6_std, f6_mean Distance entre la tête et les mains
f7_max, f7_min, f7_std, f7_mean Hauteurs du centroïde (barycentre non
pondéré des mains et de la tête)
f8 Zone parcourue sur 240 frames (4 secondes)
f9 Volume du prisme occupé par les mains
et la tête par rapport au sol
f10 Distance parcourue
f11, f12 Niveaux de la main gauche et de la main
droite
f13 Nombre de pics de décélération mesuré
dans le mouvement des mains
Table 13 - Descripteurs individuels utilisés pour l’apprentissage
170
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.5.3 • Descripteurs relationnels de performance
Pour les problèmes 2 et 3, il est nécessaire de faire ressortir le caractère relationnel des
performances et de rajouter des données relatives à l’activité des deux danseurs.
Différentes approches ont été prises au cours des phases itératives d’expérimentations,
parmi lesquelles trois ensembles de descripteurs sont ressortis.
- Un premier ensemble consiste à travailler sur l’ensemble des descripteurs individuels utilisés
dans le problème 1, de les calculer pour les deux danseurs puis d’en garder la différence. On
obtient ainsi un ensemble de valeurs représentant l’écart de ces descripteurs individuels
entre l’un et l’autre (Table 14).
- Le second ensemble est constitué de certains des descripteurs individuels, calculés sur
un danseur « médian ». Ce danseur médian est formé des trois points au milieu des deux
têtes et des mains opposées des danseurs (Fig. 88 et Table 15). Comme la plupart des
descripteurs ne prennent en compte ni l’orientation ni le sens de déplacement, il me semble
intéressant de tester cette approche qui est comme une sorte de matérialisation physique
de la rencontre.
- Le dernier ensemble cherche finalement à faire ressortir des éléments propres à la relation,
à l’action de l’un par rapport à l’autre (Table 16). Il est constitué de descripteurs combinant
ensemble les positions et orientations des deux danseurs. Parmi ces nouveaux descripteurs,
purement relationnels on peut trouver :
- La distance entre les têtes des deux danseurs
Fig. 88 • Les sphères bleues correspondent au danseur médian
171
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
- Les distances entre les mains miroirs : D i s ta n c e e nt r e l a m ai n g a u c he d u d a n s eu r 1 e t m a in
droite du danseur 2, et distance entre la main droite du danseur 1 et main gauche du danseur 2.
- La déviation de la tête par rapport aux points d’intérêt du partenaire : Je calcule ici la valeur
minimale entre les trois angles qui séparent le vecteur orientation de la tête du danseur 1 et
les trois points du danseur 2. Cette valeur tente d’estimer en quelque sorte si un danseur
regarde son partenaire ou non, considérant que l’orientation de la tête n’est pas très éloignée
de la direction du regard.
- Une déformation temporelle dynamique entre les niveaux des mains : J’utilise ici un
algorithme permettant de mesurer la similarité entre les courbes correspondantes aux
niveaux des mains. Les valeurs correspondantes aux niveaux des mains gauche et droite
d’un danseur sont additionnées et sont comparées à l’addition de celles du partenaire. La
déformation temporelle dynamique (ou Dynamic Time Warping) permet de donner une
valeur de similarité entre les deux courbes et peut s’avérer une technique intéressante pour
déterminer la cohésion de deux personnes en mouvement.
Nous obtenons finalement les listes de descripteurs suivantes.
Descripteurs relationnels Description
d1_max, d1_std, d1_mean Différence entre les déviations des têtes par rapport aux
directions des participants
d2_max, d2_std, d2_mean Différence entre les vélocités des mains des participants
d3_max, d3_std Différence entre les accélérations des mains des
participants
d4_max, d4_std Différence entre les secousses (jerk) des mains des
participants
d5_max, d5_min, d5_std,
d5_mean
Différence de distance entre les deux mains de chaque
participant
d6_max, d6_min, d6_std,
d6_mean
Différence de distance entre la tête et les mains de
chaque participant
d7_max, d7_min, d7_std,
d7_mean
Différence entre les hauteurs des centroïdes des
participants
d8 Différence entre les zones parcourues par les participants
sur 240 frames (4 secondes)
d9 Différence entre les volumes occupés par les participants
d10 Différence entre les distances parcourues par les
participants
d11 Différence de niveau des mains gauches des participants
172
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
d12 Différence de niveau des mains droites des participants
d13 Différence entre le nombre de pics de décélération
mesurés dans le mouvement des mains des participants
Table 14. Descripteurs relationnels à partir des différences de descripteurs individuels
Descripteurs du danseur médian Description
m2_max, m2_std, m2_mean Vélocité des mains du danseur médian
m3_max, m3_std Accélération des mains du danseur médian
m4_max, m4_std Secousse (jerk) des mains du danseur médian
m5_max, m5_min, m5_std,
m5_mean Distance entre les deux mains du danseur médian
m6_max, m6_min, m6_std,
m6_mean Distance entre la tête et les mains du danseur médian
m7_max, m7_min, m7_std,
m7_mean Hauteur du centroïde du danseur médian
m8 Zone parcourue par le danseur médian sur 240 frames
(4 secondes)
m9 Volume occupé par le danseur médian
m10 Distance parcourue par le danseur médian
m11 Niveau d’une main du danseur médian
m12 Niveau de l’autre main du danseur médian
m13 Nombre de pics de décélération mesurés dans
le mouvement des mains du danseur médian
Table 15 - Descripteurs relationnels à partir des différences de descripteurs individuels
173
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Descripteurs relationnels Description
r1 Dynamic Time Warping entre les sommes des niveaux
des mains des participants
r2 Distance entre les têtes des participants
r3, r4 Distances entre les mains opposées des participants (mains
gauches vs mains droites opposées)
r5
Différence entre les minimums des trois angles séparant
l’orientation de la tête d’un participant par rapport aux trois
points du partenaire
Table 16 - Descripteurs purement relationnels
3.5.4 • Les outils de conversion des données de mouvement en descripteurs
Pour réaliser les calculs permettant de transformer les données de position et d’orientation
en descripteurs, j’entreprends le développement d’une série de scripts python permettant
de traiter l’ensemble des fichiers en une seule exécution.
Fig. 89 • L’interface d’Eyesweb, avec un patch réalisé pour normaliser et mesurer
les qualités de gestes provenant des fichiers de performance d’Articulations
174
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Un autre travail avait été entrepris plus tôt avec le logiciel Eyesweb, développé par l’équipe
de Camurri et al. (2007 ; 2012). Le logiciel permettant de faire de l’analyse de données via
réception de messages OSC ou en chargeant des fichiers CSV, il était possible de le faire
travailler de concert avec la plateforme Articulations et tirer profit de la grande quantité
d’outils intégrés pour mesurer des qualités de geste (Fig. 89).
Malheureusement l’interface complexe, le manque de contrôlabilité des données et
l’abandon du projet par les développeurs originels ne permirent pas de conduire ce travail à
un niveau de précision nécessaire pour un traitement en temps réel.
Un second choix fut celui du langage python, lequel semble aujourd’hui justifié par
l’innombrable quantité d’exemples et de documentation présente sur internet, ainsi que par
l’ensemble des outils et bibliothèques de fonctions pré-développés et gratuits, permettant
de parvenir rapidement à des automatisations de calculs complexes.
L’interface de Jupyter (Fig. 90) dans l’application Anaconda permet de plus d’exécuter
les scripts de manière séquentielle et de garder en visuel l’ensemble des informations qui
parviennent de la console. Ce système permet donc de visualiser facilement les signaux
obtenus et de les mettre en relation aux choix de programmation faits.
La bibliothèque scikit-learn offre enfin un certain nombre d’outils permettant de développer
des modèles de machine learning complexes. Ce choix s’avérera donc encore plus cohérent,
lorsque plus tard il me sera nécessaire d’adapter les fonctions développées pour une
utilisation dédiée au temps réel (voir partie 3-6).
Fig. 90 • L’interface de Jupyter
175
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.5.5 • Préparation des fichiers pour les prochaines phases d’apprentissage
Pour entreprendre cette phase de transformation des données de mouvement, je m’inspire
à nouveau des choix techniques de l’équipe d’Aristidou. Les auteurs prennent comme
habitude de prendre une fenêtre temporelle de 1,17 seconde pour calculer leurs descripteurs
(ils choisissent des fenêtres de 35 frames pour des données samplées à 30 frames par
seconde).
Ce choix de fenêtre temporelle semble avoir été fait de manière empirique, conduisant à des
résultats optimaux :
Les résultats empiriques montrent que l’utilisation d’une fenêtre glissante
de 45 frames avec un pas de 15 frames (nos données de mouvement
sont échantillonnées à 30 images par seconde), peut permettre de faire ressortir
efficacement les descripteurs pour la LMA (Aristidou et al., 2015)
Les données d’Articulations étant samplées à 60 frames par seconde, je décide donc de
doubler cette fenêtre temporelle et de prendre 70 frames pour faire mes propres moyennes
glissantes. Seule la mesure de la zone parcourue se fera sur 240 frames, soit un temps de
4secondes, estimé plus pertinent ici.
Je développe donc une série de scripts permettant de charger un à un les fichiers de
performance filtrés, puis d’opérer ces glissements de 70 frames pour en calculer l’ensemble
des descripteurs voulus.
Une première phase s’occupe de calculer les valeurs brutes de ces descripteurs, puis une
seconde boucle vient en extraire les valeurs maximales, minimales, moyennes et d’écart-
type lorsqu’elles sont nécessaires.
Cette étape est longue mais permet finalement de transformer l’ensemble des fichiers
étiquetés en des fichiers prêts pour les phases d’entraînement qui suivent.
J’obtiens au final autant d’échantillons de descripteurs de geste que d’échantillons de
données de mouvement. Seules les 70 premières lignes de ces fichiers sont initialisées à
0, afin de laisser le temps à la mémoire tampon (buffer) de se remplir. Pour le descripteur
calculant la zone parcourue au sol, les 240 premières sont laissées à 0 pour les mêmes
raisons. Durant toutes les phases d’apprentissage à suivre, ces lignes d’échantillons seront
bien entendu retirées des jeux de données d’entraînement.
Passons maintenant à la phase du travail consistant à entraîner ces algorithmes à imiter ma
manière de noter ces échantillons.
3.6 • Apprentissage automatisé
3.6.1 • Développement d’outils pour un entraînement sur-mesure
Les méthodes d’apprentissages restent à choisir dans chacun de nos trois problèmes en
fonction de leurs natures singulières. Dans les différentes études citées, les auteurs explorent
ainsi des directions différentes.
- Aristidou et al. (2015) testent plusieurs algorithmes de classification afin de prédire les
deux classes correspondantes aux différents quarts du cadran de Russell. Ils comparent les
176
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
algorithmes de Random Forests, d’Extremely Random Forests, de Support Vector Machine,
sur lesquels est appliqué un système de One-Versus-Rest, permettant de sélectionner le
résultat avec le plus de votes lors de la phase de test.
Ils parviennent à une précision moyenne de 91,75 % sur leur problème.
- Senecal et al. (2016) utilisent un réseau neuronal avec 86 entrées et 2 sorties (les deux
coordonnées du modèle de Russell), et doté de 10 couches cachées (hidden layers). Ils
montrent dans leur étude qu’ils parviennent à classifier majoritairement les émotions
dans les bons cadrans du modèle, mais ne donnent pas de résultats de réussite car
l’aspect régressif de leur problème ne leur permet que de prédire des valeurs approchées
et non exactes.
Pour ma part, je décide de profiter de la diversité des algorithmes disponibles dans la
bibliothèque python Scikit-learn et d’en tester une multitude afin d’observer leurs résultats
respectifs pour chacun des trois problèmes considérés.
La facilité offerte par la bibliothèque Scikit est qu’elle permet de tester facilement différents
algorithmes en ajustant à chaque fois quelques lignes de code. Il est par exemple possible
pour un même jeu de données, d’évaluer et de comparer les résultats obtenus pour
l’ensemble de ces algorithmes en une seule exécution.
De nombreux paramètres vont néanmoins avoir une influence sur les résultats obtenus lors
de l’entraînement, parmi eux on peut lister :
- La répartition entre les données d’entraînement et les données de test.
Ma stratégie consiste à mélanger de manière randomisée les fichiers originaux tout en
m’assurant que les valeurs cibles sont correctement distribuées (avoir une répartition
équilibrée des résultats à prédire entre les fichiers d’entraînement et de test).
Si les fichiers sélectionnés le sont d’une manière randomisée, les échantillons ne sont pour
autant pas dispersés entre les sets de travail. Les données d’entraînement et de test n’ont
donc pas pour origine des performances communes.
Les données étaient réparties à 80 à 88 % pour le jeu d’entraînement, quand 12 à 20 %
étaient destinées au jeu de test (ce pourcentage pouvant varier en fonction de la sélection
randomisée initiale).
- L’expérience vécue par les participants et l’impact sur leurs stratégies de mouvements.
La diversité des expériences vécues a évidemment un impact important sur les qualités de
mouvement et donc sur la distribution de nos données. Certains fichiers contiennent par
exemple des cas particuliers (un participant est expressif mais n’est pas conscient d’être
en coprésence), la présence de ce type de performance dans le jeu d’entraînement influera
donc sur les tendances prédictives du modèle.
- La sélection de descripteurs de geste.
S’il est intéressant de s’inspirer de la liste de descripteurs prélevée dans les études
précédentes, il est probable que certains d’entre eux ne soient pas utiles pour nos problèmes.
Une approche empirique peut nous permettre de déterminer l’influence des différents
descripteurs sur la réussite des modèles entraînés, il nous sera donc possible d’en tester
différentes combinaisons et de comparer leurs effets sur l’apprentissage.
177
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
- La normalisation des données.
La normalisation des données semble avoir des effets positifs ou négatifs selon les
types d’algorithmes utilisés. Nous pourrons donc inclure le choix d’opérer ou non cette
normalisation comme un paramètre supplémentaire lors de l’entraînement.
- Le type d’algorithme d’apprentissage choisi.
Les problèmes de classification sont abordés successivement avec des algorithmes de
gradients stochastiques, de classification naïve Bayesienne, de forêts d’arbres décisionnels
(Random Forests), d’analyses discriminantes linéaires, ainsi qu’avec des réseaux neuronaux.
Les problèmes de régression sont abordés successivement avec des algorithmes de machine
à vecteur de support (LinearSVR), de fonctions polynomiales, de régression linéaire, d’arbres
de décision, ou à nouveau de réseaux neuronaux.
- Les paramètres des algorithmes utilisés
Chaque algorithme présente un ensemble d’hyper-paramètres influant sur l’apprentissage.
De multiples variations sont explorées, utilisant pour cela des fonctionnalités de GridSearch
et permettant de comparer différentes combinaisons de paramètres en une seule exécution.
Cette importante combinaison de paramètres initiaux impose donc de multiplier les essais,
et de construire des intuitions en fonction des différents résultats obtenus.
3.6.2 • Mode d’opération
L’exécution segmentée rendue possible par Jupyter permet d’aborder ces problèmes d’une
manière itérative, il est assez ainsi simple d’appliquer les observations et conclusions d’une
séquence à une autre.
Pour les trois problèmes à suivre, je développe une séquence d’instruction qui tour à tour :
- Charge les fichiers d’entraînement et les répartit entre les jeux de travail destinés à
l’entraînement et au test.
- Initie une série de paramètres de manière randomisée ou manuelle parmi ceux que je
souhaite tester lors de cette étape. Cette série peut concerner les hyper-paramètres des
modèles d’entraînement, le nombre de descripteurs devant être sélectionnés, le choix de
normaliser ou non les données, les paramètres de monitoring à afficher, etc.
- Filtre les jeux de données en fonction des paramètres sélectionnés précédemment.
- Initie les modèles algorithmiques testés avec les hyper-paramètres sélectionnés
précédemment
- Évalue le score obtenu par le modèle sur le jeu de test
- Affiche les résultats, sauvegarde le modèle et ses paramètres si ceux-ci battent les scores
de référence (meilleurs résultats obtenus jusqu’ici).
- Itère une nouvelle boucle pour évaluer la pertinence d’une autre série de paramètres.
À chaque série d’entraînement, je compare les résultats et tente d’en identifier des tendances.
Certaines séries confirment le bon réglage de certains paramètres tandis que d’autres sont
progressivement abandonnés. La stratégie valorise ainsi l’intuition, mêlée à la multiplicité
des essais.
Je vais décrire à présent les résultats obtenus pour chaque problème.
178
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.6.3 • Problème 1 - Mesurer l’expressivité
Le réseau neuronal MLPerceptron Regressor est l’algorithme qui fonctionne le mieux dans
ce premier problème.
Celui-ci se retrouve le plus performant lorsque les données sont normalisées avec la fonction
StandardScaler, avec une sélection des 19 meilleurs descripteurs, identifiés par l’algorithme
SelectKBest et la fonction f_regression.
Parmi les hyper-paramètres les plus pertinents on peut retenir une fonction d’activation
‘relu’, un paramètre alpha à 0.0001 et un taux d’apprentissage constant (learning rate).
Concernant les couches du réseau neuronal, nos meilleurs résultats intègrent deux couches
cachées de 15 et 5 neurones, en plus des couches d’entrée et de sortie.
J’obtiens finalement les scores de 0.468 sur le jeu d’entraînement et 0.424 sur le jeu de test.
Ces scores correspondent au coefficient de détermination R^2 du modèle.
Afin de mieux rendre compte de l’efficacité du modèle entraîné, on peut voir ci-dessous les
données prédites par rapport aux données cibles, correspondantes aux valeurs d’expressivité
de notre jeu de test (Fig. 91).
Pour une meilleure lisibilité, la courbe de prédiction a été moyennée sur 250 échantillons.
Malgré quelques sautes parasites, on peut relever ici une tendance nette du modèle à suivre
mes prédictions.
Fig. 91 • Un graphique issu de nos phases de test. y_test (courbe bleue) représente
les valeurs cibles dans notre jeu de test, et y_predict les données prédites par le modèle
neuronal (courbe rouge)
179
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
À chaque test réalisé, je prends note de la liste des descripteurs ayant permis de réaliser
l’entraînement. Pour le modèle ayant permis l’obtention des résultats précédents, cette liste
est composée des 19 descripteurs suivants (Table 17).
ID Descripteur Description Score
1 f7_std Hauteur centroïde - écart-type 75931.21
2 f5_std Distance inter-main - écart-type 53571.46
3 f5_max Distance inter-main - maximum 38283.75
4 f6_min Distance main à tête - minimum 34865.40
5 f6_std Distance main à tête - écart-type 30180.75
6 f1_std Déviation de la tête - écart-type 27356.87
7 f8 Zone parcourue 22583.33
8 f7_min Hauteur centroïde - minimum 18228.81
9 f6_mean Distance main à tête - moyenne 16584.41
10 f5_mean Distance inter-main - moyenne 12535.88
11 f1_max Déviation de la tête - maximum 12478.11
12 f11 Niveau de hauteur main gauche 7089.38
13 f12 Niveau de hauteur main droite 7037.23
14 f2_std Vélocité des mains - écart-type 4052.76
15 f7_mean Hauteur centroïde - moyenne 3954.34
16 f6_max Distance main à tête - maximum 3584.59
17 f2_max Vélocité des mains - maximum 2494.01
18 f9 Volume du prisme occupé 2202.17
19 f2_mean Vélocité des mains - moyenne 1503.96
Table 17 - Liste des descripteurs de geste privilégiée ici par l’algorithme KBest
Il est intéressant de noter que les descripteurs les plus utiles pour comprendre ma notation
de l’expressivité concernent ici la variabilité du déplacement vertical des différents points du
corps, et la variabilité des distances entre ces différents points. La quantité de déplacement
180
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
sur la période concernée, ainsi que la variabilité de l’angle entre l’orientation de la tête et la
direction du déplacement obtiennent également des scores importants.
Étonnamment les données propres à la dynamique du mouvement sont très peu utilisées,
seule la vélocité des mains est présente dans la liste mais obtient un score faible par rapport
aux autres.
Cette liste m’est intéressante à analyser car elle me donne des indices sur ma propre manière
de qualifier le mouvement. La hauteur des bras, l’ouverture du corps, et la rotation de la tête
par rapport au déplacement semblent être chez moi des critères esthétiques, tandis que la
quantité et les dynamiques de mouvement ne semblent finalement pas être si significatives.
Au-delà du but recherché, cet exercice m’amène finalement à questionner mon propre
regard et ma propre appréciation sensible. Cette observation me sera utile plus tard lors du
développement des prototypes artistiques (voir sections 3-7 et 3-8).
Abordons à présent les problématiques relationnelles, sur la base de ce que nous avons pu
observer ici.
3.6.4 • Problème 2 - Reconnaître la coprésence
Cette seconde problématique concerne cette fois la reconnaissance de la coprésence parmi
les données de mouvement relationnel. Cette question est apparue lors de discussions avec
les différents membres de l’équipe Articulations ainsi qu’avec Rémi Ronfard de l’INRIA. Elle
intervient ici comme une étape préalable au problème 3 de régression, et tente de réduire la
question relationnelle à une approche binaire : un algorithme est-il capable de reconnaître si
deux danseurs sont réellement ensemble à partir de leurs simples données de mouvement ?
Le jeu de données est donc cette fois constitué de descripteurs relationnels, issus de la
mise en relation des mouvements des deux participants. La différence entre les vrais et
faux fichiers est que les deux séquences de mouvement provenaient soit de participants
ayant effectivement fait ensemble l’expérience, soit de participants issus de performances
différentes.
Le travail consiste donc ici à entraîner nos algorithmes à reconnaître les vrais fichiers des
faux, et comme lors du problème 1, à tenter de faire ressortir des observations intéressantes
qui pourront être réutilisées plus tard.
Les phases d’entraînements sont à nouveau réalisées de manière itérative au cours
desquelles je teste de multiples configurations qui voient se succéder différentes répartitions
de fichiers de test et d’entraînement, ainsi que différents types de normalisation et d’hyper-
paramètres.
Les premiers résultats ne sont pas satisfaisants et je décide d’opérer un filtrage des données
afin de ne garder que les échantillons réellement significatifs. Pour cela, je décide de
retirer toutes les performances où les participants n’ont compris leur coprésence qu’après
l’expérience (demander à un algorithme de repérer la coprésence entre deux personnes ne
se sachant pas l’une en face de l’autre apparaît en effet hasardeux).
Je décide de plus de ne me servir que des fichiers où les notes de cohésion sont notées
supérieure à 0.3, tirant donc profit en avance de mon travail d’annotation du problème 3.
181
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Tous les fichiers qui ne me procurent pas de sensation de cohésion sont alors jugés non
pertinents et retirés des données d’entraînement.
Après ce filtrage, il ne me reste finalement que 6 vrais fichiers, où les participants sont à la
fois expressifs et conscients d’être l’un avec l’autre, et 6 fichiers faux. Cela représente au
total 150 000 échantillons sur lesquels je relance la phase d’entraînement.
Les résultats s’améliorent alors, trouvant leur meilleur taux de réussite avec l’algorithme
de Gaussian Naive Bayes, via une normalisation avec la fonction StandardScaler, et un
nombre de 20 descripteurs sélectionnés par l’algorithme SelectKBest et la function chi2.
J’obtiens alors 69.4 % de réussite sur le jeu de données d’entraînement et 69.1 % sur le jeu
de données de test.
Concernant les descripteurs, on retrouve une répartition assez équilibrée parmi les différents
ensembles présentés plus tôt. On retrouve en effet à la fois des descripteurs provenant de
la différence entre les descripteurs individuels, des descripteurs du danseur médian, et de
descripteurs purement relationnels (Table 18).
ID Descripteur Description Score
1 d7_max Différence entre les hauteurs des centroïdes -
maximum 7777.14
2 d7_mean Différence entre les hauteurs des centroïdes -
moyenne 7683.56
3 d7_min Différence entre les hauteurs des centroïdes -
minimum 6704.66
4 r1 Similarité entre les niveaux de mains 4640.31
5 d9 Différence des volumes occupés 2500.90
6 m8 Zone parcourue par le danseur médian 2372.13
7 m5_max Distance entre les deux mains du danseur médian 2020.17
8 m9 Volume occupé par le danseur médian 1964.17
9 r5 Différence d’orientation de la tête par rapport aux
positions du partenaire 1955.49
10 m5_mean Distance entre les deux mains du danseur médian 1802.77
11 m7_max Hauteur du centroïde du danseur médian -
maximum 1690.70
12 m7_mean Hauteur du centroïde du danseur médian -
moyenne 1508.76
182
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
13 d2_mean Différence entre les vélocités des mains - moyenne 1503.15
14 m12 Niveau de la main droite du danseur médian 1343.37
15 m10 Distance parcourue par le danseur médian -
moyenne 1262.17
16 d2_min Différence entre les vélocités des mains -
minimum 1226.72
17 m7_min Hauteur du centroïde du danseur médian -
minimum 1103.35
18 m5_min Distance entre les deux mains du danseur médian 983.71
19 r4 Distance opposée des mains 865.93
20 m5_std Distance entre les deux mains du danseur médian 564.88
Table 18 - Liste des meilleurs descripteurs relationnels pour le problème de reconnaissance
de la coprésence.
On voit que les centroïdes et les niveaux des mains performent mieux que les autres
descripteurs, laissant penser que la perception de la coprésence serait fortement liée à la
similarité entre les hauteurs des mains des participants.
Si ces résultats montrent que nos descripteurs peuvent faire ressortir de deux séquences
de mouvements des indices permettant de statuer sur la coprésence des participants, ils
restent néanmoins moyennement satisfaisants, le modèle se trompant en effet sur 30 %
des échantillons qui lui sont proposés.
Pour contextualiser ces résultats une question émerge naturellement : « Un humain pourrait-
il atteindre de meilleurs résultats à l’œil nu ? ».
Il est vrai que malgré les différentes phases de filtrage réalisées, le jeu de données est encore
constitué de séquences où l’échange reste pauvre et où les participants sont focalisés sur
leurs propres mouvements ou sur l’observation du partenaire.
Avec un système de classification, un échantillon « pauvre » est valorisé de la même manière
qu’un échantillon « riche », et la relation n’apparaît alors pas directement du mouvement
mais davantage de l’historique de l’échange et de ce qu’il est possible d’en contextualiser.
Le choix de travailler sur des échantillons d’une durée d’une seconde n’est par ailleurs peut-
être pas optimal et pourrait être reconsidéré.
Plusieurs approches apparaissent donc comme des suites possibles pour améliorer ces
résultats :
- La classification pourrait être réalisée sur une séquence de plusieurs échantillons plutôt
que sur un seul. Prendre par exemple l’équivalent de dix secondes de performance pour n’en
tirer qu’une seule prédiction pourrait peut-être conduire à de meilleurs résultats.
183
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
- Une phase d’observation des échantillons pourrait être réalisée par différents annotateurs,
afin de statuer sur la possibilité même d’y percevoir cette coprésence, et mettre en
perspective la faisabilité de ce travail par une machine. Si les humains se révèlent incapables
de parvenir à de bons résultats sur un tel problème, il paraît difficile d’envisager que la
machine y performe beaucoup mieux.
- Une troisième classe pourrait être ajoutée pour annoter les échantillons indéterminés.
Si certains d’entre eux s’avèrent difficiles à étiqueter, une solution serait de les exclure de
l’apprentissage pour se focaliser sur des échantillons plus déterminants.
- Enfin, l’ensemble des descripteurs peut être repensé. Adapter les descripteurs du
mouvement individuel en les soustrayant ou en les extrayant du mouvement moyen des
deux participants est-il suffisant pour mettre en lumière une information relationnelle ? Les
bons résultats obtenus par Dynamic Time Warping sur le descripteur r1 invitent à réitérer ce
type de calcul pour d’autres données, cherchant à mesurer davantage les similitudes plutôt
que les simples différences.
Je laisse ici ce problème, mon but initial était de montrer ici l’évidence d’une différence
entre les jeux de données originales et recomposées et d’en tirer quelques intuitions. C’est
chose faite.
Place à présent au troisième problème, celui tentant de reconnaître cette mesure subjective
de cohésion dans le mouvement relationnel.
3.6.5 • Problème 3 - Mesurer la cohésion entre les participants
Nous abordons à présent une problématique typiquement liée au projet Articulations. Je me
réfère ici aux impressions déjà abordées dans la partie 3-1-2 et qui concernent ces moments
précieux où, de deux participants en interaction, je ne vois finalement plus qu’un ensemble
harmonieux, où les individualités et leurs influences respectives ne sont plus détachables de
la forme composite qui semble prendre vie.
Ces moments rappellent les descriptions des états de Flow de groupe dont je parlais dans
les premières phases de ce manuscrit. Les sensations y semblent exacerbées, la créativité
paraît décuplée et le résultat co-produit délivre une richesse à priori inatteignable par les
participants individuellement.
Tenter d’approcher une mesure de cet état en analysant le mouvement relationnel apparaît
comme un problème passionnant et dans la suite logique des deux problèmes précédents.
J’aborde donc encore une fois ce problème de manière itérative, retestant l’ensemble des
paramètres abordés précédemment dans leurs diverses configurations.
Les meilleurs résultats apparaissent à nouveau avec l’algorithme du Multi-layer
perceptron, un réseau neuronal qui, lorsque les données sont normalisées avec la fonction
StandardScaler, trouve sa meilleure efficacité avec un ensemble de 37 descripteurs.
J’obtiens alors un score R^2 de 0.455 pour le jeu de données d’entraînement et 0.433
pour le jeu de données de test.
184
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Ici la courbe de prédiction est soumise à un lissage important (Fig. 92), réalisé avec une
moyenne flottante de 700 échantillons (soit dix secondes de performance).
Comparant à nouveau les résultats du modèle par rapport aux valeurs cibles des fichiers test,
il est possible de reconnaître certaines similitudes entre ma manière de noter la cohésion
(courbe bleue) et celle du système cherchant à m’imiter (courbe rouge). Malgré tout le signal
est bien plus bruité que dans le problème 1.
Malgré les nombreux tests et itérations effectués, ces résultats ne sont pas aussi satisfaisants
qu’espérés. Ils m’invitent là aussi à questionner la pertinence de mes choix de descripteurs,
à la lumière de ce que j’ai pu nommer cohésion.
Les descripteurs retenus ici sont les suivants (Table 19).
ID Descripteur Description Score
1 m6_mean
Distance entre la tête et les mains du danseur
médian - moyenne 26054.23
2 m6_min
Distance entre la tête et les mains du danseur
médian - minimum 24622.83
3 m6_max
Distance entre la tête et les mains du danseur
médian - maximum 23508.95
4 m12 Niveau d’une main du danseur médian 8900.14
Fig. 92 • Comparaison entre les données cibles (courbe bleue) et les prédictions faites par le modèle
neuronal (courbe rouge)
185
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
5 d5_min
Différence de distance entre les deux mains de
chaque participant - minimum 6947.69
6 m11 Niveau de l’autre main du danseur médian 4750.53
7 m5_mean
Distance entre les deux mains du danseur médian
- moyenne 4341.58
8 m5_max
Distance entre les deux mains du danseur médian
- maximum 4168.66
9 d5_mean
Différence de distance entre les deux mains de
chaque participant - moyenne 4130.46
10 m9 Volume occupé par le danseur médian 3748.95
11 m5_min
Distance entre les deux mains du danseur médian
- minimum 3553.82
12 m2_mean Vélocité des mains du danseur médian - moyenne 2800.95
13 m7_std
Hauteur du centroïde du danseur médian - écart-
type 2548.94
14 d2_mean
Différence entre les vélocités des mains des
participants - moyenne 2457.65
15 m2_max
Vélocité des mains du danseur médian -
maximum 2335.57
16 d2_max
Différence entre les vélocités des mains des
participants - maximum 1974.89
17 d5_max
Différence de distance entre les deux mains de
chaque participant - maximum 1875.67
18 d12
Différence de niveau des mains droites des
participants 1867.50
19 d7_std
Différence entre les hauteurs des centroïdes des
participants - écart-type 1706.15
20 m3_std
Accélération des mains du danseur médian -
écart-type 1374.69
21 d8 Différence de zone parcourue par les danseurs 1312.19
22 d11
Différence de niveau des mains gauches des
participants 1257.12
186
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
23 d3_std
Différence entre les accélérations des mains des
participants - écart-type 1249.09
24 m2_std
Vélocité des mains du danseur médian - écart-
type 1175.95
25 m6_std
Distance entre la tête et les mains du danseur
médian - écart-type 1148.48
26 m3_max
Accélération des mains du danseur médian -
maximum 1005.13
27 d2_std
Différence entre les vélocités des mains des
participants - écart-type 977.79
28 m4_std
Secousse (jerk) des mains du danseur médian -
écart-type 958.92
29 m7_min
Hauteur du centroïde du danseur médian -
minimum 946.32
30 d4_std
Différence entre les secousses (jerk) des mains des
participants - écart-type 924.63
31 m4_max
Secousse (jerk) des mains du danseur médian -
maximum 843.17
32 d4_max
Différence entre les secousses (jerk) des mains des
participants - maximum 711.77
33 d7_min
Différence entre les hauteurs des centroïdes des
participants - minimum 603.27
34 d3_max
Différence entre les accélérations des mains des
participants - maximum 571.49
35 d6_max
Différence de distance entre la tête et les mains de
chaque participant - maximum 570.85
36 d5_std
Différence de distance entre les deux mains de
chaque participant - écart-type 520.08
37 m8 Zone parcourue par le danseur médian 471.81
Table 19 - Liste des descripteurs de geste privilégiés pour la reconnaissance de la cohésion
187
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
On peut déjà voir que les descripteurs du danseur médian performent beaucoup mieux
que les descripteurs de différences, obtenant un score cumulé de 120 000 pour le premier
groupe contre 30 000 pour le second (Fig. 93). On peut également voir, qu’étrangement,
cette liste ne comprend cette fois aucun des descripteurs relationnels.
Face aux résultats médiocres, je décide de transformer ce problème de régression en un
problème de classification, et remplacer la note de cohésion, par des niveaux allant de 1 à 4.
Après quelques itérations je parviens péniblement à un taux de réussite de 60.8 % sur le jeu
d’entraînement et de 45.7 % sur le jeu de test.
Je ne peux que reconnaître la maigreur de ces résultats, et avouer à ce stade que mon manque
d’expertise en réseaux neuronaux ne me laisse envisager de significatives améliorations
qu’au prix d’un réel changement de stratégie.
Prenant un peu de recul et regardant de nouveau certaines des performances où la note de
cohésion est la plus forte, il m’apparaît que les qualités gestuelles des deux danseurs n’y
sont pas nécessairement équilibrées. Certains de ces moments montrent davantage des
contrastes forts et des moments de tension apparente, où les danseurs voient évoluer leurs
propres comportements et où leurs rôles au sein de la relation se distinguent bel et bien.
Si elle semble pertinente au vu des classements des descripteurs, l’étude du danseur médian
reste réductrice car elle lisse nécessairement ces dynamiques relationnelles ainsi que les
éventuels contrastes qui s’y trouvent.
Le risque est que la méthode empruntée puisse mettre en valeur des qualités de geste miroirs
au détriment de réelles inter-adaptations. Enfin, là encore on pourra remettre en question
Fig. 93 • Répartition des scores des descripteurs de la Table 19. En vert les descripteurs du danseur
médian, en bleu les différences entre descripteurs individuels
188
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
la possibilité même d’évaluer la qualité de la relation à travers une fenêtre temporelle d’une
simple seconde.
Une mesure particulièrement intéressante si elle pouvait être obtenue serait celle de la
tendance des danseurs à être guideurs ou suiveurs. Que ce soit dans la danse improvisée
ou dans les phénomènes d’adaptation sociaux, ce concept semble prédominant. Hart et al.
(2014) font d’ailleurs un rapprochement entre les moments de togetherness et l’absence
de guideurs et suiveurs, mettant en lumière la conscience collective qui prend le pas sur les
individualités lors de l’improvisation partagée.
Envisager une suite à ce travail inviterait à se doter d’outils pour garder une trace de l’échange
au cours du temps, et faire ressortir cette influence - ou absence d’influence - d’un danseur
sur l’autre. Cela conduirait à l’obtention d’une meilleure représentation de la cohésion dans
le mouvement partagé.
Je laisserai donc ce problème en l’état, dans l’espoir d’en continuer l’exploration dans un
futur proche. Pour l’heure, je vais tenter d’appliquer les capacités prédictives de mes modèles
à des expériences temps réel.
3.6.6 • Vers une intégration des modèles à des programmes temps-réel
Maintenant que les modèles algorithmiques sont entraînés et sauvegardés, il peut être
entrepris d’en décliner l’usage vers des applications temps réel.
Ce travail peut être accompli en automatisant l’ensemble des étapes présentées dans les
sections 3-2 à 3-5, listant ainsi dans l’ordre les besoins suivants :
- Récolter les données de mouvement des deux participants (têtes et mains).
- Transcrire ces données en descripteurs de geste individuels et médians (j’abandonne ici les
descripteurs relationnels qui n’ont finalement pas été utilisés lors du problème 3).
- Prédire les expressivités des danseurs présents ainsi que la cohésion de leur mouvement.
- Renvoyer au moteur 3D la liste des descripteurs ainsi que les prédictions réalisées.
- Opérer les adaptations multimodales calibrées en fonction des valeurs et métriques
considérées.
Différents programmes et langages ont été utilisés jusqu’ici et continueront à l’être. En l’occurrence,
je garderai Unity3D pour la récolte des données de mouvement et l’affichage visuel, et le langage
Python pour le calcul des descripteurs et la prédiction par modèles neuronaux.
Une première étape consiste donc à assurer la communication entre les deux programmes.
La base du projet Articulations étant déjà pourvue d’une fonctionnalité faisant transiter
l’ensemble des positions et orientations des clients sur un réseau local, permettre au
programme Python de se connecter à Unity ne nécessite pas un travail important. Les
données de mouvement reçues de même que les descripteurs et les prédictions renvoyées
passeront donc par un même canal, via le protocole OSC.
L’adaptation du code existant permettant de changer les données de mouvement brutes
en descripteurs et prédictions en temps réel n’est là non plus pas très complexe. Les seules
différences se retrouvent dans le fait que le temps de calcul est cette fois une contrainte, et
189
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
que les données de mouvement ne proviennent plus de fichiers de performances mais d’un
flux issu du mouvement direct des utilisateurs.
En ce qui concerne le temps de calcul, je choisis d’alléger l’envoi des données sur le réseau
en ajustant la mémoire tampon à 35 frames, pour une lecture des gestes à 30 frames
par secondes40.
Concernant la seconde contrainte, le flux étant envoyé en temps réel, il nous est nécessaire
de minimiser le temps espaçant la réception du dernier échantillon et la prédiction renvoyée
à Unity.
Deux scripts fonctionnent pour cela en parallèle.
- Le premier s’occupe de la réception des données de mouvement et de leur stockage
dans notre mémoire tampon. Cette dernière fonctionne comme une pile FIFO (First In
First Out), maintenant ainsi un registre en permanence remplit des dernières données
provenant de Unity.
- Lorsque la mémoire est pleine et qu’aucun calcul n’est en cours un second script est
déclenché. Les données de mouvements sont alors converties en descripteurs, puis, une
fois normalisés, ces derniers sont donnés aux modèles neuronaux qui en extraient leurs
prédictions.
L’ensemble est finalement renvoyé au programme e Unity avant de relancer un nouveau
calcul à partir des dernières données reçues.
Ce système parallélisé permet de réaliser les prédictions tout en maintenant la mémoire
tampon à jour avec les données de mouvement les plus récentes. Ainsi, aucune donnée n’est
égarée et le temps séparant chaque prédiction est minimisé. Sur des ordinateurs récents,
il est ainsi possible d’obtenir un temps de calcul d’environ 0.6 secondes entre l’envoi des
dernières données et la réception des prédictions correspondantes.
3.6.7 • Pré-câblage entre Unity et le modèle algorithmique
Avant d’aborder la section relative au développement des prototypes, une ultime étape reste
à accomplir. Elle consiste à rendre utilisables ces différentes données par le programme Unity.
Afin de faciliter le travail de conception à venir, il est nécessaire d’avoir un maximum de
latitude sur la manière d’intégrer ces données, et se doter de quelques outils pour pouvoir
influer sur leurs comportements.
Pour rappel, nous avons donc accès ici à un ensemble de 78 valeurs, les deux notes
d’expressivité, la note de cohésion, les 38 descripteurs individuels (19 pour chaque participant)
et les 37 descripteurs relationnels.
Nos données étant normalisées, et oscillant entre 0 et 1, elles peuvent toutes être directement
associées aux différents paramètres de notre moteur 3D (paramètres environnementaux,
apparences des corps, représentations du mouvement, paramètres sonores…).
Néanmoins, et souhaitant programmer des réactions sensibles aux fluctuations du geste,
leur forme encore brute n’est pas adaptée à toutes les utilisations qu’on peut envisager.
40 Les modèles neuronaux sont entraînés à partir d’échantillons calculés sur 70 frames, à partir de mouvements captés à
60 frames par secondes (représentant donc 1,17 seconde de mouvement).
Diviser par deux la quantité d’échantillons envoyée ne s’avère pas gênant du moment que le temps effectif de mouvement
est le même et que le code Python est adapté en fonction.
190
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Dans de nombreux cas, il nous sera souhaitable d’en lisser les comportements, voire de les
détourner de leur forme linéaire.
Un ensemble de fonctions mathématiques peuvent être alors employées parmi lesquelles
on peut citer par exemple :
- Une Activation On/Off, soit une porte logique dont l’ouverture est déterminée par le
franchissement d’une certaine valeur seuil.
- Un Multiplexeur, dont différents intervalles prédéfinis peuvent engendre des réponses
différentes en fonction des valeurs de notre variable.
- Une oscillation, grâce à des fonctions de type sinusoïdale, la fréquence et l’amplitude de
l’oscillation pourront être déterminées par notre variable et par le temps écoulé.
- Un polynôme combinant plusieurs de nos variables dotées de pondérations différentes.
De nombreuses autres fonctions peuvent être utilisées, dont on peut trouver un résumé
plus exhaustif ici.
À nouveau, une grande diversité de possibles s’annonce. Je présenterai dans la prochaine
section la dernière étape de conception consistant à imaginer toutes les réactions sensibles
possibles de notre système immersif, mais pour pouvoir néanmoins tirer profit de ces
41 https://libgdx.badlogicgames.com/ci/nightlies/docs/api/com/badlogic/gdx/math/MathUtils.html
Fig. 94 • Aperçu du script AdaptivityMapping permettant d’associer facilement
les paramètres d’entrée et de sortie
191
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
différentes idées, il m’est nécessaire de pouvoir les tester rapidement, afin de trier et de ne
garder que celles qui sont effectivement intéressantes.
Un script est développé spécialement pour cette fonction, me permettant de combiner
facilement des données d’entrée et des données de sorties directement dans Unity.
Ce système permet de créer une liste de fonctionnalités où tous les descripteurs et métriques
reçus par Unity peuvent être directement branchés à l’ensemble des paramètres envisagés.
Dans la Fig. 94 ci-dessus on peut par exemple voir deux paramétrages associant l’expressivité
du danseur 1 à une déformation du terrain (displacement intensity), et la hauteur de la main
gauche à la puissance d’un système de particules.
Certains paramètres additionnels permettent de régler par exemple le gain de la valeur de
sortie, ses valeurs minimales et maximales (via une mise à l’échelle), la doter d’une valeur
random, et pour celles qui le nécessitent de modifier un facteur de vitesse (permettant par
exemple d’accélérer et ralentir une oscillation).
L’ensemble du programme est à présent prêt pour aborder la dernière phase, consistant à
déterminer les combinaisons les plus intéressantes entre entrées et sorties, et à en tester
l’effet directement en mouvement et en immersion.
3.7 • Preuve de concept pour l’interaction implicite - Relation
ambiante au mouvement
Après avoir identifié les paramètres variants au sein de mon contexte d’expérience, et
implémenté un ensemble d’outils pour parvenir à en faire une acquisition en temps réel,
cette prochaine étape de travail consistera à définir, tester et calibrer un prototype mettant
en jeu ces formes interactives multimodales.
La finalité artistique de ce travail détermine l’approche par laquelle il doit être réalisé, et
garde comme critères principaux la justesse et la qualité des émotions provoquées par ces
associations entre geste et réponse sensible.
Ce prototype visera donc à proposer différentes scènes visuelles et à y favoriser une
exploration intuitive, tout en amenant l’utilisateur à prendre conscience de la richesse de
son expressivité corporelle.
Je cherche ainsi à encourager un « moins bouger » et un « bouger juste », à privilégier une
recherche expressive plutôt qu’un mouvement frénétique et désordonné.
J’incorporerai également et à plusieurs reprises la séquence gestuelle d’un « autre » dans ces
scènes. Ce mouvement sera issu des jeux de données collectés jusqu’ici, mais la perception
en sera volontairement limitée car le propre de cette recherche sur l’interaction implicite
envisage plutôt une relation ambiante, tournée davantage vers l’espace que vers un autrui.
Cette astuce me permet tout de même de tester les potentiels effets de cette co-présence
sur l’environnement et sur la perception de leurs mouvements individuels et partagés.
Enfin, ce travail ne se destinera pas pour l’instant à une configuration multi-utilisateur.
Une autre expérience purement relationnelle et centrée sur l’interaction explicite sera elle,
proposée en section 3.8.
192
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.7.1 • Idéation pour des connexions sensibles à l’environnement virtuel
Je commencerai ici par une phase d’idéation, consistant à générer un maximum d’idées
de réactions numériques dans le contexte expérientiel considéré, sans me soucier
toutefois de leurs complexités de réalisation ou de leurs impacts estimés sur la qualité
d’expérience. Au contraire, dans un premier temps ce travail vise à mettre de côté mes
propres intuitions pour faire preuve à la place d’une plus grande originalité, voire pour
réussir à me surprendre moi-même.
Les capacités des moteurs 3D comme Unity étant extrêmement larges et étant moi-même
dépourvu de la moindre contrainte esthétique, je décide de prendre socle sur quelques
questions et thématiques inspirées des qualités de geste de Laban. Ces thématiques se
nomment donc « Espace », « Temps », « Corps » et « Effort », chacune associée à une
question propre :
Espace - Comment l’environnement perçu oriente-t-il mon attention et nos stratégies d’action ?
Temps - Comment mon mouvement peut-il être relié au passé, au présent et au futur
de l’expérience ?
Corps - Comment mon embodiment influe-t-il sur ma spécification et ma volonté de bouger ?
Effort - Peut-on faciliter, alléger ou compliquer le mouvement en altérant juste son rendu visuel ?
Je réalise cette idéation seul, en passant successivement d’une thématique à une autre, et
tentant pour chacune de générer un maximum d’idées. À l’issue de cette phase, j’obtiens
une vingtaine d’éléments par thématique, dont voici quelques exemples :
Espace :
- jouer sur les perceptions de distances, dévoiler plusieurs couches d’informations les unes
après les autres
- projeter le mouvement 3D en 2D, sur un mur ou par des effets d’ombres
- entourer la scène d’objets massifs et distants
- répéter la même scène à l’infini
Temps :
- pouvoir voir son mouvement passé
- n’afficher la scène ou le corps que lorsqu’on est en mouvement
- représenter le temps restant avant la fin de l’expérience, pouvoir interagir avec, l’accélérer
ou le ralentir
- voir son mouvement à l’envers (effet Reverse)
Corps :
- lutter contre sa propre disparition
- agir au-delà de notre kinésphère
- être ni visible ni invisible
- faire partie du décor
- couler, se casser, se répandre
Effort :
- lutter contre nos propres mouvements
193
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
- le mouvement est vu en retard (inertie)
- faire léviter/frémir les objets de la scène
La liste complète de ces idées peut être retrouvée en Annexe V.
La proposition de faire « léviter des objets » m’interpelle tout de suite, je vois là une
première occasion de ressentir facilement le lien entre mes descripteurs de geste et les
réactions de l’interface. De cette idée émerge alors naturellement une première version
fonctionnelle du prototype.
3.7.2 • Forger des intuitions sur la relation au mouvement en immersion
Afin de comprendre d’une part comment mes différentes métriques du geste peuvent
s’éprouver en immersion, et d’autre part de vérifier que tout le système développé fonctionne
correctement, cette première preuve de concept propose une visualisation en temps réel de
chaque donnée (descripteurs et mesures d’expressivité42).
Conceptuellement très simple, elle se révèle très utile dans ce processus. J’associe ici chaque
métrique à un pilier vertical, le long duquel une sphère glisse de haut en bas. La valeur
instantanée de chacune d’entre elles s’affiche au bas de son pilier et varie au cours du temps.
Le haut des piliers représente ainsi la valeur maximale et le bas la note minimale (Fig. 95).
42 La mesure de la cohésion relationnelle ne sera pas ici testée, réalisant le travail seul. Pouvoir tester son comportement
directement en immersion nécessitera d’adapter l’expérience pour être faite avec un partenaire, ce qui devrait être fait au
cours d’un prochain workshop.
Fig. 95 • Vision à la troisième personne du dispositif, l’ensemble des piliers réagissent
aux données de mouvements jouées en direct
194
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Dès le début de l’expérience, le simple fait de s’immerger dans la scène déclenche une
réaction immédiate. Chaque sphère s’anime alors avec sa propre logique, invitant à s’attarder
tour à tour sur chacune et d’apprécier la relation particulière qu’elle lie avec le geste intuitif.
Pour rendre l’expérience plus ludique, je rajoute un système consistant à n’afficher qu’un
pilier à la fois, et à masquer la métrique considérée. Lorsqu’une sa valeur seuil est atteinte,
celui-ci se retrouve alors automatiquement remplacé.
Cette seconde version du concept ajoute donc une tâche concrète au programme, invitant à
explorer son propre mouvement et à en comprendre directement l’effet.
D’un simple outil de mesure, le pilier devient alors un outil de recherche, orienté vers la
conscientisation de la richesse expressive du mouvement corporel.
Cette phase de test me provoque plusieurs réactions. Certains piliers sont en effet plus
simples à « valider » que d’autres, et chacun d’entre eux révèle ici des propriétés et des
sensations différentes.
- Certains descripteurs comme ceux mesurant la hauteur des mains sont évidents à contrôler,
rendant la manipulation agréable mais trop simple.
- Ceux mesurant les écarts-types sont plus exigeants à l’usage et renseignent davantage
sur un état de danse. Leur faire atteindre leurs valeurs maximales implique de performer
des changements brusques et répétés dans le mouvement, ce qui n’apparaît pas
spécialement naturel.
- Les différentes valeurs maximales, moyennes et minimales étant calculées sur 5 secondes,
elles n’affichent que les restes d’intentions déjà passées. Cette particularité rend leurs usages
intéressants pour mesurer des tendances, mais peu pertinents pour la programmation de
réactions soudaines.
- Enfin la prédiction d’expressivité est intéressante car elle réagit à plusieurs types de
caractères gestuels. Je parviens à lui donner des valeurs élevées en étant tantôt figé et tantôt
mu au contraire par un mouvement énergique. Je n’arrive pas spécialement à en anticiper
le comportement sauf lorsque je garde les bras ballants. La valeur atteint alors son point
minimal, à raison, car cette position est pour moi le signe d’un manque total d’engagement
dans l’interaction.
Ces différentes observations m’invitent à organiser ces différents descripteurs au regard
de leurs intelligibilités respectives, c’est-à-dire l’évidence avec laquelle il m’est possible de
comprendre l’association entre mon action et les retours que j’en perçois. Selon les cas il
pourra être intéressant de rendre ce lien évident, mais pour la conception d’une expérience
abstraite il sera certainement plus pertinent d’en créer des compositions plus complexes.
Je me contenterai de garder cette première preuve de concept dédiée à cette simple fonction.
Éprouver les sensations produites par l’association de ces différentes métriques avec un
retour visuel direct m’est en effet très utile.
Je peux à présent itérer sur ce principe, continuer d’explorer ces différentes associations
entrées/sorties d’une manière plus esthétique, et pourquoi pas en forcer le caractère inattendu.
199
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Interactions explorées :
- dissoudre progressivement les limites entre soi et l’énergie ambiante
- se démultiplier, à travers des réseaux de formes abstraites environnantes
- nos gestes causent des effets de caméra, manipulant la profondeur de champ et les
aberrations chromatiques du rendu
- les échelles se distordent
- l’autre et moi-même nous sentons à travers l’action d’une force physique qui attire nos
émanations les unes vers les autres
3.7.4 • Retours d’expérience et analyse personnelle
Afin de garder un effet de surprise lors de ma propre appropriation de ces différentes scènes,
et pour pouvoir me perdre dans l’exploration malgré une connaissance des rouages de
chaque scène, j’envisage une approche inspirée du jeu de cartes présenté en section 2-2.
J’utilise pour cela le système présenté en section 3-6-7, pensé justement pour réaliser des
successions d’associations randomisées, où tous les paramètres manipulables de chaque
scène se lient à chaque nouveau lancement de scène à des descripteurs de gestes différents.
Ce système permet ainsi d’itérer rapidement entre plusieurs combinaisons, et de garder en
mémoire celles qui apparaissent les plus agréables et stimulantes.
J’entame alors plusieurs phases d’immersion dans ces différentes scènes, pour en extraire
le plus d’intuitions possibles.
À chaque tentative, des sensations différentes de proximité émergent. Je m’efforce pour
chacune d’elles d’en retrouver les paramètres actifs et d’arriver à en maîtriser les effets. Les
associations les plus évidentes apparaissent sans surprise comme les moins intéressantes
et les moins dansantes.
Celles associant la hauteur des bras s’avèrent trop souvent explicites, voire même gênantes
pour porter l’attention sur le reste de la scène. Celles qui usent des écarts-types proposent
généralement des formes tangibles de réactions sensibles, souvent assez dures à saisir et à
maîtriser. La note d’expressivité quant à elle paraît assez diffuse lorsque les réactions sont
de nature ambiantes (intensité du vent dans la scène Oxylus, ou épaisseur du brouillard
dans la scène Pan), et parfois brutaux lorsqu’ils sont trop évidents (intensité lumineuse des
avatars dans la scène Oxylus, intensité de l’attractivité des particules dans la scène Ether).
Ces différentes appropriations du système d’associations randomisées sont intéressantes,
car elles stimulent chez moi des idées nouvelles. Elles m’invitent par exemple à recalibrer
tout de suite l’interprétation de certains paramètres, recourant à des moyennes différentes
en fonction du type de réaction visuelle considérée, mais aussi en me faisant songer à des
idées de réactions et de designs supplémentaires. Pourtant, elles s’avèrent vite lassantes en
connaissance du principe interne et les différences entre deux immersions sont pour le coup
trop minces pour y renouveler complètement l’étonnement.
J’opère ensuite une phase de test auprès de mon réseau proche, à qui je présente seulement
le principe de base : « ton mouvement se connecte de multiple manière à l’environnement
que tu vois, à toi de t’en emparer ». Plusieurs informations apparaissent alors distinctement.
Je constate par exemple rapidement que lorsque l’autre avatar est visible, l’attention de
l’immersant ne se porte alors que sur lui, oubliant les relations mêmes à l’environnement.
200
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Je revois également cette tendance consistant à se concentrer sur les interactions les plus
explicites et évidentes (à nouveau celles associant les hauteurs de bras) et à oublier de fait
celles plus abstraites ou complexes à maîtriser.
Ces deux observations m’amènent à conclure sur plusieurs aspects :
- Le niveau d’intelligibilité d’une interaction doit être pensé au regard de l’évidence du retour
perceptif induit. Selon cette logique, les fonctionnalités explicites d’un système numérique
doivent proposer des règles évidentes et instantanément saisissables, à travers des modalités
simples et intuitives, tandis que les états sensibles renvoyés par un environnement virtuel
doivent plutôt refléter les actions non conscientes des utilisateurs.
- Les interactions explicites et implicites ne peuvent pas cohabiter en requérant un même
niveau d’attention. Que ce soit du point de vue des distances physiques, ou de la subtilité des
changements perceptifs, la multimodalité se doit d’être pensée à travers plusieurs espaces
attentionnels. On ne peut vraisemblablement pas demander à un utilisateur de se concentrer
sur son action à l’arrière-plan alors même que son attention est mobilisée sur ce qui bouge
au plus près de lui. De la même manière ses différentes modalités d’action se doivent d’être
pensées en lien avec la manière dont il priorise son attention sur ce qui l’entoure.
- Enfin et concernant l’idée même de multimodalité, il semblerait plus judicieux de
minimiser le nombre d’interactions explicites actives en simultanée, tandis qu’à l’inverse
la manipulation d’états sensibles pourra requérir à des combinaisons plus importantes
de modalités abstraites, sans pour autant nécessiter que leurs actions individuelles soient
directement saisissables.
Dans le cas d’une expérience de conscientisation de l’expressivité corporelle invitant au
« bouger juste », comme celle considérée ici, il peut être intéressant à ce titre de commencer
l’expérience par l’appropriation de modalités explicites, puis de diriger progressivement
l’attention vers l’environnement et l’appréciation de modalités plus abstraites et ambiantes.
La relation à l’environnement pourra se penser alors comme intrinsèquement liée à la
manipulation du regard, en amenant l’utilisateur à porter progressivement cette attention
de son espace proche à tout ce qui l’entoure et l’englobe.
Cette phase expérimentale autour de l’interaction implicite se terminera donc ici, et toute
la matière développée ici fera l’objet d’une démonstration dans le cadre de ma soutenance
de thèse. Mon exploration de la relation entre geste et expérience sensible se focalisera
à présent sur le volet plus explicite de l’interaction naturelle, m’inspirant directement des
expériences d’altérité vécues en réalité diminuée partagée et de mes propres travaux sur
l’analyse du mouvement relationnel.
3.8 • Preuve de concept pour l’interaction explicite -
Un danseur médian
3.8.1 • Un nouveau paradigme d’interaction relationnelle
Cette dernière section expérimentale se focalise finalement sur une étude du volet explicite
de l’interaction naturelle, que je considère comme la seconde composante fondamentale à
l’engagement dans toute expérience immersive et spatialisée.
201
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
La composante implicite était focalisée sur une forme contemplative et relativement
passive d’interaction, cherchant à mobiliser les qualités d’écoute et à induire un « bouger
juste » chez l’utilisateur. La composante explicite adresse quant à elle ce qu’on manipule en
conscience, et à travers lequel on cherche à établir des règles.
Les éléments présentés ici reprennent une idée introduite plus tôt lors de l’étiquetage des
données de performances relationnelles (voir section 3-5-3), mais qui s’est finalement
révélée porteuse d’un tout autre intérêt que celui escompté à l’origine.
Au cours d’un troisième workshop à Larret en novembre 2021, nous menons, en compagnie
de l’équipe Articulations, diverses sessions de travail, oscillant entre pratiques somatiques
et réflexions sur l’ensemble du travail réalisé depuis le début du projet en 2019.
Nous y discutons notamment des différents outils et méthodes pouvant nous permettre de
tirer profit des données de mouvement récoltées. Je présente à cette occasion mes propres
travaux d’apprentissage automatisé, dont le concept du danseur médian qui s’était avéré
fructueux pour entraîner mes modèles à la reconnaissance de caractères relationnels au sein
des performances.
Formé de trois points à l’équidistance des deux têtes et des quatre mains des participants, ce
pantin contient finalement en lui l’essentiel des dynamiques des deux partenaires, tout en en
diminuant le nombre de points d’intérêt. Il incarne une sorte de matérialisation de la relation
et suggère à ce titre de nombreuses pistes de réflexions esthétiques et philosophiques.
Nos discussions nous amènent naturellement à questionner les sensations que ce médian
pourrait procurer s’il était visible au cours d’une interaction et les qualités relationnelles qu’il
Fig. 107 • En bleu, le danseur médian est au milieu des deux danseurs, créant une matérialisation
de leur mouvement relationnel
202
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
pourrait induire. Il est vrai que ce module était pensé à l’origine pour une analyse à postériori
des performances mais son adaptation pour une finalité temps réel n’est en rien complexe.
Il se retrouve donc rapidement intégré au dispositif Articulations et nous commençons à
l’enrichir de quelques intuitions.
Nous décidons de commencer par comparer deux conditions : la première laissant voir les
avatars d’Articulations plus le danseur médian (9 sphères au total, Fig. 107), et une seconde
où seul le médian reste visible (uniquement les trois sphères bleues).
Dans un cas comme dans l’autre le concept apparaît comme un matériau interactif très
engageant, suscitant d’ailleurs beaucoup d’intérêt auprès des membres de l’équipe (Fig. 108).
Les deux conditions proposent des sensations sensiblement différentes. Dans la première, on
voit apparaître entre le partenaire et nous une sorte de troisième entité, familière et amicale,
dont on se sent rapidement proche. L’attention est résolument focalisée sur elle, oubliant
presque le partenaire qui est le plus souvent caché derrière les sphères intermédiaires. La
sensation globale est proche de celle d’Articulations à ceci prêt que le médian dégage de
toute évidence une forte proximité affective, très certainement liée à la copie partielle de
Fig. 108 • L’une des phases du workshop où fut présenté le concept de danseur médian
203
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
nos propres mouvements. Le nombre important de points d’intérêts (8 sphères visibles
en comptant nos deux mains) rend néanmoins l’expérience plus complexe, et peut-être
inadaptée à des utilisateurs non-initiés.
À ce titre, la seconde condition est peut-être encore plus saisissante, car d’un rapport
d’altérité on passe à présent à une expérience qui oublie l’idée même de corps. Les avatars
minimalistes ne sont plus visibles, et les sphères médianes redeviennent ainsi des objets
minimalistes en flottement. La relation aux sphères est alors proprioceptive, et n’est plus
contrariée par les dissensus cognitifs et par ce besoin étrange de s’incarner au sein d’un
avatar non-anthropomorphe.
To u t e l ’ e x p é r i e n c e r e v ê t a l o r s u n c a r a c t è r e m a g i q u e , mon partenaire et moi-même ne nous
voyons pas mais nous sentons mutuellement en plaçant chacun dans ces trois sphères une
part de nous-même. L’interaction y est également ludique tout en restant simple et évidente.
Dans tous les cas, les retours enthousiastes que ce concept suscite nous encouragent à lui
imaginer de plus amples ambitions.
3.8.2 • Une influence rééquilibrée… voire asymétrique
Dans l’idée de tester différentes configurations de ce danseur médian, et face aux
déséquilibres évidents qui se manifestent à la fois dans les narratifs et les qualités gestuelles
des différents participants, je fais part à l’équipe d’une idée supplémentaire : en écho avec
les idées d’expérience adaptative ou de balance de difficulté progressive du Flow, le médian
pourrait s’envisager comme un objet paramétrable et adaptatif.
Celui-ci étant pensé à la base pour être le mélange des mouvements de deux participants,
un simple ajustement de pondération lors du calcul de la position médiane peut le rendre
plus ou moins proche de l’un ou l’autre des deux partenaires. Plutôt que de considérer un
contrôle partagé (chacun contrôlant 50 % du mouvement perçu), on pourrait envisager de
donner à chacun un poids différent, voire de rendre ce poids évolutif et lié aux qualités
relationnelles perçues.
Dans l’hypothèse où un plus grand contrôle favoriserait par exemple l’engagement au sein
de la rencontre, on pourrait envisager de donner davantage de ce contrôle au participant le
moins à l’aise, et faciliter ainsi la rencontre avec son partenaire.
Plus étrange encore, le danseur médian pourrait être pensé comme asymétrique. Celui-ci
étant généré de part et d’autre (chaque programme fait son propre calcul du médian à partir
des données partagées de mouvement des participants), on peut également programmer
un mode où celui-ci est vu différemment par chacun.
Un tel mode permettrait de donner à chacun simultanément un contrôle dominant ou
dominé sur le médian qu’il perçoit. Par exemple les deux participants pourraient chacun
avoir la sensation de contrôler à 25 % leur médian, alors qu’ils auraient en parallèle 75 %
du contrôle sur celui perçu par l’autre. Chacun agirait alors sur l’expérience du partenaire
différemment qu’il ne serait capable de le percevoir, induisant ainsi potentiellement et de
part et d’autre une écoute mutuelle ou bien des états de plus grand confort.
Ces idées germent donc pendant plusieurs semaines et dressent finalement les bases d’un
nouveau protocole expérimental.
204
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.8.3 • Vers le développement d’un nouveau protocole expérimental
Forts de ces premières approches et des discussions tenues autour de l’idée de contrôle
évolutif, un second workshop de trois jours est organisé au centre CNRS Pouchet à la fin
mars 2022, pour ressentir directement cette idée de contrôle progressif, et pour établir de
ces sensations un réel protocole expérimental (Fig. 109).
Nous y testons plusieurs configurations de contrôle partagé en ne choisissant d’afficher que
les sphères médianes (pas de retour de la position de ses propres mains ou de celles du
partenaire), et en alternant entre des répartitions de 25/75, 40/60, et 50/5043.
S’il est rapidement évident pour une personne initiée de reconnaître la quantité de contrôle
qui lui est donnée (les sensations entre un contrôle à 25, 50 et 75 % sont en effet très
différentes), les poids de 40 % et 60 % restent plus subtils, la différence par rapport à une
condition à 50 % étant bien sûr moindre.
Dans la condition à 40 %, je me sens en contrôle partiel de l’objet mais je ressens également
une sorte de péril. Je suis impliqué dans l’interaction mais je sens aussi qu’il m’est nécessaire
de bouger pour garder le contrôle, comme si j’avais besoin de parler légèrement plus fort pour
me faire entendre. À 60 % je suis en revanche assez connecté à l’autre, même si l’interaction
me paraît aisée et fluide, voire moins intéressante.
43 Un contrôle de 25/75 signifie que mon mouvement a trois fois moins d’effet sur le mouvement perçu que celui de mon
partenaire, à 50/50 notre contrôle est égal
Fig. 109 • La configuration utilisée pour l’étude du médian progressif
205
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Nous testons également les conditions où le danseur médian est asymétrique, alternant
cette fois entre des valeurs de 25/25, 40/40, 60/60 et 75/7544. Du point de vue des qualités
relationnelles, le comportement du médian change alors radicalement.
Être pourvu d’un contrôle de 25 % est très différent si, en face, mon partenaire à lui aussi
25 % ou s’il a 75 %. Dans le premier cas nous allons tous les deux provoquer chez l’autre
des mouvements plus amples que ceux que nous percevons chez nous. Le partenaire
peut percevoir cela comme une sur-expressivité, pouvant paraître parfois agressive et non
contenue. Être tous les deux à 25 % nous invite rapidement l’un et l’autre à la retenue, à
l’observation, voire à l’adoption d’une posture défensive. Quand par contre nous avons tous
les deux 75 %, nous sommes assurés d’être en contrôle. Nos mouvements se minimisent et
deviennent plus précis. Le partenaire voit alors un mouvement plus affirmé, même s’il n’est
finalement perçu qu’à 25 %.
C’est finalement peut-être les conditions 40/40 et 60/60 qui retiennent le plus notre
attention, car là encore la sensation est moins évidente à différencier du parfait équilibre. À
40/40 nous ressentons tous les deux ce péril, ce qui nous force l’un et l’autre à redoubler
d’inventivité et d’expressivité, sans que l’action perçue à 60 du partenaire ne nous bloque
complètement. La condition 60/60 enfin nous plonge tous les deux dans une expérience
plus agréable, ludique et confortable.
Toutes ces conditions changent donc profondément la donne quant aux stratégies déployées
et au déroulement de la rencontre.
Après ces quelques séquences de test, nous décidons de convier quelques participants non
initiés, pour qu’ils découvrent ces différentes conditions et qu’ils confirment ou non nos
quelques intuitions ressenties jusqu’ici.
Nous proposons pour cela une première ébauche de protocole, enchaînant trois séquences
d’immersion contenant chacune quatre conditions différentes d’une durée de 90 secondes.
Pour aider les participants à mieux identifier les différentes conditions, nous donnons une
couleur différente au médian pour chacune d’entre elle et toujours dans le même ordre : vert,
rouge, bleu, rose.
Session 1
La première session alterne les conditions comme suit :
Couleur du médian % contrôle A % contrôle B
Vert 50 50
Rouge 75 25
Bleu 60 40
Rose 40 60
Ta b l e 2 0 - Mo d u l a t i on d u c o nt r ô l e p o u r l es p a r t i ci p a nts A et B au cours des conditions de la session 1
44 Un contrôle de 75/75 signifie que mon partenaire et moi avons tous les deux la sensation de contrôler 75 % du
mouvement du médian, alors que nous n’avons tous les deux que 25 % du contrôle sur celui perçu par l’autre.
206
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
L’enchaînement y est assez direct. Après une première familiarisation à 50/50, A voit son
contrôle augmenter jusqu’à retomber progressivement en dessous de la moyenne dans
la dernière condition. B va subir le chemin inverse, perdant le contrôle mais le regagnant
progressivement pour finir à 60.
Session 2
Couleur du médian % contrôle A % contrôle B
Vert 25 75
Rouge 25 25
Bleu 60 40
Rose 40 40
Ta b l e 2 1 - Mo d u l a t i on d u c o nt r ô l e p o u r l es p a r t i ci p a nts A et B au cours des conditions de la session 2
Cette seconde session est plus complexe. A commence ses deux premières conditions avec
un contrôle à 25 % ce qui le place supposément dans une posture de dominé. Il regagne
ensuite soudain une majorité du contrôle, puis le reperd pour finir en dessous de la moyenne.
B se voit proposer quant à lui une expérience plus challengeante. Démarrant cette seconde
session avec un contrôle à 75 %, il chute soudainement à 25, puis finira les deux dernières
conditions à 40.
Fig. 110 • Modulation du contrôle pour les participants A et B
au cours des conditions de la session 1
207
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Session 3
Couleur du médian % contrôle A % contrôle B
Vert 75 75
Rouge 25 75
Bleu 50 (+ mains) 50 (+ mains)
Rose 50 50
Ta b l e 2 2 - Mo d u l a t i on d u c o nt r ô l e p o u r l es p a r t i ci p a nts A et B au cours des conditions de la session 3
Enfin pour cette troisième et dernière session, A et B vont commencer tous deux avec un
contrôle à 75 %, mettant en lumière cette condition où l’un et l’autre apparaissent expressifs
même s’ils n’ont que 25 % d’influence sur le médian de l’autre. Dans la condition rouge, A
chute soudainement à 25 tandis que B garde le même degré à 75. Dans les deux dernières
conditions nous décidons finalement de comparer les conditions 50/50 avec et sans la
perception des sphères des participants (condition de base d’Articulation + médian).
Après chaque session, nous menons ensuite une série d’entretiens informels avec les
participants, enregistrant et transcrivant leurs conversations pour recueillir leurs impressions.
Je ferai part ici de quelques-uns des retours qui ont été formulés par les participants de
deux dyades.
Fig. 111 • Modulation du contrôle pour les participants A et B au cours des conditions de la session 2
208
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.8.4 • Premiers retours d’expériences
Les commentaires suivants sont ceux formulés par deux de nos trois dyades, organisées
par session. A1 et B1 font partie de la première dyade, tandis que A2 et B2 font partie de
la seconde.
Session 1
A2 : J’aurais aimé que ce soit plus surprenant sur les réactions, je me suis retrouvé
vite à cours de gestes. Je trouvais vraiment difficile de faire bouger ces sphères
comme je le voulais.
B2 : On e st a ss e z v i t e d é ro u t é, j e n e su i s pa s tr è s h abile de mon corps et c’est bizarre
d’avoir ces choses qu’on ne comprend pas. J’ai essayé de comprendre ce qu’il y avait
derrière ces sphères, un écho ? Une personne ? Le hasard ? Le fait de ne pas comprendre
m’a bloqué et limité. Sur la dernière couleur j’ai senti un écho à mes mouvements
A2 : J’ai cherché à me rapprocher plus du bleu, il était plus sympa, le rose aussi peut-être
B2 : Au début j’ai trouvé ces sphères assez oppressantes, trop proches. Petit à petit je
me suis habitué. Les rouges me paraissaient plus agressives. J’ai essayé de me
reculer mais elles s’accrochaient.
Dans cette première session, seule la seconde dyade apporte des commentaires qu’il
me semble intéressant de notifier. Il y a déjà une sorte de distinction qui émerge de
sa dynamique relationnelle, B2 exprime à plusieurs reprises son inconfort à s’exprimer
Fig. 112 • Modulation du contrôle pour les participants A et B au cours des conditions de la session 3
209
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
corporellement, et A2, sans connaître l’origine du mouvement des sphères exprime dès le
début une forme d’ennui.
Concernant les caractères reconnus, on peut noter que les conditions bleu et rose (60/40
puis 40/60) plaisent davantage à A2 alors que la condition rouge précédente lui donnait
un contrôle à 75 %. B2 s’est en revanche senti agressé lorsqu’il n’avait que 25 % du contrôle.
Session 2
A1 : Sur cette session, je me suis permis de juste observer et de moins bouger,
notamment dans la condition rouge. C’était intéressant, j’avais davantage conscience
d’être face à ma partenaire (B), j’avais envie de comprendre ce qui se passait quand
je ne bougeais pas.
B1 : Dans la première condition (verte) j’ai eu l’impression que l’interaction était assez
en miroir, alors que dans la condition rouge les balles semblaient me chercher plus.
La bleue était plus autonome par rapport à moi, elle vivait plus sa vie.
Dans cette seconde session, A1 enchaîne deux conditions à 25 % et exprime naturellement
avoir décidé de se mettre en observation. B1 a en revanche bien identifié l’aspect miroir de
la première condition (75 %) et exprime observer une plus grande autonomie du médian
lorsqu’il passe du rouge (25,25) au bleu (60,40).
Il est intéressant de noter que l’autonomie semble donc plus forte dans cette condition
symétrique, que lorsque le médian est animé à 75 % par l’autre mais que cet autre ne perçoit
son propre contrôle qu’à 25 %.
B2 : J’ai trouvé encore le rouge plus agressif, alors que le vert était bien plus sympa.
A2 : J’ai très vite basculé sur un mode où je suivais la sphère, je cherchais
à lui répondre plutôt qu’à la guider. Comme la première session, j’ai eu l’impression
que quelqu’un se glissait dans ses sphères. J’ai eu une sensation assez physique
avec le rose, il venait plus vers moi. Le rouge était plus vif et plus lointain.
B2 : J’ai senti petit à petit un apaisement des sphères. J’ai senti qu’elles étaient dans
l’incompréhension, le rouge me paraissait frustré de ne pas arriver à communiquer.
J’essayais de m’échapper mais il me suivait et s’énervait.
A2 : En effet il y avait un apprentissage mutuel, comme nos deux algorithmes
apprenaient l’un de l’autre.
B2 trouve le médian sympathique lorsqu’il a 75 % de son contrôle (condition verte), puis agressif
en condition 25/25 (rouge). De son propre aveu, il dira que la couleur rouge influence peut-être
son jugement, mais il est vrai aussi qu’à 25/25, le mouvement provoqué sur le médian de
l’autre apparaît souvent plus vigoureux et intrusif que celui provoqué dans sa propre expérience.
A2 de son côté est lui aussi en écoute, en imitation, là encore possiblement induit par
l’enchaînement de deux conditions à 25. Ce n’est qu’à la fin de la session que la rencontre
semble se faciliter, alors que B2 sent semble-t-il les sphères s’apaiser.
210
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Session 3
A1 : Plus d’attention aux couleurs cette fois-ci, j’ai remarqué un gros changement de
qualité entre le vert et le rouge, le premier était plus calme et le rouge était très actif,
j’étais plus dans l’observation. Après ça s’est calmé. Parmi les derniers (bleu ou rose)
j’avais vraiment l’impression d’une réaction à ce que je faisais, si j’arrêtais, les boules
arrêtaient, si je bougeais, elles bougeaient.
B1 : Encore en miroir pour la condition verte mais c’était plus riche, peut-être
est-ce dû au fait que je commençais à m’habituer. Pour la condition rouge, j’ai laissé
les propositions arriver, mais celui-ci était plus proche de moi. À nouveau il semblait
me chercher, il était joueur.
A2 : Je n’ai pas vu Adrien dans l’expérience même si j’avais l’impression que j’étais
manipulé par une personne
B2 : Au début j’avais la sensation que c’était lui, mais parfois ça me paraissait un
écho de moi-même, voire un mouvement random.
A2 : j’ai trouvé que cette session était plus aisée, c’était plus fluide et joueur. Une
sorte d’apprivoisement s’est fait, c’était très agréable.
B2 : Le rouge est plus dynamique, il a plus de caractère, j’avais plus de maniabilité sur lui
Sur ce troisième passage, les participants commencent à être très attentifs aux personnalités
de chaque couleur. A1 reconnaît bien le passage de Vert (75) à Rouge (25) ce qui le rend plus
observateur. Dans les deux dernières conditions à 50/50 il ressent davantage de connexion
à son propre mouvement.
B1 ressent dans le 75/75 une sensation de miroir « riche », confirmant l’idée selon laquelle
un participant à 75 de contrôle peut générer un médian expressif chez son partenaire, même
si ce dernier n’en perçoit l’influence qu’à 25 %.
J’arrêterai ici le détail des commentaires, pour ne pas trop biaiser la réflexion avant la
prochaine phase expérimentale du projet qui aura lieu en juin 2022 au centre Pouchet.
Nous y mesurerons un certain nombre de performances dans la même approche que celle
poursuivie jusqu’ici avec le projet Articulations, espérant à nouveau publier des données
tangibles et donner une réelle existence au danseur médian sur le plan scientifique.
Je proposerai en revanche à présent quelques discussions sur ce principe de danseur médian
au regard de mon questionnement sur l’interaction explicite, et les applications qu’il peut
laisser espérer auprès d’expériences numériques plus larges.
3.8.5 • Le danseur médian, une interaction explicite inspirante pour
le design d’expériences
Cette première sélection de commentaires semble aller dans le sens des observations et
intuitions formulées plus tôt, et engage quelques réflexions sur l’application d’un tel concept
à des interfaces numériques plus communes.
211
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Premièrement cette idée de danseur médian propose un parti pris important vis-à-vis des
immersants et de leur expérience : leur propre existence au sein de l’environnement virtuel
est partiellement mélangée à une entité extérieure.
À la différence de la première version du projet Articulations où les avatars minimalistes
semblaient être au moins une règle de base permettant d’échafauder toute éventualité
d’action, face au danseur médian nos agentivité et embodiment sont sans cesse rebattus.
Le produit de mon interaction est ce qui me permet de me spécifier au sein du virtuel, et je
dois pour cela m’assurer d’en garder le contrôle. Je crée ainsi un mouvement qui anime mon
partenaire, lequel répond alors par son propre mouvement qui m’anime à son tour. Notre
seule preuve d’existence provient alors de nos mouvements mêlés et l’expérience ne peut
être dès lors que collaborative.
Deuxièmement, nous avons pu remarquer que diminuer le contrôle laissé aux participants
sur l’objet co-animé tendait à les mettre en péril, voire à les placer fatalement dans des
états d’observation. Rehausser ce contrôle semblait au contraire rendre l’expérience plus
confortable, jusqu’à devenir potentiellement ennuyeuse.
Cette observation laisse imaginer qu’il existerait donc vraisemblablement une « zone
idéale », propre à chacun, où le contrôle serait suffisamment faible pour que l’objet manipulé
reste surprenant et stimule la recherche créative, mais serait également suffisamment fort
pour que la sensation d’agentivité soit tangible et permette l’engagement. On pourrait alors
supposer que faire converger chacun vers son degré de contrôle idéal pourrait permettre de
favoriser la rencontre avec l’autre et développer ainsi la collaboration créative.
Ces deux précédents points illustrent à mon sens ce qui se joue à travers le volet explicite de
l’interaction naturelle gestuelle :
Le retour perceptif que j’ai de mon action influence mes s tratég ies et p eut m’ amen er à renf orc er
mon engagement, ainsi que ma collaboration avec mon partenaire, à être plus à son écoute
ou bien à être davantage moteur de notre interaction. En cherchant dynamiquement ce point
optimal de contrôle, et en le faisant varier au cours du temps, l’interface peut jouer un rôle
déterminant quant à ma qualité d’expérience et aux productions qui peuvent en être issues.
Davantage qu’un simple outil, la médiation peut jouer ici le rôle de troisième partenaire, en
filtrant l’information de telle manière qu’elle rende la collaboration presque inévitable, ou
bien en mettant en lumière certains caractères propres à la rencontre, que ce soit à des fins
pratiques, fonctionnelles ou esthétiques.
Plus alors qu’un exercice de pensée, il me semble intéressant de considérer cette idée du
médian au-delà du scope du projet Articulations, et d’en envisager l’application à d’autres
outils de collaboration numériques. Le numérique pourrait alors dépasser ce que le monde
physique propose, un lieu et un temps de rencontre au-delà des contraintes naturelles, où
les limites entre moi et l’autre sont volontairement brouillées et rebattues, faisant alors
émerger de nouvelles formes de co-présences.
Je terminerai donc cette étude en tentant d’apporter une première instanciation de cette
idée de médian adaptatif, réunissant mes inspirations premières avec certaines des outils
développés tout au long de ce manuscrit.
212
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
3.8.6 • Instanciation d’un médian adaptatif
Reprenons tout d’abord ce lien entre le principe de contrôle adaptatif et le concept du Flow
de Csikszentmihalyi, dont j’avais pu parler plus tôt dans mon état de l’art (voir section 1-1-1
et Fig. 113 ci-dessous).
Nous l’avions vu, le graphique proposé par Csikszentmihalyi conditionne l’atteinte de
l’expérience optimale à la bonne adéquation entre le challenge demandé à l’utilisateur et ses
capacités du moment. Cet équilibre nécessite d’être réévalué constamment, en augmentant
ou en abaissant la difficulté de la tâche considérée en fonction des performances mesurées.
Grâce à ce concept, on peut penser le déploiement de l’expérience interactive comme
directement liée aux performances de l’utilisateur, la rendant alors parfaitement adaptative.
Dans notre cas et en considérant l’expérience du danseur médian, l’expérience optimale
pourrait à priori être atteinte plus aisément si les degrés de contrôle de mon partenaire et
moi sur notre objet co-manipulé étaient idéals, nous permettant d’être pleinement engagés
gestuellement l’un avec l’autre malgré nos éventuelles capacités expressives différentes.
Je propose pour cela de considérer l’idée de performance individuelle du Flow à travers les
outils de mesure des qualités gestuelles individuelles utilisés plus tôt, à travers notamment
la notion subjective d’expressivité.
Le modèle du Flow se transposerait alors en celui d’un « médian idéal » de la manière
suivante (Fig. 114).
Sur ce graphique, je propose de représenter en abscisse la richesse du mouvement de
l’utilisateur au cours du temps (le moins expressif étant à gauche). En ordonnée, on peut y
voir le facteur d’influence sur le médian (la quantité d’imitation) osciller entre ses deux valeurs
extrêmes. Une valeur à -1 équivaut à une imitation totale du mouvement de l’utilisateur,
tandis qu’une valeur à 1 équivaut à une complète autonomie.
Fig. 113 • Modèle du Flow
213
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Ce graphique explique basiquement deux choses :
- La première phase joue le rôle de tutoriel et de mise à l’aise : dans un premier temps on
donne un contrôle total sur l’objet d’interaction, afin de permettre à l’utilisateur de prendre
conscience de son agentivité. C’est la phase où il se saisit des règles de l’expérience.
- Ensuite, plus son expressivité augmente, plus on lui rend la tâche plus originale, en
augmentant l’autonomie du médian et en favorisant ainsi la rencontre avec le partenaire.
En ayant recours à un tel modèle pour mon partenaire et moi, on pourrait chacun converger
progressivement vers notre point d’équilibre et interagir ensemble avec une quantité
optimale de contrôle.
Il sera alors tout à fait envisageable de trouver ce point d’équilibre ailleurs qu’au point central
(50/50), et celui-ci pourra également fluctuer au cours du temps.
3.8.7 • Construction d’un partenaire virtuel évolutif et retours d’expérience
Cette dernière étape consistera en une implémentation du modèle précédent, et au
développement d’un prototype de « partenaire virtuel ».
Sans imaginer égaler la richesse expressive pouvant être obtenue au cours d’un échange
improvisé entre deux participants, l’idée est de toucher ici du doigt le potentiel expérientiel
d’une entité ainsi composée d’un mélange dynamique entre une séquence de mouvement
pré-enregistrée et celle de l’immersant.
Je souhaite y observer les effets de ce degré de contrôle adaptatif, usant à cette occasion de
mon outil de mesure de l’expressivité, intégré au sein d’une fonction sinusoïdale.
La scène développée reste simple et nous plonge face aux trois sphères du danseur médian,
nous dotant pour le coup des simples sphères blanches d’Articulations (Fig. 115).
Fig. 114 • Influence du mouvement du danseur médian sur un participant
214
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Dès le démarrage de la scène, le contrôle sur le médian est total, car rien dans notre
mouvement n’a pu jusqu’ici être analysé. Après quelques gestes échangés, ce dernier diverge
et commence à nous ignorer. Instinctivement, l’attention se fait plus aiguë face à ce contrôle
qui nous échappe et je me surprends à explorer diverses astuces pour retrouver la maîtrise
de ces sphères étrangères.
Les premières phases de test en immersion sont concluantes et je me surprends moi-même
à oublier le fonctionnement de ces étranges sphères vertes.
Après un certain temps d’exploration pourtant, le caractère oscillant décrit précédemment
me devient évident et mon mouvement devient davantage un outil pour mesurer cette
quantité d’imitation effective.
La limitation principale de ce concept vient évidemment de son aspect linéaire et du fait
qu’à aucun moment la séquence de mouvement pré-enregistrée n’est réellement modulée
par la situation et par mes propres actions.
L’imitation apparaît ici bien différente d’une coordination et le supposé partenaire s’apparente
plutôt à une marionnette douée d’une forme de conscience propre. On aimerait pourtant la
voir s’animer de gestes réellement contextualisés et provenant d’un narratif commun.
Tentant d’oublier mes propres biais de concepteur, ce prototype m’apparaît néanmoins
prometteur et m’encourage à en poursuivre le développement en vue de phases de test
ultérieures.
Fig. 115 • Vue à la troisième personne d’un participant (en blanc) face au partenaire virtuel (en vert)
Ce dernier peut copier au choix les mouvements du participant ou ceux
d’une séquence de mouvement pré-enregistrée
215
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
J’avais pu insister dans mon état de l’art sur l’importance de l’imitation et de la résistance
pour faire apparaître la sensation d’une présence tierce, et cette idée trouve ici tout son
sens. Lors du projet Articulations, nous avions justement remarqué que l’imitation et la
coordination semblaient être des prérequis à l’initiation du rapport social, donnant à chacun
la sensation d’être présent et reconnu au sein de l’environnement virtuel.
Tenter d’appliquer cette idée à d’éventuels contextes mono-utilisateur et doter une entité
tierce de capacité d’imitation semblent ainsi tout indiqué pour créer une connexion et amener
un utilisateur à progresser dans un parcours. Cette entité ayant de plus appris à refléter
la subjectivité du designer de l’expérience, elle contribuera alors pleinement à affirmer ses
partis pris esthétiques.
L’efficacité de ce système pourra néanmoins révéler tout son intérêt lorsqu’il sera confronté à
des immersants n’en connaissant pas le principe et pouvant m’en formuler des retours non
biaisés, ce qui pourra être le cas lors de workshops ultérieurs ou d’expériences artistiques
issues de ce concept.
Les mécanismes de la SDR alliés à cette idée de danseur médian laissent définitivement
envisager des parcours utilisateurs où les entités virtuelles seraient à la fois des guides
assurant la bonne progression d’un scénario, mais joueraient aussi à co-construire un narratif
avec l’utilisateur, en intégrant et encourageant son expressivité et sa créativité.
Tant pour des œuvres ludiques que pour des outils de création et de recherche, développer
ces altérités apparaît un challenge aussi passionnant que pertinent, et trouve un écho à
toutes les questions que nous avons développé jusqu’ici.
3.9 • Résumé du chapitre
Dans ce chapitre nous avons pu présenter une démarche de design conduisant au
développement de deux expériences immersives et naturelles basées sur le mouvement
intuitif.
Usant pour cela d’une méthode développée au cours du chapitre 2, nous avons dans un
premier temps défini notre contexte d’étude, celui de la réalité diminuée partagée (SDR)
à travers le projet Articulations. Passant ensuite en revue quelques performances de nos
précédentes phases expérimentales, nous avons pu extraire certains critères d’évaluation
propres au registre sensible qui les caractérise.
Ciblant l’expressivité individuelle et la cohésion du mouvement relationnel comme éléments
de mesure de la qualité d’expérience, nous avons ensuite entrepris une démarche permettant
de doter la machine d’outils pour les évaluer de manière autonome. Ces résultats nous ont
finalement permis d’envisager la définition de multiples fonctionnalités adaptatives, lesquelles
ont pu servir enfin de matériau pour le développement de nos prototypes conclusifs.
Les prototypes présentés dans ces dernières sections s’inspirent ainsi des mécaniques
relationnelles observables en SDR, et proposent deux expériences sensibles basées sur le geste
intuitif, le partenaire étant ici représenté par deux formes interactives hybrides et multimodales.
Au sein du premier prototype Affective Landscapes, nous avons pu explorer l’interaction
ambiante et implicite en amenant l’utilisateur à bouger au sein de différents paysages
réagissant à son activité corporelle.
216
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Les différentes scènes s’y développent de manière semi-automatisée, invitant l’immersant
à porter sa conscience au-delà de ses propres limites physiques. Il est littéralement connecté
à ce qui l’entoure, influant simultanément sur de multiples paramètres, sans pour autant
en être en totale maîtrise ou conscience. Il explore ainsi de manière intuitive la richesse
expressive de son propre mouvement, et se laisse porter par les relationnalités qu’il tisse au
gré des envies et du hasard.
Le second prototype issu du danseur médian est plus explicite et en inspiration directe des
mécanismes d’engagement décrits en introduction de ce manuscrit. Il propose une relation
avec l’interface inspirée de la constante fluctuation entre contrôle et dérive qui caractérise
les activités d’improvisation partagée et les phénomènes de Flow de groupe.
Le système adaptatif développé permettant à l’utilisateur de créer un rapport d’altérité évolutif
avec l’interface, porté sur l’imitation dans un premier temps, puis évoluant progressivement
vers une forme plus originale. L’utilisateur et l’entité virtuelle sont ainsi amenés à chacun
emprunter les dynamiques gestuelles de l’autre, et à composer finalement ensemble une
représentation commune.
Si ces deux expériences sont à éprouver seul, leurs principes sont définitivement applicables
à des expériences collaboratives et trouveront très certainement tout leur sens sous cette
forme. Néanmoins dans ces deux cas, l’immersant se voit proposer des expériences
intuitives en étant dépourvu de consignes. Il construit du sens de ces scènes immersives par
le retour direct qu’il produit sur elles. Les environnements virtuels et les corps perçus portent
également en eux les seules affordances présentes, et c’est par leurs altérations minutieuses
que les stratégies d’action se fondent et se développent chez lui.
Nous faisons ici le choix d’explorer l’incitation et la suscitation comme dynamiques
interactives, invitant à la recherche de justesse dans le mouvement et privilégiant l’expérience
esthétique à l’accomplissement de tâches spécifiques. Ces principes peuvent pour autant et
bien entendu être ré-appliqués à des expériences aux finalités bien déterminées45.
Ces pistes de design ouvrent ainsi à des parcours d’expériences uniques et profondément
personnalisés, tout en les dotant d’une part d’imprévu favorisant la prise de risque et
la sérendipité. L’humain y est considéré tant dans sa capacité à raisonner et organiser
l’information, mais aussi à la ressentir, et à improviser avec elle dans un espace qui n’est pas
entièrement raisonnable.
Impliquer ces relationnalités diverses au sein des interfaces naturelles, et user pour cela de
notre méthode ainsi que de nos principes expérimentaux basés sur la pratique, semblent à
ce titre cohérents pour la conception de langages qui résonnent avec les potentiels décrits
en introduction de ce manuscrit.
Ce travail comporte évidemment quelques limites et nécessite d’être poursuivi de plusieurs
manières, sur lesquelles nous reviendrons dans le prochain chapitre conclusif.
45 Un guide oscillant entre séquences gestuelles propres et imitation des dynamiques de l’utilisateur pourrait par exemple
s’avérer pertinent pour l’amener à accomplir une tâche, tandis qu’un environnement évolutif pourrait focaliser l’attention
sur des éléments précis ou induire des états cognitifs particuliers lors de phases capitales de l’expérience.
217
Des descripteurs
de geste sensible pour le
développement de langages
naturels en médiation spatiale
3•
Geste
improvisé
et interfaces
naturelles
Vers de nouveaux fondamentaux
pour le design d’expériences optimales
en médiations immersives
Conclusions
4•
220
Conclusions
4•
4.1 • Résumé du parcours
4.1.1 • Des contextes multiples
Nous initierons cette phase conclusive en tentant tout d’abord un résumé de la démarche
entreprise, pour y décrire ce cheminement à travers lequel nous avons pu voir un objet de
recherche évoluer de manière significative, au gré des différentes rencontres et expérimentations.
Prenant corps dans un contexte particulier, en mêlant d’une part l’écosystème de l’agence
EMOTIC et d’autre part les environnements académiques et artistiques d’Ensadlab et de
l’équipe du projet Articulations, cette recherche aura mené plusieurs explorations conjuguées :
celle du langage interactif intuitif – en questionnant par exemple les mécanismes cognitifs
de motivation et d’improvisation ainsi que celle des nouveaux fondamentaux des interfaces
immersives naturelles – en discutant des enjeux et potentiels expérientiels de ces récentes
avancées technologiques.
À travers une succession de rencontres, de sessions de co-conception, de workshops et de
phases expérimentales, des approches pratiques et sensibles se sont conjuguées, et l’ancrage
théorique put se lier aux intuitions et à un « ressenti » direct. C’est justement l’avantage
d’une recherche par la pratique en design qui, parce qu’elle impose ces changements de
perspective et un dialogue constants entre arts, sciences humaines, et monde industriel,
peut produire finalement des artefacts innovants et originaux (Fallman, 2008).
Cet objet de recherche a ainsi pu évoluer vers une forme plus personnelle dont le témoignage
s’avérerait limité à n’être décrit que par les mots, requérant finalement des contributions
privilégiant l’expérience et conduisant à la production de plusieurs preuves de concept. Ce
manuscrit ne saurait donc être pris comme seule contribution à ce travail recherche, et plusieurs
expériences seront données à manipuler lors de la future soutenance de cette thèse.
Ce projet de thèse propose ainsi plusieurs contributions dont les formats (entretiens, jeux,
méthodes, expériences interactives) sont aussi divers que les contextes qui les ont forgées,
et sur lesquelles nous allons revenir maintenant.
4.1.2 • Un besoin de langage commun
Observée à la fois sous les prismes industriels et académiques, la question de l’adaptativité
dans l’interaction Humain/Machine a d’abord été abordée de manière théorique, en
invoquant et rapprochant des littératures en cognition et en design. Nous avons alors pu
définir une sorte d’idéal des interfaces dites naturelles, où celles-ci s’avéreraient capables
d’improviser avec un individu et de calquer les mécanismes inter-adaptatifs qui régissent
nos interactions sociales quotidiennes.
Cet idéal a cependant rapidement soulevé la complexité majeure du langage intuitif, celui-ci
implique en effet de nombreuses boucles sensori-motrices qui œuvrent en simultanée, et
dont le sens produit est indissociable de l’histoire de l’individu considéré.
Cette constatation rendit alors impossible d’aborder notre problématique de front.
Nous avons alors développé notre approche expérimentale en l’envisageant à travers une
recherche par la pratique en design centrée autour de trois idées centrales : la multimodalité
interactive comme « essence » du langage naturel en immersion, la friction au sens d’un
221
Conclusions
4•
contrôle fluctuant et décisif à l’engagement, et l’altérité comme condition pour permettre
l’apparition de mécanismes d’adaptation et d’imitation.
En engageant directement dans la recherche les experts des environnements industriels,
académiques et artistiques qui en assurent le cadre, ces trois idées ont premièrement
été abordées à travers deux axes pratiques et ancrés. D’une part, nous avons entamé le
recueil de témoignages d’experts de l’improvisation, identifiant leurs stratégies de mise en
mouvement et leurs sensibilités aux questions du corps, de l’environnement et de la relation
à l’autre. D’autre part, nous avons abordé la question des interfaces souples sous un angle
de design d’expérience, formalisant les contours théoriques d’une expérience adaptative,
et identifiant les nombreux canaux interactifs adressables ainsi que leurs éventuelles
influences sur la qualité d’expérience. Nous en avons finalement fait ressortir le besoin de se
doter d’outils sur-mesure afin de cadrer ce type de conception de manière efficiente.
Ces deux approches nous ont finalement permis de constater la proximité manifeste entre
les différents environnements qui encadrent cette recherche, leur reconnaissant comme
pivots mutuels l’engagement et la construction de sens à travers l’interaction.
4.1.3 • Co-construire nos outils de recherche
Poursuivant la recherche sur ces bases, nous avons abordé ensuite deux phases de co-
conception itérative, toujours en collaboration étroite avec nos différents écosystèmes.
Incluant d’une part danseurs et chercheurs, nous avons développé dans le cadre du projet
Articulations une installation expérimentale en réalité virtuelle, questionnant le geste intuitif
des participants comme seule modalité interactive, et supprimant toutes les autres variables
pouvant nuancer et influencer la relation. Nous avons pu y étudier la construction de sens en
immersion, et l’influence de l’environnement et des corps perçus sur les stratégies de mise en
mouvement. Formalisant nos conclusions de design autour du concept de réalité diminuée
partagée (SDR), nous avons pu également extraire un certain nombre de données quantitatives
et qualitatives dont sont tirées deux publications, et poursuivre notre démarche de recherche-
création à travers l’organisation de plusieurs événements artistiques et scientifiques.
Incluant d’autre part les experts en design numérique de l’écosystème de l’agence EMOTIC,
deux outils de conception furent développés, permettant d’aborder la conception d’interfaces
adaptatives ancrées à un contexte expérientiel donné. Celles-ci invitent à comprendre la
phénoménologie de l’expérience du point de vue des utilisateurs impliqués, pour en définir
finalement les adaptations numériques susceptibles de faire le plus de sens pour eux et
d’améliorer in fine la qualité d’expérience globale.
Ces deux volets expérimentaux sont donc partis d’une même question, ont emprunté
des pistes aux vocabulaires et écosystèmes bien différents, mais se retrouvent finalement
parfaitement complémentaires pour le développement de notre troisième chapitre.
222
Conclusions
4•
4.1.4 • L’emploi de ces outils pour la concrétisation de deux formes
d’interfaces naturelles sensibles
Tirant profit des précédents outils et données accumulées, le troisième chapitre de ce
manuscrit trouve son point d’équilibre à travers une démarche centrée sur ma propre
subjectivité de designer. Le pronom « je » y est alors employé, détaillant l’ensemble de ce
cheminement à travers le prisme de mon propre point de vue et de ma propre sensibilité.
Cette démarche vise à présenter l’ensemble d’un processus de conception, rendu possible
par la trame proposée dans le chapitre précédent, et prenant comme socle les observations
et données récoltées dans le cadre du projet Articulations.
Fidèle à la logique décrite dans cette trame, j’ai pris un temps d’abord pour comprendre d’un
œil extérieur ce qui se jouait dans le mouvement relationnel en SDR. À travers le visionnage
des performances collectées, j’ai fait ressortir des métriques propres à ce même contexte,
identifiant l’expressivité individuelle et la cohésion du mouvement relationnel comme les
critères d’évaluation les plus pertinents pour mesurer la qualité d’expérience.
De ces observations j’ai ensuite entrepris un travail consistant à entraîner la machine à
« ressentir » ces qualités de mouvements, et à relier cette perception à des adaptations
visuelles et immersives diverses.
Employant alors les modèles développés à une utilisation en temps réel, j’ai finalement décrit
le développement de plusieurs expériences immersives invitant à la mise en mouvement,
et cherchant par l’interaction à faire prendre conscience aux immersants de la richesse des
mouvements de leurs corps. Les deux expériences principales décrites sont un écho direct
aux trois axes proposés en fin de chapitre 1, la multimodalité, la friction et l’altérité.
Au sein de l’expérience Affective Landscapes, j’explore plutôt cette première idée, voyant
évoluer en immersion notre rapport au temps, à l’espace, à notre propre incarnation et à
notre agentivité au sein de différents paysages qui ne se développent que par notre volonté
d’y bouger. Du fait du caractère abstrait et multimodal de la relation entre geste et réaction
environnementale, l’expérience invite ainsi au « moins bouger » plutôt qu’à l’intense et
au désordonné. J’aspire à y favoriser l’écoute attentive des réactions, et l’appropriation
progressive des règles de ces espaces affectifs.
Au sein de l’expérience du Danseur médian, j’explore plutôt l’altérité et la friction. Inspirée
du modèle du Flow, une entité virtuelle y est matérialisée face à l’utilisateur et alterne entre
une imitation de ses gestes et une autonomie totale. L’expérience proposée oscille ainsi
entre contrôle et dérive, en phase avec les mécanismes de l’improvisation dansée et les
diverses influences qui ont nourri le développement de ce manuscrit.
Ces deux approches apportent donc quelques témoignages de ce qui est ressorti au cours de
ces différentes phases de recherche, et qui constituent une approche cohérente du langage
naturel en immersion : développer un rapport à la fois ambiant et social avec l’espace et
la matière numérique, au-delà de l’individu et de ses limites physiques, mais laissant
néanmoins une place prépondérante à sa sensibilité, à son imaginaire et à sa créativité.
223
Conclusions
4•
4.2 • Contributions à destination des designers d’expérience
Si ce manuscrit aura vu alterner contributions artistiques et théoriques au sein d’un
écosystème résolument multidisciplinaire, détaillons à présent certaines d’entre elles et
insistons notamment sur leurs apports pour le monde du design d’expériences numériques.
4.2.1 • Méthode de conception / jeu de cartes
La méthode de conception développée avec les experts de l’agence EMOTIC a été
pensée avant tout pour faciliter la conception de langages interactifs naturels. Celle-ci est
transposable à tous les types d’interfaces numériques (mobile, web, phygitales, immersives)
et amène les concepteurs à se baser avant tout sur ce qui est directement observable. Elle
s’assure ainsi que toute adaptation performée par la machine se fonde sur un contexte
expérientiel bien identifié.
Dans notre cas et dans le contexte particulier de la SDR, elle aura permis de focaliser l’attention
sur le caractère intuitif et sensible de nos appréciations du mouvement minimaliste, conduisant
à définir la problématique centrale de notre troisième chapitre : comment doter la machine
d’une capacité à apprécier les qualités expressives et relationnelles du mouvement.
Cet outil facilite donc d’une part la conception, en forçant à focaliser la réflexion sur le ressenti
des individus, mais stimule également l’innovation en mettant en évidence le besoin de se
doter de nouvelles mesures pour évaluer l’action et la qualité d’une expérience donnée.
Pour ces différentes raisons, il paraît justifié d’encourager le réemploi de ce processus de
conception, et de le réadapter à tous les contextes pouvant profiter d’une adaptativité du
langage interactif.
4.2.2 • L’ajout de métriques sensibles dans le design d’expérience
Nous avons également décrit les différentes phases de développement de trois modèles
algorithmiques dédiés à la mesure des qualités propres du mouvement en SDR. Ces trois
problèmes ont été focalisés l’un sur l’expressivité individuelle, et les deux autres sur les
qualités relationnelles des expériences immersives.
Si les choix techniques et les résultats des modèles entraînés doivent être évalués au regard
du contexte expérientiel donné - lequel est avant tout dédié à favoriser l’exploration gestuelle
- les résultats obtenus ont permis d’en envisager les applications à des expériences temps
réel, démontrant qu’il est possible de transformer des qualificatifs intuitifs pour l’œil humain
en paramètres tangibles pour la machine.
L’approche suivie dans tout ce processus peut pour autant être réutilisée et se voir appliquée
à tous types d’expériences interactives.
Pour ce faire, l’ensemble du cheminement technique peut être réadapté :
• Les descripteurs de geste ont été choisis pour leurs caractères explicites et « complets ». Ils
tiennent compte de nombreuses dimensions géométriques, dynamiques et sensibles des
mouvements du corps (réduit ici à trois points, la tête et les deux mains), et les réemployer
tels quels ne semble donc pas à priori contre-indiqué. Il peut être néanmoins intéressant
de songer à l’intégration de descripteurs extérieurs, représentatifs de la relation entre
l’utilisateur et son environnement ou partenaires d’interaction, ou bien propres aux tâches
en cours d’exécution.
224
Conclusions
4•
• Les fonctions de calcul et d’entraînement furent elles aussi pensées pour s’adapter
facilement à de nouveaux besoins. Elles peuvent être réutilisées telles quelles, mais peuvent
également être agrémentées de nouvelles fonctions de calculs, plus adaptées aux nouvelles
données cibles et à des sélections de descripteurs différentes.
• La tâche majeure à exécuter est finalement celle consistant à reproduire les phases
d’observation et d’étiquetage, nécessitant d’une part de collecter des séquences de données
représentatives de l’expérience considérée, d’en identifier les métriques les plus parlantes,
puis d’évaluer chaque échantillon au regard de ces nouvelles métriques.
En plus de doter la machine de capacités d’analyses plus fines d’une situation, ce processus
d’apprentissage trouve plusieurs intérêts.
Fidèle à la méthode de conception qu’il suit, il invite à se baser avant tout sur l’existant et
l’observable, garantissant ainsi que toute réponse adaptative formulée puisse l’être sur une
base de sens commun et un registre expressif naturel.
Il invite également à se questionner, à travers un angle mêlant psychologie cognitive et
réflexion esthétique, sur ce que le mouvement observé révèle de l’état d’une tâche en cours
ou d’un événement relationnel particulier.
À la fin du travail itératif mêlant optimisation et sélection des paramètres les plus performants,
certains descripteurs ressortent naturellement comme les plus à même de se joindre aux
moteurs prédictifs et baser une logique adaptative naturelle et multifactorielle.
Nous avons vu par exemple que certains descripteurs pouvaient influencer davantage
que d’autres la prédiction des métriques expressives et relationnelles, me renseignant
à titre personnel sur ma propre logique d’annotation. Nous avons vu également dans le
cas particulier du mouvement relationnel comment l’ajout d’un élément intermédiaire, le
danseur médian, pouvait améliorer les prédictions mesurant cette idée de cohésion.
Ce processus d’apprentissage itératif peut donc cadrer et stimuler l’innovation, en
accompagnant les concepteurs dans l’étude phénoménologique de leur expérience, et dans
la construction progressive d’un langage interactif dont la base reste leur propre regard et
interprétation subjective.
Ainsi, au-delà de l’approche purement expérimentale de ce travail et de ses limitations
identifiées, il semble possible de réitérer ce principe appliqué à de multiples usages, pour
conduire à la conception de langages interactifs uniques et calibrés à tous types de contextes.
4.2.3 • Vers l’intégration programmatique du designer improvisant
dans l’expérience
Dans la continuité directe du point précédent, il semble également important d’insister sur
la pertinence du positionnement consistant à ne laisser qu’une seule personne s’occuper de
l’étiquetage en vue de l’apprentissage à venir, spécialement lorsque les données évaluées
sont sujettes à l’appréciation sensible et aux biais d’interprétation.
La subjectivité n’y est en aucun cas un défaut, au contraire, elle trouve ici deux intérêts majeurs.
D’une part, elle garantit un minimum de cohérence dans l’ensemble des annotations sur
lesquelles se basera l’apprentissage, et donc une cohérence dans les comportements des
modèles neuronaux. Sans en faire une preuve scientifique, nous avons vu au cours d’un
225
Conclusions
4•
exercice d’annotation comparée que l’interprétation moyenne du mouvement minimaliste
tendait davantage vers le bruit, à mesure qu’on y incluait de nouveaux participants et de
nouvelles mesures. À moins d’avoir à évaluer une tâche évidente ou d’obtenir un consensus
préalable sur la réelle signification de la métrique envisagée, il semble à ce titre plus pertinent
de n’engager la subjectivité que d’une seule personne, et obtenir ainsi une dynamique plus
expressive dans les données d’apprentissage obtenues.
D’autre part, cette approche s’avère être un parti pris en design qu’il semble intéressant
d’assumer. Que ce soit dans les prototypes de Affective Landscapes ou de Danseur Médian,
l’outil de mesure de l’expressivité individuelle est mis à profit pour altérer l’expérience sur
une base de critères qui proviennent d’une démarche d’évaluation intuitive. Cette intégration
d’une appréciation propre du mouvement dote donc le système d’une logique générative
plus en phase avec le caractère sensible des expériences proposées. Cette approche fait
ainsi un lien fort avec tout l’historique des travaux et workshops communs où nous tentions
d’apporter des modifications subtiles aux perceptions visuelles des participants immergés,
cherchant à les accompagner, à encourager et enrichir leur mouvement sur la base de ce que
l’expressivité de leurs corps laissait entrevoir.
En cherchant à amener la machine à imiter le designer, il devient envisageable d’y inscrire
sa propre sensibilité, lui donnant alors une présence simulée lors de toutes ces immersions
futures où des participants bougeront ensemble sans que ce dernier puisse les y accompagner.
Si cette approche se veut reproductible, il est clair qu’elle ne pourra atteindre des résultats
identiques à chaque itération46, incluant à chaque fois un processus d’évaluation personnel
« performé » et dont les résultats se verront nécessairement fluctuants. Elle propose
néanmoins un postulat conceptuel de design intéressant, imbriquant la sensibilité du
chercheur d’une manière originale dans ses productions, et l’amenant à raffiner son approche
pour la conception de futurs produits47.
Pour ces deux raisons, il semble pertinent d’encourager à reproduire cette logique sur de
nouveaux cas et de nouvelles formes interactives.
4.2.4 • Clés de design pour la mise en mouvement
Enfin nous listerons ici quelques clés décisives à l’engagement interactif. Si la plupart
ont émergé du contexte de réalité diminuée partagée, certaines pourront néanmoins être
généralisées à d’autres types d’expériences mono et multi-utilisateur.
46 Ce n’est d’ailleurs pas son but et c’est même tout son intérêt, une recherche par le design peut apporter des clés
pour reproduire un processus de conception, mais à aucun moment elle ne promet que ce processus conduise à des
résultats similaires. Plutôt qu’à un «universel », elle conduit à la réalisation « d’ultimes particuliers » (Stolterman, 2008 ;
Zimmerman & Forlizzi, 2014)
47 Dans mon cas, le besoin de dissocier les interactions explicites et implicites s’est révélé suite à l’observation
d’utilisateurs immergés dans mes dispositifs d’étude. Cette observation a directement inspiré le développement de mes
deux expériences artistiques conclusives.
De plus, lors de la phase d’apprentissage machine rapportée en section 3-6, j’ai pu comprendre que j’avais tendance à
noter l’expressivité gestuelle à partir des variations des mouvements verticaux et non des dynamiques gestuelles. Ce type
d’informations et les auto-analyses qui en découlent sont inspirantes et me permettent aujourd’hui d’identifier ce qui sera
déterminant dans un design d’interactions invitant à la mise en mouvement.
226
Conclusions
4•
De la spécification au mouvement créatif
Une idée propre à la mise en mouvement en immersion est apparue au cours de ce manuscrit
comme celle de la complémentarité entre mouvement nécessaire et mouvement créatif.
Le premier intervient dans les premières secondes de l’immersion, lorsque les enveloppes
corporelles apparaissent avec leurs lots de questions. Le mouvement y est nécessaire car
il joue un rôle de spécificateur, aidant l’utilisateur à comprendre ce qu’il est en droit et en
capacité de faire de son corps perçu.
Lorsque les règles interactives commencent à être comprises, le mouvement peut alors
se développer comme un outil d’expression et d’interaction avec le monde environnant,
trouvant sa forme créative en permettant de créer du lien avec lui.
Pour être sûr que cette deuxième phase puisse être correctement amorcée, il apparaît donc
nécessaire qu’un temps ait été dédié à la première, pour que l’utilisateur puisse apprécier sa
propre agentivité et se diriger ensuite vers le cœur d’interaction de l’expérience.
Pour repérer programmatiquement le passage de cette première phase vers la seconde, nous
pouvons préconiser une mesure de l’expressivité du mouvement, celle-ci étant susceptible
de renseigner sur l’aisance de l’utilisateur et l’emprise qu’il a sur son expérience. Ajouter une
métrique cherchant à comprendre où se porte son attention, que celle-ci soit dirigée vers
lui-même ou vers l’environnement, peut également s’avérer particulièrement intéressant.
Trois pivots pour la conception de langages interactifs naturels favorisent l’acte
créatif et l’expérience optimale.
Lorsque l’individu se retrouve spécifié en immersion, la question de son engagement repose
sur plusieurs logiques. Nous avons vu que toute expérience intrinsèquement motivante
nécessite de trouver un équilibre entre l’autonomie laissée à l’utilisateur, le contrôle qu’il a
sur l’expérience, et l’appartenance qu’il noue à un éventuel environnement social.
Nous avons vu également le besoin d’envisager une approche dynamique, calibrant
continuellement les tâches demandées en lien avec le déroulement de l’activité. Cette
approche vise à garantir l’atteinte possible d’une expérience optimale, telle qu’inspirée des
concepts de Flow et de Flow de groupe.
Les trois thématiques d’adaptativité qui ont rythmé ce manuscrit, la multimodalité, la friction
et l’altérité, se sont avérées complémentaires et inspirantes pour penser le développement
interactif de nos prototypes.
L’idée de multimodalité intègre le principe que nous créons du sens en combinant de
multiples informations, et que nous développons nos stratégies d’action en fonction de la
perception que nous nous faisons d’une situation globale. Cette même situation s’évalue
à travers tout le spectre cognitif, où raisonnements et émotions se mélangent. Ce constat
impose de penser en simultané une adaptativité des qualités hédoniques de l’expérience, en
les calibrant par exemple par rapport à l’expressivité ou le caractère perçu, mais également
des qualités pragmatiques, basées plutôt sur l’étude de l’activité et des performances de
l’utilisateur. Les interfaces naturelles doivent de toute évidence intégrer et s’adapter à l’aspect
multidimensionnel du langage humain, et user des capacités des individus à simultanément
raisonner et organiser l’information, mais également à la ressentir et à improviser avec.
227
Conclusions
4•
L’idée de friction invite à doter l’expérience d’un déséquilibre structurel entre contrôle
et dérive, et à maintenir volontairement l’utilisateur hors d’une totale maîtrise des
comportements de l’interface.
Le degré d’autonomie de celle-ci doit trouver là aussi un sens par rapport à l’action en
cours et au but recherché par ce déséquilibre, ce dernier pouvant par exemple encourager
à l’exploration et à la proposition, ou entraîner l’utilisateur à mieux réaliser une action
spécifique. Cette dérive doit donc offrir un challenge correctement calibré, en se réglant,
comme le préconise le concept du Flow, à un niveau propre aux capacités de l’utilisateur
à un instant T. Ce n’est qu’après avoir initié ce premier rapport que la balance dynamique
pourra ensuite évoluer vers des niveaux d’exigence plus importants et déployer en même
lieu la continuité de l’expérience.
L’altérité préconise de développer l’interaction dans un espace hybride où les limites
entre humain et machine ne sont plus évidentes. Ne pas tomber dans les travers de
l’anthropomorphisme amène justement un nouvel espace de possible, où les phénomènes
de mimétique peuvent être observés mais où l’individu humain peut en même temps
découvrir et explorer les particularités de sa nouvelle spécification.
Doté de nouvelles affordances à travers son corps perçu, et guidé par cet « autre » dont
il partage les traits, l’utilisateur peut être amené à comprendre son agentivité au sein de
l’environnement immersif et à maîtriser des tâches non implicites au sein de ce paradigme.
Cette transposition des mécaniques sociales invite ainsi les utilisateurs à apprécier ces
incarnations fantastiques d’une manière intuitive et incitative, alors même que les règles de
la matière, du temps, et de l’espace peuvent être altérées à l’envie par les designers.
Ces trois idées peuvent donc constituer les piliers complémentaires d’une mise en
mouvement implicite et intrinsèquement motivée en immersion, même si ces idées peuvent
être étendues à de multiples autres formes et contextes interactifs.
De nouvelles frontières de la coprésence à repousser
Avec la récente démocratisation des outils de collaboration à distance nous avons appris
à vivre à travers de nouveaux regards, ceux d’interlocuteurs obstrués par des interfaces
de visio-conférence. Cette autre forme de réalité diminuée n’a pas recueilli toutes les
faveurs escomptées, ne subvenant pas aux attentes des utilisateurs pour leur assurer une
communication fluide.
L’expression du non-verbal s’y avère manquante, figeant les visages et les postures à travers
des visualisations planes et limitatives.
À l’inverse, nous avons vu comment une relation pouvait apparaître vive et riche au sein de
nos expériences immersives, opérée par le simple mouvement interrelationnel.
Sans préconiser la transposition de tous nos usages collaboratifs distanciés à travers des
environnements numériques spatialisés, il me semble pertinent à plus d’un titre de plaider
pour une adaptation de certains des principes entrevus précédemment :
- En intégrant de nouvelles manières de se percevoir mutuellement, nous pouvons faire
émerger des formes de relationnalités inédites au sein de ces espaces d’échange. Par la
modulation de nos enveloppes respectives, et en jouant sur leurs similarités comme sur
leurs différenciations, nous pourrions induire des stratégies encourageant l’exploration, la
collaboration et la fluidité des échanges.
228
Conclusions
4•
- En trouvant des moyens sur-mesure48 pour injecter nos mouvements intuitifs dans ces
interfaces, nous pourrions renseigner davantage les autres participants et le système de
nos états et caractères du moment, invitant ces derniers à réagir et à altérer de manière
concordante leurs propres comportements.
- En mesurant enfin les qualités de nos relations sociales, par analyse de la mimétique ou des
prises d’initiatives, nous pourrions amener les systèmes à réagir à ces nouvelles dimensions
de la coprésence, la représentant au-delà des frontières corporelles et individuelles et
laissant émerger ainsi de nouvelles affordances relationnelles.
Ces différentes pistes pourraient doter nos outils de communication et de collaboration de
nouvelles fonctionnalités déterminantes sur la qualité de nos échanges, sur nos volontés
d’engagement et de mise en mouvement, des résultats obtenus sur ces tâches collaboratives
et sur les qualités générales des expériences vécues.
Le numérique deviendrait alors bien plus qu’une interface distanciante, et laisserait se
découvrir de nouveaux espaces à conquérir où sein desquels nous pourrions certainement
apprendre davantage sur nous-même.
4.2.5 • Prochaines étapes
Ce parcours de thèse aura vu se développer de nombreuses questions aux frontières des
sciences cognitives et du design d’expériences. Certaines sont toujours au cœur de plusieurs
travaux et continuent de s’étoffer, parmi lesquelles :
- Comment la SDR peut-elle nous permettre d’en apprendre davantage sur les mécanismes
d’inter-adaptation sociaux ?
Le projet Articulations est toujours actif et entame sa dernière année au sein de l’EUR Artec.
De prochaines phases expérimentales en partenariat avec l’Université de Nanterre sont
prévues. Un protocole avait déjà été développé avant la crise sanitaire, inspiré du Mirror
Game de Noy et al. (2015) et étudiant les rapports de guideur/guidé au sein d’une tâche
d’imitation entre deux personnes. Cette expérimentation visera entre autres à décliner le
principe du jeu original dans un contexte de réalité diminuée partagée.
Différents workshops sont également prévus courant de l’année 2022. Le danseur médian
y sera mis à l’honneur et l’attention sera particulièrement focalisée sur les idées de contrôle
symétrique/asymétrique et leurs influences sur l’engagement avec le partenaire.
Le travail d’annotations des performances sera enfin poursuivi, nous envisageons d’ailleurs
de l’aborder sous deux angles, l’un directement en immersion - pour être au cœur de la
scène et ainsi mieux l’appréhender - et l’autre à travers une interface web, permettant ainsi
de toucher plus de participants et d’accumuler plus de données exploitables.
- L’expressivité gestuelle d’un utilisateur peut-elle à elle seule piloter les adaptations
comportementales d’un guide virtuel ? Quel impact une telle relation peut-elle avoir sur la
volonté de mise en mouvement ?
48 L’adaptatif et le sur-mesure s’avèrent être en effet des voies possibles pour répondre à des problématiques de design
« universel ». D’autres branches du design adressent également cette idée, voir par exemple les travaux en design textile
de Jeanne Vicérial, docteure SACRe-EnsadLab, 2019.
229
Conclusions
4•
A travers nos explorations d’interactions implicites et explicites, nous avons pu voir se
dessiner les contours de nouvelles formes d’interfaces partenaires. Qu’il soit diffus dans
l’environnement ou prenant les traits et les gestes explicites de l’utilisateur, cet « autre »
numérique influe sur l’attention, les stratégies, et les actions de ce dernier.
Penser la présence d’un tel guide virtuel contextualisée à l’activité non verbale et notamment
à l’expressivité gestuelle de l’utilisateur est une question qui continuera à être poursuivie, et
dont seront tirées quelques expériences interactives en vue de la soutenance de cette thèse.
- Comment enrichir les modèles d’apprentissage d’autres qualités implicites et subjectives
du geste ? Cette approche peut-elle être décisive sur la qualité d’expériences « à enjeux » ?
Comme précisé dans la section 3-6, plusieurs pistes ont été identifiées pour améliorer
chacun des modèles algorithmiques, en prenant par exemple des fenêtres temporelles plus
larges, ou en rajoutant et modifiant la liste des descripteurs de gestes qu’ils utilisent.
L’ e n s e m b l e d u c h e m i n e m e n t e x p é r i m e n t a l d e c e t r o i s i ème chapitre mériterait à être appliqué
à de nouvelles formes d’expériences numériques, proposant des contextes différents et
à fortiori des identités gestuelles nouvelles. Si c’est davantage le caractère hédonique de
l’expérience et l’immersion qui ont été travaillés au cours de cette étude, cette méthode a
été conçue initialement pour s’appliquer à toute forme d’expérience numérique adaptative
(design d’interfaces vocales, EEG, tangibles et tactiles). Elle trouvera ainsi tout son sens en
œuvrant à la reconnaissance de nouvelles métriques issues d’expériences plus fonctionnelles.
4.3 • Discussions
4.3.1 • Impacts technologiques et cadre éthique
Nous discuterons ici d’un ordre plus général de la manière dont ce travail de recherche s’insère
dans un contexte complexe, dans lequel le designer numérique se doit de prendre position.
Que ce soit par le détournement d’informations sensibles à des fins commerciales, par l’usage
des neurosciences pour le développement de l’addictivité des produits, ou par l’usage du
langage naturel à des fins d’automatisation et du remplacement des interlocuteurs humains,
les technologies modernes ont une fâcheuse tendance à faire fi de certains principes moraux
au profit de l’absolue liberté de consommation.
Nous l’avons rappelé plus tôt, l’idée d’allier les nouvelles technologies spatialisées à des
algorithmes d’analyse du non-verbal laisse envisager des potentiels expérientiels incroyables,
tant du point de vue de la recherche scientifique que de la production artistique et du
divertissement. Le revers de la médaille est que ces outils ne sont bien sûr pas exemptés
de se voir appliqués au-delà du champ dans lequel ils ont été pensés. Quelques dérives
potentielles sont à anticiper et nous invitent ici à la discussion à travers ces quelques lignes.
Nous avons par exemple également abordé une réflexion inspirée du concept de Flow et de
l’idée d’expérience optimale, proposant d’en réutiliser les modèles à des fins de conceptions
de parcours utilisateurs plus engageants et plus adaptés aux individualités impliquées.
La frontière entre engagement et addiction étant ténue et certainement subjective, il
pourra s’avérer pertinent d’opérer un choix de grammaire particulier pour qualifier ces
types d’expériences.
230
Conclusions
4•
Beaucoup de métriques issues du monde du marketing, comme le temps de connexion
ou la régularité des utilisations qualifient positivement une interaction sans pour autant
prendre en compte le bien-être individuel. D’autres critères comme le confort d’utilisation
ou les résultats obtenus sur certaines tâches sembleront dans notre cas plus adaptés.
On pourra de manière générale recourir à un questionnaire comme celui de l’AttrakDiff
d’Hassenzahl, focalisant l’analyse de la qualité d’expérience sur des aspects d’attractivité,
d’utilisabilité, de désirabilité, d’ergonomie et d’accessibilité (2003). Établir ces métriques
en amont pourra de plus offrir aux designers quelques directions claires pour orienter leur
conception numérique.
Du côté de l’analyse gestuelle, il devient de plus en plus aisé de collecter des informations
sensibles et émotionnelles chez les utilisateurs. Si une simple caméra peut aujourd’hui
améliorer l’interaction globale en y ajoutant certaines informations captées à travers l’activité
corporelle, le faire à l’insu de l’utilisateur semble en revanche au-delà des limites morales
que nous devons nous fixer pour un développement de produits grand public.
Pour garder un lien de confiance vis-à-vis des utilisateurs, nous nous devons de clarifier
précisément l’usage des données captées, en les assurant du maintien de la confidentialité
et de la sécurité de leur utilisation - en phase notamment avec les mesures de la RGPD
(Kurtz, 2018 ; Barsocchi, 2020 ; Piras, 2020). Nous pourrons ici citer deux mouvements de
pensée en design qui pourront proposer des cadres à l’emploi de ces données :
• Les Designers Éthiques, qui proposent des paramètres et méthodologies destinées à la
conception numérique impliquant des intelligences artificielles (Porra et al., 2019 ; Ross,
2019 ; D’Aquin, 2018 ; Danaher, 2020 ; Felzmann, 2019).
• Le TechForGood, qui permet de reconsidérer le développement et l’adoption de ces
technologies pour l’amélioration conjointe de la productivité et du bien-être en général
(Bughin, 2019), (Magalhaes, 2020), (Michaël, 2019 ; Kreps, 2018).
Rappelons enfin que les effets d’une utilisation trop répétée des technologies immersives
ne sont eux-mêmes pas encore bien connus, laissant planer quelques inquiétudes :
• Le cerveau semble s’accommoder rapidement des règles de ces mondes virtuels, au risque
de requérir à posteriori un certain temps d’adaptation pour revenir à la normale. Le système
moteur peut par exemple être temporairement troublé et observer quelques complications
pour discerner correctement le numérique du physique49.
• De la même manière et sur un plan psychologique, la réalité virtuelle semble provoquer
des effets négatifs au sortir des expériences, certains parlant de « tristesse post-RV », de
«gueule de bois RV »50, voire exprimant des troubles dissociatifs et de déréalisation suite à
49 “I understood that the demo was over, but it was [as] if a lower level part of my mind couldn’t exactly be sure. It gave
me a very weird existential dread of my entire situation, and the only way I could get rid of that feeling was to walk around
or touch things around me.”
“Yeah, I think that brains needs to switch between VR mode and RL mode. I also think this is how we gradually become less
sensitive to motion sickness in VR - the brain just learns to work with the new set of inputs.
This is a pretty good illustration of a similar effect: https://www.youtube.com/watch?v=MFzDaBzBlL0”
Plus de discussions à ce sujet sur le lien suivant :
https://www.reddit.com/r/Vive/comments/8tynss/brainhand_dissociation_after_vr_sessions/
50 “What stays is a strange feeling of sadness and disappointment when participating in the real world, usually on the same
day,” he wrote on the blogging platform Medium last month. “The sky seems less colorful and it just feels like I’m missing the
‘magic’ (for the lack of a better word). … I feel deeply disturbed and often end up just sitting there, staring at a wall.”
“My friend had a strong psychological effect after trying.”
231
Conclusions
4•
des utilisations prolongées. Ces derniers sont plus inquiétants car ils peuvent s’établir dans
la durée.
Pour ces raisons il apparaît nécessaire de prendre un soin particulier à accompagner les
utilisateurs dans leurs phases d’immersion et d’émersion, afin que celles-ci apparaissent
les plus naturelles et douces possibles. On pourra prendre ici appui sur le modèle de Judith
Guez qui préconise de penser l’immersion en réalité virtuelle comme une progression à
travers plusieurs paliers, à l’image de la plongée sous-marine (Guez, 2015).
Enfin, nous pourrions nous interroger sur les possibles effets négatifs pouvant survenir suite
à de trop nombreuses expériences dites transformatives. De multiples études et travaux
artistiques se focalisent en effet sur la manière dont les environnements virtuels peuvent
provoquer des changements positifs sur la psychologie, en ciblant particulièrement le Flow,
la pleine conscience, l’émerveillement et les expériences de pic (Bryce-Yaden et al., 2017 ;
Gaggioli et al., 2017 ; Kitson et Riecke, 2019). Là encore les risques restent méconnus et
on pourra craindre l’apparition de certaines formes d’addiction ou de désensibilisation, ces
expériences marquantes pouvant être reproduites à l’envie et sans réel contrôle.
4.3.2 • Applicabilité
Nous aurons tenu - avec l’agence EMOTIC et le groupe SpatialMedia de l’Ensadlab qui
ont encadré cette recherche - à rester en phase avec la plupart des principes précédents.
Nos productions et conclusions autour de l’adaptativité des interfaces peuvent ainsi être
réutilisées partiellement ou entièrement à des fins de productions grand public. Parmi ces
principes on pourra retrouver :
Une expérience focalisée sur le plaisir d’utilisation et la mise en mouvement
Que ce soit en travaillant sur les adaptations hédoniques et pragmatiques, les usages se
veulent intuitifs et destinés à développer des qualités d’expériences qui placent l’individu et
sa singularité au centre du parcours. Cette approche de la personnalisation est totalement
dédiée à solliciter la motivation intrinsèque, en n’engageant les utilisateurs qu’à la hauteur
de ce qu’ils s’estiment à même d’atteindre.
Par l’absence de consignes, on ne contraint finalement pas l’expérience au besoin d’atteindre
un but quelconque, le temps d’exploration est ainsi à la libre disposition de l’immersant. De
ce point de vue, les expériences proposées restent totalement respectueuses des individus
qui les vivent.
Un langage interactif universel comme promesse d’une accessibilité pour tous
Penser le déploiement du parcours utilisateur en le basant sur l’expressivité gestuelle porte
comme promesse l’idée qu’experts et non-experts peuvent chacun accéder à une interaction
dont le niveau d’exigence est calqué sur leurs capacités à un instant T. Le fait que le langage
corporel assume à lui seul une partie de l’interaction assure qu’aucun prérequis ne soit exigé
chez eux. Ces derniers peuvent en effet bouger comme ils l’entendent et comprendre par ce
même système ce qu’ils sont en droit et en capacité de faire. Par ailleurs, ces techniques ne
“I’d like to precise that he got this strong feeling only when removing the Rift and after”
https://www.theatlantic.com/technology/archive/2016/12/post-vr-sadness/511232/
https://www.mtbs3d.com/phpBB/viewtopic.php?f=140&t=17753
https://www.reddit.com/r/oculus/comments/4gz9ex/vr_hangover/
232
Conclusions
4•
nécessitant aucune calibration préalable, elles peuvent offrir une prise en main et une sortie
de l’expérience toutes deux immédiates.
Un usage de la technologie non-intrusive, temporaire et respectueuse
de la vie privée
Prendre comme nous l’avons fait appui sur les simples informations de mouvement des
mains et de la tête est d’un intérêt double. Cela permet d’une part d’engager rapidement les
utilisateurs, sans nécessiter l’emploi de capteurs intrusifs ou malhonnêtes vis-à-vis à leurs
réelles fonctions. D’autre part cela permet d’accéder à un ensemble d’informations sensibles
qui permettent les adaptations naturelles tout en garantissant un respect de l’anonymat et
l’impossibilité de réutiliser ultérieurement les données captées. L’expérience reste limitée à
un lieu et à un instant, et ne dépasse pas le cadre de ce qui est rendu directement visible
pour l’utilisateur.
Dans le cas des interfaces de réalité virtuelle, la présence de capteurs de mouvement sur
les poignets ne trompe finalement pas sur leurs fonctions réelles, qui sont de capter les
gestes performés et d’y formuler une réaction. Tant que l’anonymat est préservé, l’usage
d’algorithmes d’apprentissage automatisé et pour l’extraction d’informations haut-niveau
de l’activité corporelle ne semble pas déraisonnable.
De nombreux domaines d’application pourront enfin profiter de cette question de
l’adaptativité naturelle, notamment :
• Les solutions de cours en ligne. Certaines profitent déjà de ces logiques adaptatives
(adaptive learning et consolidation mémorielle) et voient leurs parcours d’apprentissage
se reconfigurer à mesure que les élèves progressent, en ciblant spécifiquement les parties
les plus lacunaires de leurs connaissances (voir Liyaun, 2020 ; Min, 2017 ; Vanbecelaere,
2020, et les sociétés Knewton, Domoscio, Woonoz, Duolingo). Alors que certaines de
ces solutions cherchent également à maximiser le suivi pédagogique des tuteurs envers
les élèves, instaurer une proximité et une relation de confiance s’avère complexe, encore
plus en l’absence d’informations corporelles. L’idée d’intégrer d’une quelconque manière
des interactions basées sur l’activité du corps pourrait s’avérer déterminante, celui-ci étant
justement porteur d’indices renseignant sur l’aisance et la bonne transmission d’une idée.
• Les solutions aux contenus adaptatifs (adaptive content). Elles dotent les expériences
de contenus sélectionnés en fonction du profil et du contexte qui englobe l’expérience
(auto-complétion, suggestions personnalisées, recherche contextuelle, etc.). Si certaines
grandes entreprises du web en sont les spécialistes, les méthodes et outils présentés dans
ce manuscrit peuvent laisser envisager d’en étendre la logique à tous types d’applications
grand public et ce, pour un coût de développement modéré.
• Les productions culturelles et de divertissement, dont les narrations adaptatives et éventuels
challenges peuvent se penser eux aussi de manière adaptative, en en changeant les parcours
ou en adaptant la difficulté d’un jeu. De nombreux jeux vidéo et applications de coaching
51 https://www.knewton.com/
52 https://domoscio.com/accueil/
53 https://www.woonoz.com/
54 https://fr.duolingo.com/
233
Conclusions
4•
personnel intègrent déjà cette idée - on pourra citer par exemple les programmes Runtastic,
FlOw ou GuitarHero qui rehaussent continuellement le challenge en fonction des capacités
de l’utilisateur - mais l’idée d’intégrer là aussi des informations sensibles pourrait permettre de
donner de nouvelles dimensionnalités à l’idée de « progresser » dans l’expérience.
• Les solutions de domotique, de monitoring, et d’IoT. Celles-ci travaillent et prennent
leurs décisions de manière autonome, que ce soit pour proposer une forme d’assistance,
comprendre comment optimiser certains paramètres contextuels, ou manœuvrer des
produits aux variables plus complexes comme des véhicules autonomes (Akiki, 2018 ;
Burggräf, 2019 ; Schuetz, 2020). Pour ces produits également une dimension concernant
l’accessibilité et le plaisir d’utilisation pourrait être développée en intégrant une fois encore
des informations sensibles.
• Les outils d’aide à la création. La question de l’adaptativité catalysatrice de créativité offre
un challenge passionnant dans les milieux de la danse, de la création musicale, ou dans la
modélisation 3D.
Les usages potentiels challengent donc toutes les relations qu’on noue aujourd’hui avec des
dispositifs numériques. Pour autant, les seules formes adaptatives dignes d’intérêt seront
celles qui répondront à un contexte expérientiel correctement identifié, et c’est à cette fin
que plusieurs de nos contributions sont entièrement dédiées.
4.3.3 • Une recherche plus que personnelle
Quelques mots enfin pour conclure cette aventure de recherche-création, et mettre en
perspective les impacts de la transdisciplinarité sur ce travail de recherche comme sur ma
vie personnelle.
Tout au long de cette recherche j’aurais profité d’innombrables changements de
perspectives et de langages, empruntant à chacun de mes écosystèmes différentes peaux
et positionnements, dans la seule fin fut de rendre mon travail intelligible et pertinent aux
yeux de ces personnes qui m’ont entouré.
Par cette déformation continue de mon objet de recherche, celui-ci a pu à plusieurs reprises
me dépasser et s’imprégner de cette nature plurielle. Il en ressort je pense finalement une
couleur originale, et bien plus riche que celle que je tentais de peindre en ses débuts.
Cette démarche à la frontière entre arts et sciences m’aura personnellement amené à
constater l’infinie complexité de nos mécanismes intuitifs, et la déconcertante simplicité
avec lesquels ils laissent émerger nos productions les plus créatives.
J’aurais questionné à de nombreuses reprises cette étrange idée qui consiste à amener la
machine à comprendre ce qui chez l’humain se passe de mot. Et si j’ai encore quelques
réticences à l’idée de chercher à déconstruire le mouvement créatif, j’aurais pris un goût
certain à créer des outils pour l’encourager, le capturer, puis l’observer.
Prendre ce positionnement de designer numérique, à la fois créateur d’immatériel et
architecte d’expériences invitant les corps à bouger aura été passionnant et impactant bien
au-delà d’un simple contexte professionnel. Si cette démarche m’aura conduit à accepter
55 https://www.runtastic.com/fr/
56 https://www.guitarhero.com/fr/game
234
Conclusions
4•
l’impossibilité manifeste d’incorporer complètement nos mécanismes sensibles dans ma
démarche de design, elle m’aura permis de me mettre moi-même en mouvement et de me
placer comme l’un des sujets de ma propre recherche.
Sans ça je ne pourrais ressortir ainsi conforté sur l’absolue nécessité de trouver dans la
conception numérique un espace où les caractères singuliers et parfois déraisonnables des
individus trouvent leur place. Nous sommes faits d’imprévu, d’impulsif et de hasardeux
et ainsi doivent s’en ressentir nos outils, quitte à ce que ces caractères en deviennent les
points d’orgue.
J’en conforte aussi la conviction que l’outil numérique ne doit pas outrepasser sa place
d’assistant, en devenant interface intrusive ou humanoïde, mais être au contraire fidèle à ce
qu’elle est en totale capacité de faire, proposer de nouveaux champs d’exploration du soi et
de nos relations avec les autres.
Tant pour la pertinence scientifique que pour mieux trouver une justesse dans le propos
défendu au sein de ce manuscrit, l’approche transdisciplinaire de la recherche-création se
sera révélée comme un formidable challenge, dont je reste ainsi moi-même marqué tant
dans ma pratique, que dans mes propres appréciations de mon corps et du monde.
235
Conclusions
4•
Geste
improvisé
et interfaces
naturelles
Vers de nouveaux fondamentaux
pour le design d’expériences optimales
en médiations immersives
Annexes
238
Annexes
Glossaire
Expérience sensible :
Utilisé selon le contexte au sens 1) d’une expérience interactive chargée de solliciter la
sensibilité d’un utilisateur, de déclencher chez lui des émotions particulières ; ou 2) d’une
expérience interactive dont les réactions sont liées aux fluctuations de l’environnement et
de l’utilisateur, un système qui « ressent » à travers ses capteurs des inputs peu communs
dans le champ de l’informatique traditionnelle (type clavier / souris).
Expérience souple / plastique :
Se dit d’une expérience numérique qui intègre des capacités de se reconfigurer d’elle-même
en réaction à la survenue d’événements particuliers. Cette reconfiguration peut adresser les
différents caractères hédoniques et/ou pragmatiques des produits numériques (voir section
1-3-3 - Que peut-on adapter ?).
Expérience utilisateur (UX) :
Traite de la qualité du vécu de l’utilisateur dans des environnements numériques ou
physiques. Elle s’appuie aussi bien sur l’utilisabilité (la « facilité d’usage » d’une interface)
que sur l’impact émotionnel ressenti.
Interface Humain/Machine (IHM) :
Discipline englobant l’ensemble des aspects de la conception, de l’implémentation et de
l’évaluation des systèmes informatiques interactifs. Le terme a été introduit par Carlisle (1976).
Interface utilisateur naturelle (NUI) :
Terme se référant à des interfaces humain/machine « invisibles », au sens où la contrainte
technologique est minimisée. Un design naturel peut être considéré comme tel lorsqu’il se
fonde sur ce en quoi l’utilisateur est déjà maître, en s’inspirant par exemple de ses modalités
d’interactions quotidiennes (saisie, geste ou voix).
Langage ambiant :
Des modalités interactives dont l’information se retrouve dispersée dans l’espace. Celles-
ci peuvent user des canaux auditifs ou visuels et engagent les capacités des utilisateurs à
évoluer dans un environnement donné plutôt que sur un simple écran.
Langage machine :
Code informatique, plus ou moins bas niveau, destiné à l’automatisation de tâches et
l’exécution d’algorithmes. Il est manipulé par les développeurs et n’est généralement ni
accessible ni intelligible pour les utilisateurs finaux.
Parcours utilisateur :
Désigne l’ensemble des étapes qu’un utilisateur sera amené à travers au cours d’une
expérience donnée. Ce parcours peut également intégrer les phases en amont (sollicitation,
approche), ou en aval de l’interaction avec le produit (rappels, souvenirs).
Réalité Diminuée Partagée / Shared Diminished Reality (SDR) :
Cadre conceptuel englobant un certain nombre de choix de designs permettant d’amener
des participants à interagir ensemble en réalité virtuelle, et de favoriser l’émergence de
239
Annexes
comportements créatifs basés sur le simple mouvement intuitif. Ce terme ainsi que ces
différents choix sont décrits en détail dans notre article Vuarnesson et al. (2021).
Réalité Mixte (XR) :
Technologie qui associe des contenus virtuels au monde réel (hologrammes). A la différence
de la réalité augmentée qui apporte des surcouches virtuelles au monde physique, la réalité
mixte permet de gérer des couches intermédiaires et d’intégrer davantage les contenus
aux environnements. Elle use pour cela d’une reconstruction de la topologie des lieux,
permettant notamment de gérer l’occlusion partielle des objets virtuels.
Vallée de l’étrange :
Hypothèse proposée par Mori (1970) selon laquelle un physique ou un mouvement
d’apparence humain presque naturel, mais pas tout à fait, cause une réaction de rejet chez
certains êtres humains.
Annexe I • Interviews des spécialistes de l’improvisation
Annexe I.1 • Sur leur rapport à la danse
Interrogés sur leur pratique de la danse et la place qu’elle tient dans leur vie, les interviewés
lui offrent une place personnelle et active.
« J’improvise parfois sans l’avoir décidé à l’avance, toute seule chez moi »
« Je danse seule parfois pour relâcher la pression, je mets de la musique, je suis très
musicale et rythmique »
« Je ne suis pas d’accord avec le fait qu’on improvise tout le temps, je sais quand je le
fais et je sais quand je ne le fais pas »
L’improvisation a un sens profond pour ces personnes, en plus d’un exutoire c’est également
une sorte d’enjeu à la libération de soi.
« L’espace social est trop régi par des codes sociaux, les espaces de pouvoir
enferment, Il est nécessaire d’enlever le personnage social, les relations de pouvoir »
« Il n’y a pas un espace de vie sociale où c’est possible de retrouver ça, à part en boîte
de nuit mais c’est tellement codifié également »
« La créativité entraîne la plasticité du cerveau, de l’adaptabilité, du jeu, garder un
esprit d’enfant. »
Cette libération est pour certains à la fois un enjeu social et un enjeu à une sorte de recherche
de vide, de simplicité, d’ancrage
« La relation de danse c’est le projet qu’il n’y ait rien d’autre »
240
Annexes
« Le mot-clé est l’exploration, on veut rester sur le bateau de l’explorateur, s’arrêter
un endroit, puis repartir, n’avoir aucun but »
« La chose n’est pas quelque chose qui nous échappe mais quelque chose dont
on ne cherche pas à limiter le sens. Ça ne se ferme jamais, l’intention est là mais
elle reste ouverte. On peut alors être totalement naïf et innocent au geste
qui va suivre. On n’est absolument pas dans le raisonnement »
« Improviser naturellement c’est dur, quelqu’un pas à l’aise qui regarde beaucoup ça
bloque »
Annexe I.2 • Sur la genèse de l’improvisation
Questionnés à propos de leur mise en condition avant d’aborder une phase d’improvisation,
nos sujets nous racontent :
« La plus grande chose qu’on puisse se donner pour improviser c’est le silence
intérieur et l’écoute, faire le vide »
« Pour ça on a besoin de lâcher prise, mettre la tête de côté pour s’abandonner
à soi-même, certains réussissent d’autres pas »
Et quant à l’initiation du mouvement, pour une rencontre avec soi ou avec l’autre, on trouve
de multiples sources d’inspiration, certaines assez symboliques et environnementales :
« Une musique passe, ça m’inspire et me met en mouvement »
« J’ai besoin d’un point de départ, ça peut être une émotion, de l’excitation, une
envie d’extérioriser, d’évacuer »
« J’aime travailler dans les bois, avec des cours d’eau »
« Trouver le rythme et la qualité de l’environnement »
« Je pars d’une image fixe, qui passe, de la matière du béton, de tout ton
environnement, de ce que tu ressens »
« Un mouvement très simple peut se transformer en un monde, partir de quelque
chose que les gens connaissent très bien »
« On pourra trouver un infini à partir de conditions initiales minimalistes »
241
Annexes
D’autres sont basées sur l’expression naturelle du corps et du caractère sur le moment :
« Il faut se laisser partir à la dérive, se mettre dans une posture dans laquelle on est à
l’aise, et voir quel mouvement naturel se met en place, qu’est-ce qui va se déployer »
« Certains danseurs se laissent aller à des mouvements réflexes, le poids s’exprime
beaucoup, on va vers l’instabilité »
« On doit oser aller là où on ne contrôle plus, c’est ton corps qui danse et non ta tête,
il faut laisser s’impliquer le mouvement intuitif »
« Je suis très aérienne, dans la fluidité et la douceur, je suis ample. Quand j’ai besoin
d’extérioriser ça va être tout le contraire. »
« Tu as un personnage tu dois l’assumer à fond, tu peux prendre du plaisir à être en
décalage avec toi-même »
Enfin une des personnes nous partage une technique pour lancer le mouvement selon une
routine personnelle :
« J’ai un rituel, basée sur les points cardinaux, sens anti horaire et le centre. 4 puis 5,
le 5 étant le ciel »
« J’ai commencé à faire des exercices basés sur ces 4 directions, qu’est-ce que ça
m’inspirait, les 4 éléments, qu’est-ce que ça évoque sur le plan physique. »
« Jouer sur l’espace, l’énergie, les niveaux (au sol, en l’air) »
Si une seconde personne est impliquée dans l’interaction dansée plusieurs postures peuvent
être empruntées :
« Je vais d’abord être en position de recevoir. Me demander où est son centre
(dans le cœur, dans le bassin…), quelle démarche il a. Quelle porte d’entrée j’utilise
pour rentrer dans son univers et goûter à son territoire. »
« On peut dans un premier temps interagir en miroir »
« Mon travail est de mettre la personne en confiance pour qu’elle se sente vue/
reconnue. Si je la connais je vais être plus rentre-dedans »
Annexe I.3 • l’évolution de l’expérience
Pour garder ensuite chaque danseur impliqué, les personnes ont des besoins et attentes clairs.
« Plus le matériau est simple plus ça garde mon attention »
242
Annexes
Concernant le rapport à l’environnement et du contexte :
« Pas d’intention extérieure, il y a une relation à l’extérieur. Je note ce qu’il se passe
autour, je peux m’en servir mais tout vient de l’intérieur. »
« Énorme importance du contexte, la lumière, la mobilité infinie de la lumière. C’est
chiant de faire de la danse dans un décor immobile. »
« Expo où le contexte fait que ça donnait envie de danser, endroit clos dans le noir,
musique funk »
« J’imagine un cadre, j’improvise et je fixe »
Concernant le rapport à l’autre, la rencontre entre deux personnalités va donner le ton
« J’ai besoin d’un imaginaire que j’applique au corps, quand tu es avec d’autres, cet
environnement change tout le temps, l’imprévu est plus présent »
« Quand tu es à plusieurs, tu partages un espace, tu as la contrainte de l’autre.
Les duos ou trios qui se font naturellement sont faits par le regard et par l’envie.
J’aime beaucoup sa personnalité de danseur, il est très différent de moi, son énergie
est super, très musculaire, Un lent ça va pas me plaire sur la durée »
« Si j’ai en face de moi quelqu’un de très terrien, ultra-tonique (le contraire de moi),
mes gestes vont être générées sans mon accord »
Les rencontres entre danseurs se font ou non :
« Il émerge des rôles, des guides, des dominants/dominés »
« J’ai une façon d’aborder l’impro qui est de dire laisser la rencontre se faire,
si elle se fait et si ya rencontre, c’est pas parce que vous allez vous approcher
qu’il y aura rencontre »
« Peut-être qu’il n’y aura jamais de rencontre mais ce sera peut-être aussi tellement
beau de voir une magnifique relation »
« Je n’ai pas à jouer à chercher du lien là où il n’y en a pas. Plus je retarde ce moment
là plus ce qu’il va se passer sera riche. Plus ce sera une source de tension et
de suspense. »
« L’improvisation c’est aussi le choix de réagir ou non à quelque chose qui arrive »
243
Annexes
L’imagination s’exprime alors, alimentée par des cultures multiples :
Avoir quel corps je fais cette exploration ? Corps physique / imaginaire, l’imaginaire
se déploie bien plus que le physique.
Les images et métaphores alimentent le déploiement du mouvement :
« Une manière possible d’aborder l’imaginaire c’est d’imaginer que le mouvement
prend sa source hors de la biomécanique, si je veux que ma nuque s’envole,
elle s’envole, si je veux que mon diaphragme se vrille, il se vrille. Je peux imaginer
un potentiel infini pour mon corps, que mon genou fonde par exemple »
« Si en plus de ça des forces extérieures s’expriment, une grande vague qui me porte,
quelque chose qui me pique à l’intérieur, je peux alimenter ça de manière multiple »
« Il faut juste ne pas devenir la marionnette de l’imaginaire, dans le cas de la musique
par exemple, on peut avoir tendance à trop se laisser guider. Il faut garder son phrasé,
on ne doit pas être piloté mais nourri. On se conjugue »
La culture spirituelle peut également venir contextualiser l’échange :
« Dans le tango on parle des chakras, des connexions, ceux du bassin du cœur, chakra
2 et 4. Avec certaines personnes on trouve des connexions sur tel chakra, émotionnel,
physique, sexuel, cérébral. Dans une impro je cherche la manière dont on est reliés,
quel chakra se connecte »
Tu peux danser avec quelqu’un sans le regarder, vision périphérique
Les outils théoriques du danseur vont ensuite nuancer le geste, par exemple les paramètres
de Laban :
« La poésie vient du décalage progressif du geste, dans l’ajustement
des fondamentaux de Laban. Tu peux proposer un geste qui a un reflet particulier
pour toi et l’autre s’en empare en modifiant un paramètre, il se crée une poésie »
« On peut trouver un équilibre dans le contrepoids entre les paramètres de l’un et
de l’autre »
« Quand vous faites de l’impro vous êtes un dj, vous bougez les curseurs »
Le langage non verbal donne également de nombreux signes, concernant notre propre état
et celui de l’autre :
« La confiance qu’il me porte se voit au regard, dans les appuis, l’ancrage, la vitesse,
bavardage/trop lent, ou alors à la juste vitesse »
244
Annexes
« Je sens à ma respiration si je suis à l’aise dans une improvisation, si je suis en
apnée ça bloque tout le corps, une respiration profonde engage plus »
« On ne va plus se focaliser sur la personnalité mais par ce qui se dit au travers du
geste. Le geste est une participation de la personne complète »
Tout ceci alimente la mission que les danseurs se sont donnés pour leur moment personnel
ou partagé. Il n’y a pourtant pas nécessairement de règle commune ou d’objectif commun.
« Repérer une bonne impro est compliqué, juger son travail repose sur ses propres
paramètres »
« C’est comme la musique, deux notes en appellent une 3e ou un rythme. Il faut être
à l’écoute de cet appel »
« Une impro ratée équivaut au fait que le canal de discussion commun n’a pas été
trouvé »
Pourtant il est possible d’isoler certains critères de réussite d’une improvisation, nos
danseurs en formulent quelques-uns :
« Ne pas faire des choses mécaniques, être là, corps perception sont connectés, ne
pas être ailleurs, ne pas avoir un retour de ce que je suis en train de faire »
« Une bonne impro se sent par un relâchement mutuel, quelqu’un qui réfléchit trop
et qui se lâche pas assez c’est chiant et désagréable »
« Il faut trouver l’état de fusion »
« Je trouve ça enrichissant de laisser deux personnes dans leurs mondes respectifs,
ça peut être très beau »
« Trouver un accord c’est souvent affaiblir la relation. Le point d’accord va être
une décision mentale, dictée par une idée de ce que doit être la rencontre, alors
qu’en jouant sur d’infinis désaccords, de dissonances, de contrastes,
alors elle sera mouvante et mobile. »
Annexe I.4 • Sensations
Cet état de réussite peut conduire à des phénomènes et sensations fortes : l’une d’elles est
évidemment le plaisir :
« La sensation de plaisir, de joie intense vient du fait d’être ancrée, présente »
« Comme un dialogue fluide à l’intérieur de soi, relâcher le contrôle »
245
Annexes
« Quelqu’un qui est bon en danse, t’as envie de danser avec par intérêt »
« Plaisir lié au corps de se surpasser, ça peut être douloureux mais hyper chouette,
chercher ses limites »
« Ce plaisir du flow est un des moyens les plus efficaces pour faire taire le mental »
Mais cela peut-être également comme une distance à soi-même
« Tu perds la notion de ton environnement de ton espace, le haut n’est plus le haut,
le bas non plus, tu es très connecté à l’autre, le temps est nouveau, le sol
n’est plus le même non plus, l’espace se déforme, tout est déstructuré (référence
à inception) planer, voler, flotter, tu peux faire des choses que tu ne peux pas faire
dans l’ordinaire »
« Quand une impro est réussie, je vis un effet ensuite d’ouverture, qui me change
intérieurement de 24 à 48h, et je ne retrouve pas ça dans l’interprétation
et la chorégraphie »
« tu t’observes en flow »
Annexe II • Notes au questionnaire post-expérience Pouchet
Annexe II.1 • Ensemble des notes
Affirmation Moyenne Ecart-type
À quel point connaissiez-vous l’autre personne avec qui vous
avez passé cette expérience ? 0.14 0.47
J’ai trouvé cet espace visuel et silencieux très séduisant 4.48 1.47
La simplicité de l’environnement de réalité virtuelle me rendait
d’autant plus curieux.euse et exploratifs.ives 4.41 1.61
Mon partenaire n’a pas apprécié l’expérience 1.76 1.85
J’avais une agréable sensation de légèreté 4.29 1.57
J’oubliais souvent (régulièrement ?) que certaines des balles
représentaient une autre personne 3.62 2.15
Des éléments du monde réel m’ont souvent extrait de mon
expérience en réalité virtuelle 1.24 1.56
246
Annexes
Mon attention était davantage focalisé sur mes propres
mouvements que sur la relation entre nos mouvements respectifs 2.86 1.98
Dans cette expérience de réalité virtuelle, je me sentais être
davantage que mon moi habituel 2.76 2.03
Mes mouvements étaient plus fluides et faciles que d’habitude 2.83 1.86
La connexion et les interactions avec l’autre personne
se faisaient facilement et très naturellement 3.07 1.81
J’aurais aimé que l’expérience dure beaucoup plus longtemps 3.48 1.89
J’étais davantage connscient de mon corps que d’habitude 2.71 1.92
Je ne trouvais pas que l’autre personne répondait
aux propositions que je faisais 2.95 1.71
Je trouve que l’installation en réalité virtuelle limitait
le potentiel de mes mouvements 2.36 1.79
Mes mouvements étaient motivés par ce que je pensais
que l’autre personne percevait 2.52 2.06
Mes mouvements et ma créativité étaient amplifiés par
la présence de l’autre personne 3.79 1.85
J’étais souvent celui qui initiait les interactions avec
l’autre personne 2.88 1.52
Quand on pouvait voir nos balles dans le miroir, j’avais
le sentiment que nos mouvements ne faisaient qu’un 3.19 1.92
Je ne faisais pas attention au reflet de nos mouvement
dans le miroir 1.83 2.13
Quand nos balles avaient des couleurs différentes, je me
sentais davantage séparé de l’autre personne 1.98 2.14
J’avais le sentiment que l’autre personne était absorbée par
le miroir 1.31 1.70
Quand je ne pouvais plus voir mes propres balles, je trouvais
que j’interagissais davantage avec l’autre personne 2.38 2.17
La manière de bouger de l’autre personne me faisait sentir
qu’elle voyait des choses différentes de moi 2.86 1.98
247
Annexes
Quand je ne voyais plus mes propres balles, je ressentais
davantage de proximité avec l’autre personne. L’absence de
mes propres balles me faisait ressentir davantage de proximité
avec l’autre personne
2.48 2.12
Ne pas avoir d’instructions ou de buts spécifiques
me déroutait et m’égarait 1.83 1.79
Co-habiter l’espace virtuel avec l’autre personne créait
un sentiment d’intimité 3.14 2.09
Annexe II.2 • Groupe n’ayant pas identifié la coprésence versus
celui qui l’a compris avant ou au début
Affirmation Copresence non
découverte 17 réponses
Copresence découverte
22 réponses
Moyenne Ecart-type Moyenne Ecart-type
J’ai trouvé cet espace visuel et
silencieux très séduisant 4.65 1.22 4.59 1.44
La simplicité de l’environnement de
réalité virtuelle me rendait d’autant
plus curieux et exploratif
4.56 1.79 4.23 1.57
Mon partenaire n’a pas apprécié
l’expérience 1.50 1.97 1.77 1.88
J’avais une agréable sensation de
légèreté 4.35 1.73 4.32 1.55
À quel point connaissiez-vous l’autre
personne avec qui vous avez passé
cette expérience ?
0.00 0.00 0.27 0.63
J’oubliais souvent (régulièrement ?)
que certaines des balles
représentaient une autre personne
5.29 1.10 2.36 1.89
Des éléments du monde réel m’ont
souvent extrait de mon expérience en
réalité virtuelle
0.82 1.19 1.41 1.65
248
Annexes
Mon attention était davantage focalisé
sur mes propres mouvements que
sur la relation entre nos mouvements
respectifs
3.06 2.19 2.73 1.78
Dans cette expérience de réalité
virtuelle, je me sentais être davantage
que mon moi habituel
2.41 2.00 3.18 1.94
Mes mouvements étaient plus fluides
et faciles que d’habitude 2.71 1.99 2.95 1.79
La connexion et les interactions
avec l’autre personne se faisaient
facilement et très naturellement
3.24 1.99 3.14 1.70
J’aurais aimé que l’expérience dure
beaucoup plus longtemps 3.88 1.50 3.36 2.17
J’étais davantage connscient de mon
corps que d’habitude 2.53 1.97 2.86 1.93
Je ne trouvais pas que l’autre
personne répondait aux propositions
que je faisais
2.59 1.94 3.18 1.56
Je trouve que l’installation en réalité
virtuelle limitait le potentiel de mes
mouvements
2.41 1.70 2.32 1.86
Mes mouvements étaient motivés
par ce que je pensais que l’autre
personne percevait
1.47 1.66 3.36 1.89
Mes mouvements et ma créativité
étaient amplifiés par la présence de
l’autre personne
3.59 2.12 4.18 1.40
J’étais souvent celui qui initiait les
interactions avec l’autre personne 2.35 1.50 3.45 1.34
249
Annexes
Quand on pouvait voir nos balles
dans le miroir, j’avais le sentiment
que nos mouvements ne faisaient
qu’un
3.76 1.89 2.91 1.90
Je ne faisais pas attention au reflet
de nos mouvement dans le miroir 2.00 2.40 1.82 2.02
Quand nos balles avaient des
couleurs différentes, je me sentais
davantage séparé de l’autre personne
1.41 1.62 2.41 2.30
J’avais le sentiment que l’autre
personne était absorbée par le miroir 1.24 1.71 1.27 1.75
Quand je ne pouvais plus voir mes
propres balles, je trouvais que
j’interagissais davantage avec l’autre
personne
2.29 2.54 2.59 1.97
La manière de bouger de l’autre
personne me faisait sentir qu’elle
voyait des choses différentes de moi
2.00 1.94 3.32 1.86
Quand je ne voyais plus mes propres
balles, je ressentais davantage de
proximité avec l’autre personne.
L’absence de mes propres balles
me faisait ressentir davantage de
proximité avec l’autre personne
2.00 2.03 3.00 2.18
Ne pas avoir d’instructions ou de buts
spécifiques me déroutait et m’égarait 1.82 2.04 1.68 1.49
Co-habiter l’espace virtuel avec
l’autre personne créait un sentiment
d’intimité
2.59 2.18 3.45 2.09
Mes mouvements étaient motivés
par ce que je pensais que l’autre
personne percevait
2.05 1.88 3.22 1.99
250
Annexes
Annexe III • Analyse comparative de la cohésion du mouvement
Nous pouvons voir ici les résultats du test d’annotation comparée réalisé avec cinq des membres
du projet Articulations. L’exercice proposé était de noter nos appréciations respectives de la
cohésion du mouvement minimaliste sur une même performance visualisée.
Les graphiques comparatifs suivants montrent les différentes notes normalisées (Fig. 117 à
gauche), et leur écart-type sur cette même durée (Fig. 118 à droite).
Ces graphiques illustrent les styles de notation très différents et le peu de moments
d’accords entre nos approches (représentés par les moments où l’écart type est le plus
faible). Cette observation tendrait à supporter le choix de réaliser seul l’annotation des
fichiers d’entraînement pour des métriques impliquant autant l’appréciation personnelle.
Fig.116 et 117 • En haut, les différentes notes données par les membres du projet pour une même
performance, en bas, l’écart-type de nos différentes notes après normalisation
251
Annexes
Annexe IV • Idéation Affective Landscapes
Annexe IV.1 • Paramètres influents
Cette phase se déroule sur la base de nos précédentes observations.
À partir des multiples dyades qui ont pu passer dans notre système lors des différents
workshops et phases expérimentales, il nous est possible de lister les changements et
événements suivants :
• Utilisateur :
- État créatif
- Attrait au design de l’expérience
- Fatigue
- Expressivité gestuelle
- Niveau de danse
- Attrait à la danse
- Expérience de la VR
- Attrait à la technologie
• Contexte :
- Bruit environnant,
- Présence d’objets / personnes non vues par les participants
- Rapports hiérarchiques avec ces personnes
- Taille de l’espace
- Sensation physique au sol
- Se savoir observé par des gens connus / inconnus
- Heure de la journée
• Système :
- Bugs, lags, sautes de tracking
- Niveau de chargement des capteurs / émetteurs wifi
• Relation :
- Coprésence découverte
- Proximité
- Similarité de qualités de geste
- Similarité des métriques individuelles
- Connaissance préalable
252
Annexes
Annexe IV.2 • Réponses adaptatives thématisées
Espace
- densité de l’air
- profondeur de champ / aberrations chromatiques
- aspect massif des objets
- parallaxe des étoiles
- gravitation d’objets
- distorsion des échelles
- être dans une boîte
- affecter la forme de l’environnement
- plusieurs couches qui se masquent les unes et autres
- différentes sphères de particules qui passent en transparence les une après les autres
- devenir géant / tout petit
- vertige, immensité
- prendre de la hauteur
- monde impossible
- faire tourner le monde autour
- arène qui flotte et qui bouge
- voir la matière noire
- espace génératif
- être l’espace
- se voir en miroir répété / effet interstellar
- noir sur blanc / blanc sur noir
- ombres chinoises 2D
- brouillard
Temps
- voir son mouvement passé
- délai entre mouvement et actualisation (buffer)
- Trails
- fantôme de soi
- partager la même position que le médian
- ne voir le geste qu’au début et à l’arrivée
- ne voir le geste que lorsqu’on est en mouvement
- intégrer le temps passé dans l’expérience
- intégrer l’heure de la journée
- intégrer le temps où un descripteur d a une valeur supérieure à un seuil
- le temps depuis le dernier pic à cette valeur
- le temps avant la fin de l’expérience / d’un morceau de musique
253
Annexes
- Inertie dans le mouvement
- Trace du geste
– Reverse
– Prédiction du mouvement futur
Corps
- changer de point de vue
- mise en abyme
- liens entre les 3 points
- metaballs
- lutter contre ses propres mouvements
- être soi-même un danseur médian
- inertie du mouvement
- couleur / forme
- intégrer le mouvement dans la déformation des sphères
- bouger l’environnement
- être naturel / organique / une plante / enraciné
- être vaporeux
- être invisible
- être ni visible ni invisible
- être ubiquitaire
- différents points de vue en même temps
- se voir à la 3e personne
- lutter contre soi-même
- lutter contre sa disparition
- connaître la fin de son existence
- couler, se casser, se répandre
- faire partie du décor
- remplir un réceptacle
- explorer les limites au-delà de la kinésphère
- n’être qu’une étape de l’environnement
- être démultiplié, manipuler un réseau de sphères en fractales / patterns
- les blocs de contraction
- les sphères
- Matérialiser le triangle du corps
- kinésphère
- transparence du corps
- faire apparaître des sphères aux positions précédentes lorsque le mouvement est
dynamique, rapide
une suite de sphères dont la taille décroît ou la transparence croît
254
Annexes
Effort
- créer une inertie important du geste
- flotter, tamponner (mettre des petits coups), glisser, feuilleter (petits coups)
- pousser, couper, essorer, presser
- faire léviter en cas de mouvement flottant
- glisser
- pouvoir faire des poussées dans le décor, comme des ondes de choc
- fissurer le décor
- faire frémir les objets environnants
- une force démultipliée
Relation
- Matérialiser le lien entre les deux danseurs en fonction du degré de oneness
- Les deux danseurs sont reliés par les coins d’une forme (tissu)
- Zones affectives
- être les sommets d’une même forme
255
Annexes
Bibliographie
Aristidou, A., Charalambous, P., & Chrysanthou, Y. (2015). Emotion Analysis and Classification:
Understanding the Performers’ Emotions Using the LMA Entities: Emotion Analysis and
Classification. Computer Graphics Forum, 34(6), 262–276.
https://doi.org/10.1111/cgf.12598
Aristidou, A., & Chrysanthou, Y. (2014). Feature Extraction for Human Motion Indexing of
Acted Dance Performances: Proceedings of the 9th International Conference on Computer
Graphics Theory and Applications, 277–287.
https://doi.org/10.5220/0004662502770287
Assayag, G. 2020
https://ins2i.cnrs.fr/fr/cnrsinfo/la-co-creativite-musicale-entre-humain-et-machine-erc-
advanced-grant-de-gerard-assayag
Auvray, M., Lenay, C., and Stewart, J. (2009). Perceptual interactions in a minimalist
environment
Batras, D., Guez, J., Jégo, J.-F., & Tramus, M.-H. (2016). A virtual reality agent-based platform
for improvisation between real and virtual actors using gestures. 1–4.
https://doi.org/10.1145/2927929.2927947
Bianchini, S., & Verhagen, E. (2016). Practicable: From participation to interaction in
contemporary art (pp. 930-p). The MIT Press.
Bigé, R. (2017). Le partage du mouvement. Une philosophie des gestes avec le Contact
Improvisation (Doctoral dissertation, PSL Research University).
Bishop, L. (2018) - Collaborative Musical Creativity: How Ensembles Coordinate Spontaneity
Borderie, J. (2015). Le Team Flow : expérience optimale de coopération.
Bret, M., Tramus, M. H., & Berthoz, A. (2015). Creation no. 2. La Funambule virtuelle, Michel
Bret, Marie-Hélène Tramus, Alain Berthoz. Hybrid. Revue des arts et médiations humaines,
(2).
Bryan-Kinns, N., and Hamilton, F. (2009). Identifying mutual engagement. Behav. Inform.
Technol. 31, 101–125. doi: 10.1080/01449290903377103
Camurri, A., Coletta, P., Mazzarino, B., & Piana, S. (2012). Implementation of EyesWeb low-
level features. 15.
Camurri, A., Coletta, P., Varni, G., & Ghisio, S. (2007). Developing multimodal interactive
systems with EyesWeb XMI. 305.
https://doi.org/10.1145/1279740.1279806
Carlisle, J. H. (1976, June). Evaluating the impact of office automation on top management
communication. In Proceedings of the June 7-10, 1976, national computer conference and
exposition (pp. 611-616).
256
Annexes
Csikszentmihalyi, M. (1990). The psychology of optimal experience. New York, Harper Collins.
Csikszentmihalyi, M. (1996). Creativity: Flow and the psychology of discovery and invention.
New York: Harper.
Davis et al. (2015) - An Enactive Model of Creativity for Computational Collaboration and
Co-creation
De Jaegher, H. (2013). Embodiment and sense-making in autism. Frontiers in integrative
neuroscience, 7, 15.
De Jaegher, H., & Di Paolo, E. (2007). Participatory sense-making: An enactive approach to
social cognition. Phenomenology and the Cognitive Sciences, 6(4), 485–507.
https://doi.org/10.1007/s11097-007-9076-9
De Loor, P., Manac’h, K., Windelschmidt, C., Devillers, F., Chevaillier, P., & Tisseau, J. (2014).
Connecting Interactive Arts and Virtual Reality with Enaction. 11(2), 14.
Deci, E. L., & Ryan, R. M. (1985). The general causality orientations scale: Self-determination
in personality. Journal of research in personality, 19(2), 109-134.
Desnoyers-Stewart, J., Stepanova, E. R., Riecke, B. E., & Pennefather, P. (2020). Body
RemiXer: extending bodies to stimulate social connection in an immersive installation.
Leonardo, 53(4), 394-400.
Dewey, J., 1930. Construction and criticism. Vol. 1. Columbia University Press.
Di Paolo, E. A., Rohde, M., & De Jaegher, H. (2010). Horizons for the Enactive Mind: Values,
Social Interaction, and Play. In J. Stewart, O. Gapenne, & E. A. Di Paolo (Eds.), Enaction (pp.
32–87). The MIT Press.
https://doi.org/10.7551/mitpress/9780262014601.003.0003
Dittrich, W. H., Troscianko, T., Lea, S. E., & Morgan, D. (1996). Perception of emotion from
dynamic point-light displays represented in dance. Perception, 25(6), 727-738.
Dourlens, S. (2012). Multimodal Interaction Semantic Architecture For Ambient Intelligence.
Dubey, G, Moricot, C, Dans la peau d’un pilote de chasse - Le spleen de l’homme-machine,
Paris, Presses Universitaires deFrance-PUF, 2016, p.9463Ibid., p.96.
Ebert, D. S., Fisher, B. D., & Isenberg, P. (2013). Interaction with Information for Visual
Reasoning (Dagstuhl Seminar 13352). Dagstuhl Reports, 3.
Fallman, D. (2008). The Interaction Design Research Triangle of Design Practice, Design
Studies, and Design Exploration. Design Issues, 24(3), 4–18.
https://doi.org/10.1162/desi.2008.24.3.4
Fdili Alaoui, S., Caramiaux, B., Serrano, M., & Bevilacqua, F. (2012). Movement qualities as
interaction modality. 761.
https://doi.org/10.1145/2317956.2318071
257
Annexes
Fdili Alaoui, S., Françoise, J., Schiphorst, T., Studd, K., & Bevilacqua, F. (2017). Seeing, Sensing
and Recognizing Laban Movement Qualities. Proceedings of the 2017 CHI Conference on
Human Factors in Computing Systems, 4009–4020.
https://doi.org/10.1145/3025453.3025530
Froese, T., Iizuka, H., and Ikegami, T. (2014a). Embodied Social Interaction Constitutes Social
Cognition in Pairs of Humans: a Minimalist Virtual Reality experiment. Sci. Rep. 4, 3672.
doi:10.1038/srep03672
Froese, T., Iizuka, H., and Ikegami, T. (2014b). Using Minimal Human-Computer Interfaces
for Studying the Interactive Development of Social Awareness. Front. Psychol. 5, 1061.
doi:10.3389/fpsyg.2014.01061
Gaggioli, A., Riva, G., Peters, D., & Calvo, R. A. (2017). Positive technology, computing,
and design: shaping a future in which technology promotes psychological well-being. In
Emotions and affect in human factors and human-computer interaction (pp. 477-502).
Academic Press.
Galimberti, J. (2015). “The early years of GRAV: Better Marx than Malraux,” Own-Reality, 13.
Available at
http://www.perspectivia.net/publikationen/ownreality/13/galimberti-en (accessed April
28, 2017). 14
Garcia, M. (2020). Performance transfer: Animating virtual charaters by playing and acting.
Garnier, F., Tsai, F., & Zamplaras, D. (2019). TAMED CLOUD: Sensible interaction with a swarm
of data. 8.
Gerber, E. (2007). Improvisation principles and techniques for design. Proceedings of the
SIGCHI Conference on Human Factors in Computing Systems - CHI ’07, 1069.
https://doi.org/10.1145/1240624.1240786
Giedd 2012,
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3432415/
Gifford, T., Knotts, S., Kalonaris, S., McCormack, J., (2017) - Evaluating Improvisational
Interfaces
Giraldo G., Servières, M., Moreau, G., “Perception of Multisensory Wind Representation in
Virtual Reality,” 2020 IEEE International Symposium on Mixed and Augmented Reality
(ISMAR), 2020, pp. 45-53, doi: 10.1109/ISMAR50242.2020.00024.
Giroud, G, (2019) - Mythes et limites de la symbiose en IHM -
http://iihm.imag.fr/IHM19/IHM-2019/C_ResumesEtendus/2_alt-IHM/alt01-giroud.pdf
Gray, P., (2008) - The Value of Play I: The Definition of Play Gives Insights
https://www.psychologytoday.com/us/blog/freedom-learn/200811/the-value-play-i-
the-definition-play-gives-insights
258
Annexes
Hart, Y., Noy, L., Feniger-Schaal, R., Mayo, A. E., & Alon, U. (2014). Individuality and
Togetherness in Joint Improvised Motion. PLoS ONE, 9(2), e87213.
https://doi.org/10.1371/journal.pone.0087213
Hassenzahl, M. (2018). The Thing and I (Summer of ’17 Remix). In M. Blythe & A. Monk (Eds.),
Funology 2 (pp. 17–31). Springer International Publishing.
https://doi.org/10.1007/978-3-319-68213-6_2
Heider, F., & Simmel, M. (1944). An experimental study of apparent behavior. The American
journal of psychology, 57(2), 243-259.
Himberg, T., Laroche, J., Bigé, R, Buchkowski, M, Bachrach, A, (2018) - Coordinated
Interpersonal Behaviour in Collective Dance Improvisation: The Aesthetics of Kinaesthetic
Togetherness
Hinman, R., (2013). Eight Principles of Natural User Interfaces
https://www.designprinciplesftw.com/collections/eight-principles-of-natural-user-
interfaces
Hussain, J., Ul Hassan, A., Muhammad Bilal, H. S., Ali, R., Afzal, M., Hussain, S., Bang, J.,
Banos, O., & Lee, S. (2018). Model-based adaptive user interface based on context and user
experience evaluation. Journal on Multimodal User Interfaces, 12(1), 1–16.
https://doi.org/10.1007/s12193-018-0258-2
Jameson, A. (2003). Adaptive interfaces and agents. In J.A. Jacko & A. Sears (Eds.), The
Human Computer Interaction Handbook, Mahwah, NJ: Erlbaum, 305-330.
Johansson, G. (1973). Visual perception of biological motion and a model for its analysis.
Perception & psychophysics, 14(2), 201-211.
Kantosalo A, Falk M and Jordanous A (2021) Embodiment in 18th Century Depictions of
Human-Machine Co-Creativity. Front. Robot. AI 8:662036. doi: 10.3389/frobt.2021.662036
Kitson, A., Prpa, M., & Riecke, B. E. (2018). Immersive Interactive Technologies for Positive
Change: A Scoping Review and Design Considerations. Frontiers in Psychology, 9.
https://doi.org/10.3389/fpsyg.2018.01354
Kitson, A. (2019). Digital Wellbeing: Considering Self-transcendence. 5.
Kolski, C., Le Strugeon, E., (1998). A review of intelligent human-machine interfaces in the light
of the ARCH model. International Journal of Human-Computer Interaction, 10 (3), 193-231.
Laban, R., Ullmann, L (1971) « Mastery of Movement » (3rd ed.). Macdonald & Evans Ltd,
London, United Kingdom.
Lallemand, C (2015)
https://www2.slideshare.net/Carine_Lallemand/embrace-ux-and-adapt-your-
evaluation-methods-accordingly-canux-2015-short-talk
259
Annexes
Laroche, J., Vuarnesson, L., Endaltseva, A., Dumit, J., & Bachrach, A. (2021). [Re]moving
Bodies – A Shared Diminished Reality Installation for Exploring Relational Movement.
Frontiers in Psychology, 12, 539596.
https://doi.org/10.3389/fpsyg.2021.539596
Lefebvre, L. (2008). Les indicateurs non verbaux dans les interactions médiatisées [PhD
Thesis]. Université de Bretagne Sud.
Limerick, H., Coyle, D., & Moore, J. W. (2014). The experience of agency in human-computer
interactions: a review. Front. Hum. Neurosci. 8: 643 (2014).
Magerko, B., & Long, D. (2020). Why Don’t computers improvise with us.
http://dx.doi.org/10.1145/3334480
Manning, E. (2009). Relationscapes: Movement, Art, Philosophy. Cambridge, MA, USA: MIT
Press.
Maturana, H. R., & Varela, F. J. (1972). Autopoiesis and cognition: The realization of the living
McCormack, J., Hutchings, P., Gifford, T., Yee-King, M., Llano, M. T., & D’inverno, M. (2020).
Design Considerations for Real-Time Collaboration with Creative Artificial Intelligence.
Organised Sound, 25(1), 41–52.
https://doi.org/10.1017/S1355771819000451
Mladenović, J., Mattout, J., & Lotte, F. (2017). A generic framework for adaptive EEG-based
BCI training and operation. ArXiv Preprint ArXiv:1707.07935.
Mori, M. (1970). Bukimi no tani [The uncanny valley]. Energy, 7 (4) 33-35.
Noessel, C. (2017) Designing Agentive technology, AI that works for people
Norman, D.A. (1986). Cognitive engineering. In User Centered System Design : new
perspectives on human-computer interaction, D.A. Norman, J.W. Draper (eds.), Hillsdale,
New-Jersey : Lawrence Erlbaum associates, 31-61.
Noy, L., Dekel, E., & Alon, U. (2011). The mirror game as a paradigm for studying the dynamics
of two people improvising motion together. Proceedings of the National Academy of
Sciences, 108(52), 20947-20952.
Noy, L., Levit-Binun, N., & Golland, Y. (2015). Being in the zone: Physiological markers of
togetherness in joint improvisation. Frontiers in Human Neuroscience, 9.
https://doi.org/10.3389/fnhum.2015.00187
Osimo, S. A., Pizarro, R., Spanlang, B., & Slater, M. (2015). Conversations between self and
self as Sigmund Freud—A virtual body ownership paradigm for self counselling. Scientific
Reports, 5(1).
https://doi.org/10.1038/srep13899
Pasch,M., Bianchi-Berthouze, N., van Dijk, B., and Nijholt, A. (2009). “Immersion in movement-
based interaction,” in Intelligent Technologies for Interactive Entertainment Lecture Notes of
260
Annexes
the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering,
eds A. Nijholt, D. Reidsma, and H. Hondorp (Berlin; Heidelberg: Springer), 169–180.
Paxton, S., Esquisses de techniques intérieures, Contact Quarterly, vol. 18(1), 1993 ; traduction
Patricia Kuypers.
Pelachaud, C. (2005). Multimodal expressive embodied conversational agents. In Proceedings
of the International Conference on Multimedia (SIGMM), pages 683–689. ACM. 45
Peña, J., Hancock, J. T., & Merola, N. A. (2009). The Priming Effects of Avatars in Virtual
Settings. Communication Research, 36(6), 838–856.
https://doi.org/10.1177/0093650209346802
Penelaud, O. (2010). Le paradigme de l’énaction aujourd’hui. Apports et Limites d’une
Théorie Cognitive « révolutionnaire ». PLASTIR, 18, 1–38.
Prpa, M., Fdili-Alaoui, S., Schiphorst, T., & Pasquier, P. (2020). Articulating Experience:
Reflections from Experts Applying Micro-Phenomenology to Design Research in HCI.
Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–14.
https://doi.org/10.1145/3313831.3376664
Rathunde, K. (2015). Creating a Context for Flow: The Importance of Personal Insight and
Experience. NAMTA Journal, 40, 15-27.
Russell, J. A. (1980). A circumplex model of affect. Journal of Personality and Social
Psychology; 39: 1161–1178.
Saunders, R., and Gemeinboeck, P. 2018. Performative Body Mapping for Designing
Expressive Robots. In Proc. ICCC, 280–287.
Sawyer, R. K., 2009 « The Semiotics of Improvisation » Walter de Gruyter, Berlin / New York
| 2009
DOI: https://doi.org/10.1515/semi.1996.108.3-4.269
Schiavio, A., & De Jaegher, H. (2017). Participatory Sense-Making in Joint Musical Practice. In
M. Lesaffre, P.-J. Maes, & M. Leman (Eds.), The Routledge Companion to Embodied Music
Interaction (1st ed., pp. 31–39). Routledge.
https://doi.org/10.4324/9781315621364-4
Senecal, S., Cuel, L., Aristidou, A., & Magnenat-Thalmann, N. (2016). Continuous body
emotion recognition system during theater performances: Continuous body emotion
recognition. Computer Animation and Virtual Worlds, 27(3–4), 311–320.
https://doi.org/10.1002/cav.1714
Senecal, S., Nijdam, N. A., Aristidou, A., & Magnenat-Thalmann, N. (2020). Salsa dance
learning evaluation and motion analysis in gamified virtual reality environment. Multimedia
Tools and Applications.
https://doi.org/10.1007/s11042-020-09192-y
261
Annexes
Serino, A., Alsmith, A., Costantini, M., Mandrigin, A., Tajadura-Jiménez, A., Lopez, C. (2013).
Bodily ownership and self-location: components of bodily self-consciousness. Consciousness
& Cognition, 22(4), 1239-52. doi: 10.1016/j.concog.2013.08.013
Shibolet, Y. (2018). Bodyminds in Movement: Embodied Cognition in the Practice and
Discourse of Contact Improvisation. Junctions: Graduate Journal of the Humanities, 3(1), 72.
https://doi.org/10.33391/jgjh.8
Slater, M., & Steed, A. (2000). A Virtual Presence Counter. Presence: Teleoperators & Virtual
Environments, 9, 413-434.
Soliman, T. M., Ferguson, R., Dexheimer, M. S., and Glenberg, A. M. (2015). Consequences
of joint action: entanglement with your partner. J. Exp. Psychol. Gen. 144, 873–888. doi:
10.1037/xge0000089
Stolterman, S. (2008). The Nature of Design Practice and Implications for Interaction Design
Research. International Journal of Design, 2(1), 55–65.
Ta j a du r a -J i m é n e z , A n a , B a n a ko u , D . , B i a nc h i - B e r th o u z e, N., Slater, M. (2017). Embodiment
in a Child-Like Talking Virtual Body Influences Object Size Perception, Self-Identification, and
Subsequent Real Speaking. Scientific Reports 7: 9637. doi:10.1038/s41598-017-09497-3
Taylor, A. G. (1997). WIMP interfaces. CS6751 Topic Report: Winter, 97.
Taylor, T. L. (2009). Play between worlds: Exploring online game culture. Mit Press.
Thévenin, D., Coutaz, J. (1999). Plasticity of user interfaces: framework and research agenda.
In Proceedings of Interact’99, vol. 1, Edinburgh: IFIP, IOS Press, 110-117.
Tseng, C., Cheng, M., Matout, H., Fujita, K., Kitamura, Y., Shioiri, S. & Bachrach, A. (2021).
MA and Togetherness (Ittaikan) in the Narratives of Dancers and Spectators: Sharing an
Uncertain Space. Japanese Psychological Research.
Turkle, S. (1995). Ghosts in the machine. The sciences, 35(6), 36-39.
Valori I, McKenna-Plumley PE, Bayramova R and Farroni T (2021) Perception and Motion in
Real and Virtual Environments: A Narrative Review of Autism Spectrum Disorders. Front.
Psychol. 12:708229. doi: 10.3389/fpsyg.2021.708229
Van der Land, S. F., Schouten, A. P., Feldberg, F., Huysman, M., and Van den Hooff, B. (2015).
Does Avatar Appearance Matter? How Team Visual Similarity and Member-Avatar Similarity
Influence Virtual Team Performance. Hum. Commun. Res. 41 (1), 128–153. doi:10.1111/
hcre.12044
Varela, F. J. (1989). Autonomie et connaissance. essai sur le vivant. Paris : Seuil.
Varela, F. J., Maturana, H. R. & Uribe, R. (1974). Autopoiesis : The organization of living
systems, its characterization and a model. Biosystems, 5(4), pp. 187-196. 2, 3
Varela, F. J., Thomson, E. & Rosch, E. (1993). L’inscription corporelle de l’esprit. Sciences
Cognitives et expérience humaine. Paris : Seuil.
262
Annexes
Vuarnesson L, Zamplaras D, Laroche J, Dumit J, Lutes C, Bachrach A and Garnier F (2021)
Shared Diminished Reality: A New VR Framework for the Study of Embodied Intersubjectivity.
Front. Virtual Real. 2:646930. doi: 10.3389/frvir.2021.646930
Wallace, P., and Maryott, J. (2009). The Impact of Avatar Self-Representation on
Collaboration in Virtual Worlds. Innovate: J. Online Edu. 5 (5). doi:10.18848/ 1832-3669/
cgp/v05i03/56003
Wigdor, D., & Wixon, D. (2011). Brave NUI world: Designing natural user interfaces for touch
and gesture. Morgan Kaufmann.
Yaden, D. B., Haidt, J., Hood Jr, R. W., Vago, D. R., & Newberg, A. B. (2017). The varieties of
self-transcendent experience. Review of general psychology, 21(2), 143-160.
Yee, N., and Bailenson, J. (2007). The proteus Effect: The Effect of Transformed Self-
Representation on Behavior. Hum. Comm Res 33 (3), 271–290. doi:10.1111/j.1468-
2958.2007.00299.x
Yee, N., Bailenson, J. N., & Ducheneaut, N. (2009). The Proteus Effect: Implications of
Transformed Digital Self-Representation on Online and Offline Behavior. Communication
Research, 36(2), 285–312.
https://doi.org/10.1177/0093650208330254
Zimmerman, J., & Forlizzi, J. (2014). Research Through Design in HCI. In J. S. Olson & W. A.
Kellogg (Eds.), Ways of Knowing in HCI (pp. 167–189). Springer New York.
https://doi.org/10.1007/978-1-4939-0378-8_8
, ,
- - ,
- . , ,
,
- ,
.
-
, , - ,
, - , ,
, ,
,
, ,
, ,
,
,,
,
..
',
, , '
, ,,
,
, ,
,
