Adrien Chaffangeon

Au cours des trente dernières années, certains objets de notre quotidien se sont progressivement mués en véritables ordinateurs. Nos modes de vie changent avec ces mutations et il n’est pas rare que nous interagissions avec ces ordinateurs tout en effectuant d’autres tâches, p. ex. en vérifiant notre position GPS sur notre montre connectée pendant nos sorties vélo. Au cours de la dernière décennie, une nouvelle modalité d’interaction est apparue pour répondre à ces besoins : les microgestes de la main. Les microgestes de la main, simplifiés en microgestes, sont des mouvements rapides et subtils des doigts. Ils permettent d’interagir parallèlement à une tâche principale, car ils sont rapides et réalisables en tenant un objet. Cependant, s’agissant d’une modalité récente, le domaine de recherche manque encore de structure et parfois de cohérence. Il n’existe, par exemple, aucune convention pour nommer ou décrire les microgestes, ce qui peut entraîner des incohérences terminologiques entre les différents articles. De plus, la littérature se concentre principalement sur les systèmes de captation et de reconnaissance de ces microgestes. Ainsi, peu d’études examinent les propriétés attendues des microgestes, comme la rapidité ou le faible impact sur la fatigue physique dans certains contextes d’utilisation. De ce fait, cette thèse s’intéresse à l’étude des microgestes, de leur description à leur application dans un domaine précis, la Réalité Augmentée (RA), en passant par la captation et la reconnaissance de ceux-ci.

 

Notre démarche scientifique comprend trois étapes. 

L’espace des possibles défini, dans une deuxième étape, nous nous concentrons sur l’espace des possibles. Après une revue de la littérature pour mettre en évidence la diversité des microgestes et les problèmes terminologiques, nous présentons μGlyphe, une notation pour décrire les microgestes. Ensuite, nous présentons une étude utilisateur pour comprendre les contraintes imposées sur la faisabilité des microgestes lorsqu’un objet est tenu dans la main. Les résultats de cette étude ont été utilisés pour créer un ensemble de trois règles permettant de déterminer la faisabilité des microgestes dans différents contextes, c.-à-d. différentes préhensions. Pour faciliter l’utilisation, nous avons réutilisé μGlyphe pour fournir une description visuelle de ces règles. Enfin, nous étudions différentes manières de rendre un ensemble de microgestes compatibles avec de nombreux contextes, c.-à-d. que chaque microgeste de l’ensemble soit réalisable dans tous les contextes.

Dans la deuxième partie, nous nous concentrons sur la conception de systèmes de captation et de reconnaissance de microgestes. Après une revue de ces systèmes dans la littérature, nous présentons les systèmes de captation mis en œuvre : deux gants. Nous présentons ensuite une étude utilisateur qui suggère un impact faible du port d’un gant sur la faisabilité des microgestes. Ensuite, nous présentons un système plus complet reconnaissant à la fois microgestes ainsi que les contextes de préhension et de la main libre. Nos études sur les taux de reconnaissance suggèrent

que ce système est utilisable pour la détection de microgestes, avec un taux de 94%, mais doit être amélioré pour la reconnaissance de contexte, avec un taux de 80%. Enfin, nous présentons une preuve de concept d’un gant modulaire et d’un système de reconnaissance basé sur μGlyphe pour permettre l’unification des systèmes de captation des microgestes.

Notre dernière étape est alors dédiée aux techniques d’interaction basées sur les microgestes. Nous nous intéressons aux propriétés de microgestes pour la sélection 3D en RA. Ainsi, nous avons conçu deux techniques de sélection 3D basées sur le regard et les microgestes pour une interaction avec un faible impact sur la fatigue physique. Nos résultats expérimentaux suggèrent que la combinaison regard et microgestes permet une interaction rapide tout en minimisant la fatigue, en comparaison du pointeur virtuel usuel. Nous terminons sur une ouverture discutant l’extension de nos techniques afin d’intégrer la manipulation d’objets 3D en RA avec des microgestes.