Point de mi-parcours du DÉFI Avatar

Date:
Mis à jour le 24/02/2021
Les Défis Inria sont des projets de recherche ambitieux, parfois multidisciplinaires, à forte valeur ajoutée, en lien avec des enjeux sociétaux. Le Défi AVATAR, fondé en 2018, vise à concevoir des avatars mieux incarnés, plus interactifs et plus sociaux.
photographie d'une femme équipée d'un casque de réalité virtuelle
Photo by Vinicius "amnx" Amano

Quel est ce projet en quelques mots ?

L’origine du terme « avatar » employé en Sciences et technologies du numérique est généralement attribuée à la religion hindouiste  (du sanskrit « avatara »), faisant référence à la descente d'un Dieu sur la terre, et en particulier, les incarnations de Vishnou. Par extension depuis ce sens premier, il recouvre aujourd’hui toute notion d’incarnation dans un monde virtuel d’une personne réelle. C’est un alter ego dans le virtuel.

 

« AVATAR a pour objectif de poser des réflexions sur l’incarnation de l’utilisateur dans un environnement virtuel à travers un avatar pour interagir et percevoir celui-ci », explique Ludovic Hoyet, coordinateur du Défi AVATAR.

« Nous savons que le fait de voir son corps nous permet de réaliser certaines tâches, l’objectif global du projet est de permettre à un utilisateur de réaliser des actions naturelles en portant un casque de réalité virtuelle, en améliorant à la fois l’acceptabilité de l’avatar par son utilisateur et la capacité de l’avatar à améliorer l’expérience de l’utilisateur dans l’environnement virtuel. »

Comment est né votre projet ?

« À l’origine c’est parti d’une discussion entre collègues à Rennes. » L’équipe MimeTic travaille sur la modélisation de l’humain notamment par son mouvement. L’équipe HYBRID travaille sur des approches de réalité virtuelle, donc la jonction des deux donne la problématique d’AVATAR.

« Suite à des premiers résultats concluant, réalisés en collaboration entre nos deux équipes notamment sur la capacité des utilisateurs à s’approprier une main structurellement différente (une main à six doigts), il nous est venu l’idée de créer un Défi Inria et nous avons monté notre équipe en allant chercher des compétences qui nous manquaient comme à Grenoble sur des problématiques de capture volumétrique, GraphDeco pour les problématiques de rendu et POTIOC et LOKI sur les compétences de création d’interface dédiée à l’avatar et retour expérience utilisateur. »

 

représentation en réalité virtuelle d'une main à six doigts
© Inria / Photo J.C. Moschetti
Six Fingers : mieux comprendre la perception de notre corps virtuel

 

En quoi votre projet est-il novateur ?

Malgré l’essor des problématiques autour de la réalité virtuelle, il est rare que des applications utilisent un avatar capable d’utiliser l’ensemble des possibilités offertes par une représentation complète.

Il est nécessaire de comprendre comment un utilisateur s’incarne et comment il est capable d’interagir de façon naturelle avec l’avatar.

AVATAR a des compétences sur toute la chaine de traitement : modéliser la forme de l’apparence, la texture ; animer ; mais aussi interagir et également avoir un retour multisensoriel. « On est capable d’aborder des questions transdisciplinaires. »

 

Comment votre projet s'est-il développé ?

Il s’est développé sur deux axes principaux : l’un technologique et l’autre fondamental. L’aspect technologique se concentre sur la représentation de l’avatar et l’animation. L’aspect fondamental se concentre sur la perception et l’incarnation dans cet avatar, mais également sur la psychologie (sense of embodiement) et le ressenti de l’incarnation.

Quels sont les premiers résultats ?

« Sur l’aspect fondamental, des papiers sont publiés sur l’incarnation virtuelle. Sur l’aspect technologique, il y a des résultats sur la capacité de réadapter les mouvements d’une personne à un avatar qui aura une morphologie différente, par exemple comment s’assurer que les contacts qu’un utilisateur fait lorsqu’il réalise des mouvements se retranscrivent correctement si l’avatar est plus grand, plus fin, ou plus trapu, pour préserver la sémantique de l’action réalisée.

 

représentation 3D de 3 morphologies différentes
Adaptation de la pose d’un utilisateur à des personnages de morphologie différente tout en préservant les contacts corporels

 

Quels sont les applications/usages de vos découvertes ? Y'a-t-il des domaines particuliers pour lesquels vous travaillez ?

Tout d’abord, toutes les applications de réalité virtuelle dans les jeux vidéo et dans l’expérience immersive. Mais aussi, dans le divertissement avec le cinéma immersif.

 

Au cinéma on est pour l’instant passif, mais à terme l’utilisateur pourrait vivre cette expérience comme un personnage secondaire, comme un figurant et avoir un certain niveau de contrôle sur l’action.

 

Il y aussi des applications autour de la psychologie et la médecine, par exemple en rééducation motrice. Un des partenaires du projet : Mel Slater (Université de Barcelone) qui est un expert du domaine, s’intéresse aux aspects psychologiques comme les phobies et les biais comportementaux.

Il existe un fort potentiel sur les applications de visioconférence en jouant sur le langage non verbal et le placement dans l’espace pour améliorer la communication.

Enfin avec le sport, pour reproduire des conditions de stress et d’immersion en compétition afin d’entrainer des compétences motrices par l’utilisation de la réalité virtuelle.

 

3 scénarios de mouvements sportifs d'avatars
Les quatre tâches mises en œuvre dans l'expérience de correspondance subjective avec l'apparence de l'avatar au niveau de réalisme maximum. De gauche à droite : Boxe, Soccer, Fitness et marche

 

Quelles sont les prochaines étapes ?

On a des travaux qui démarrent sur des nouveaux dispositifs pour contrôler l’avatar et obtenir un retour multisensoriel sur ce qui se passe dans l’environnement. Il y a aussi des avancées sur l’animation faciale et l’apprentissage profond. Le "gros-œuvre" à réaliser pour le défi ces deux prochaines années est de créer une plate-forme commune que l’on pourra partager entre toutes les équipes Inria travaillant sur l’avatar, ce qui permettra d’accélérer les nouveaux travaux.

Coordinateur : Ludovic Hoyet, équipe Inria MimeTIC (Rennes)

Partenaires : équipe Inria GraphDeco (Sophia), équipe Inria Hybrid (Rennes), équipe Inria Loki (Lille), équipe Inria MimeTIC (Rennes), équipe Inria Morpheo (Grenoble), équipe Inria Potioc (Bordeaux), le professeur Mel Slater (Uni. Barcelona), InterDigital et Faurecia.