Le mouvement des vêtements modélisé sous toutes les coutures

4DHuman Outfit, 4DHO de son petit nom : voici l’appellation du projet pour lequel des chercheurs ont œuvré pendant quatre ans. Avec en ligne de mire la mise à disposition d’un nouvel outil précieux pour les scientifiques ou les industriels souhaitant modéliser les mouvements des vêtements. « Jusqu’à présent, peu de données, donc peu de modèles fiables, existaient sur le mouvement des vêtements, expose Stefanie Wuhrer, chercheuse au sein de l’équipe Morpheo du centre Inria de l’Université Grenoble Alpes. Nous avons cherché à combler ce vide et à créer un jeu de données réelles sur la dynamique de vêtements, utiles à l’élaboration de futurs modèles. »

Le défi est de taille : il implique d’abord de décider du type de mouvements à enregistrer, puis de réussir à les capter et enfin d’exploiter les données. Pour le relever, trois acteurs ont uni leurs forces dès 2019 autour de 4DHO : l’équipe Morpheo, spécialisée dans la perception et l’interprétation des mouvements à l’aide de systèmes multicaméras, et le SED (Service expérimentation et développement), tous deux au Centre Inria de l’Université Grenoble Alpes, ainsi que Naver Labs Europe, un laboratoire de recherche industrielle en intelligence artificielle, situé lui aussi à Grenoble. « Naver Labs Europe est un partenaire privilégié d'Inria depuis de nombreuses années. Nous travaillons sur des sujets de recherche similaires et nos équipes se connaissent bien, raconte Christophe Legras, chef de projet au sein de Naver Labs. Ensemble, nous avons identifié un fort besoin de la communauté scientifique autour de la vision en 4D de personnes en mouvement avec plusieurs degrés de variabilité. »

©Kinovis

La méthode utilisée ? Elle repose sur 20 personnes, de morphologies variées, effectuant 11 mouvements (9 prédéfinis et 2 libres) dans 7 tenues différentes. L’objectif : obtenir un cube de données, où chaque tranche représente une combinaison entre les personnes, les tenues et les mouvements et le tout en 4D, c’est-à-dire dans l’espace et dans le temps.

Pour cela, il faut filmer les personnes lorsqu’elles effectuent le mouvement… et là, les chercheurs d’Inria disposent d’un atout précieux : la plate-forme Kinovis. Cette salle d’expérimentation de 100 m², dotée de 68 caméras haute définition, se prête parfaitement à la tâche. « Il existe des jeux de données sur les mouvements des vêtements avec des tenues minimales, près du corps, explique Laurence Boissieux, ingénieure au SED. Mais avec un tel espace, nous pouvons récolter des données de plus grande ampleur avec des mouvements plus larges. »

En janvier 2022, la captation d’images commence. En combinant les paramètres tenues et mouvements, il s’agit de filmer 77 séquences par sujet, ce qui prend une demi-journée pour chaque acteur… puis une semaine de traitement ! « D’un côté, il faut obtenir des silhouettes blanches sur fond noir par soustraction du fond vert, explique Laurence Boissieux. Cela peut impliquer de corriger à la main les morceaux d’images avec des défauts, comme lorsque la personne porte une couleur trop claire qui réfléchit le vert du fond et qu’une partie de sa tenue se retrouve par conséquent invisible. Ensuite, il faut extraire du flux vidéo les images, à raison de 50 images/seconde, pour chaque caméra. »

©Kinovis

À partir de ces deux sources de données, des algorithmes se chargent de reconstruire pour chaque pas de temps (50Hz) les formes des corps et des vêtements en mouvement. Sept mois sont nécessaires pour venir à bout du traitement des images… et pouvoir enfin entamer leur phase d’exploitation. « Notre but était de présenter à la communauté scientifique nos données, mais également quelques modèles de référence établis à partir de celles-ci, comme un modèle de reconstitution du corps sans vêtement ou à l’inverse du vêtement sans corps », détaille Stefanie Wuhrer.

Les équipes Morpheo et du Naver Labs, renforcées par des doctorants communs, s’attellent à ces travaux pendant deux ans. En juin 2023, c’est l’aboutissement : les chercheurs publient un article annonçant la mise à disposition en ligne du jeu de données sur un site internet dédié, ainsi que les premiers modèles. Avec une subtilité : seules les données concernant 18 acteurs, 6 tenues et 10 mouvements sont ouvertes au public. « Les données que nous gardons cachées nous permettront de tester les modèles mis au point à partir de celles que nous avons publiées, explique Stefanie Wuhrer. Nous leur demanderons de simuler les mouvements des tenues cachées et verrons si le résultat est bien conforme à la réalité. »

Les perspectives sont très prometteuses, tant les domaines d’application sont variés. « Un exemple : l’essayage virtuel, avec un modèle capable de transférer un vêtement d’une morphologie à une autre, illustre Laurence Boissieux. La difficulté étant que les données doivent tenir dans un smartphone ou un site web… et qu’il faut une solution pour acquérir la morphologie de destination sans avoir 68 caméras à disposition ! »

Autre projet imaginable à partir des données du 4DHuman Outfit : transférer des vêtements modélisés sur différentes morphologies puis récupérer les patrons à plat des vêtements pour pouvoir les fabriquer réellement. D’autres pistes encore pourraient déboucher sur des avatars plus convaincants dans le cinéma, la publicité, les jeux vidéo…

« Grâce à nos données, les modèles pourront rendre le mouvement des vêtements plus réel, il ne s’agira plus de simulation mais de restitution de la réalité », souligne Laurence Boissieux. Le Naver Labs compte par exemple s’appuyer sur les données générées pour perfectionner ses modèles de reconnaissance de morphologie dans des situations complexes (liées aux variations de vêtements et de mouvements). Quatre ans après le lancement de 4DHumanOutfit, Stefanie Wuhrer jette un regard satisfait sur les recherches menées : « Cela a été un projet de longue haleine mais très riche. Nous sommes contents du jeu de données publié, qui est unique en son genre. Jamais il n’aurait pu être obtenu sans Kinovis et sans cette collaboration à trois acteurs. »

4DHumanOutfit en vidéo

• Présentation du projet 4DHumanOutfit, Kinovis
• Le catalogue de 4DHuman Outfit, Kinovis
• La modélisation des objets complexes prend son Elan, Inria, 29/4/2020