Sites Inria

Réalité virtuelle

MD - 13/11/2013

Une rencontre artistique en réalité virtuelle

Une jeune femme danse entourée de caméras. Andrea Just danse au centre de la salle GrImage. - © Inria / Photo N. Hairon - CC BY NC SA 2.0

Inria, Institut de recherche en sciences du numérique présente pour la première fois une expérimentation de réalité virtuelle live. Réalisée par les équipes en charge du développement de la plateforme GRIMAGE (INRIA Grenoble Rhône-Alpes), cette performance a été réalisée dans le cadre de la conférence ICT, rendez-vous européen des acteurs des technologies de l’information et de la communication (TIC), qui s’est tenue du 6 au 8 novembre 2013 à Vilnius en Lituanie. Les chercheurs ont réussi la prouesse de faire jouer et danser des musiciens et une danseuse multilocalisés en même temps sur une grande scène à Vilnius.  

Dans les coulisses de la démonstration de Vilnius

Véritable défi technologique et artistique, l’expérimentation de Vilnius a mobilisé les compétences des chercheurs d’Inria et de l’institut de Grenoble INP. Intégrée au projet européen Visionair, et développée sur la plateforme GRIMAGE, cette expérimentation utilise les technologies les plus récentes en matière de vision par ordinateur, de simulation physique et de calcul parallèle, avec pour ambition de développer des approches innovantes d’immersion 3D.

Pour la première fois au niveau mondial, cette expérimentation rassemble la reconstruction 3D temps-réel d'un personnage et l'intégration de flux vidéo et audio multi-localisés vers un même lieu. Grâce à la plateforme GRIMAGE permettant des incrustations 3D en live, les spectateurs ont pu découvrir des effets spéciaux et des rendus inhabituels. 

Concrètement, une scène virtuelle, et un grand écran sont installés à Vilnius, en présence d’un musicien réel. Sur cette scène virtuelle, le public présent a pu admirer le spectacle d’une danseuse localisée à Grenoble (sur la plateforme Grimage) et reconstruite en 3D, et de deux musiciens localisés en Pologne et en Espagne, en image 2D. 

Il s'agit d'une première. Ce type d'intégration visuelle 3D et son n'a jamais été réalisé jusqu'à présent en raison des difficultés liées à la synchronisation effectuée en temps réel en fonction des temps de calcul de la reconstruction 3D et des délais de transmission image et son.

GRIMAGE ou l’exploration de nouvelles formes d’interaction 3D entre le réel et le virtuel

 La particularité de la plateforme GRIMAGE réside dans l’absence d’un système de marquage. L’utilisateur interagit directement avec les objets virtuels par le biais de son modèle 3D, c’est-à-dire son double numérique, sans avoir besoin d’être équipé de capteurs. L’utilisateur bouge, se déplace, le système reproduisant instantanément son image et ses mouvements en 3D et le projetant dans un univers virtuel dans lequel il peut interagir directement avec les objets et les personnes qui s’y trouvent, quelle que soit leur localisation dans le monde réel.

 Quelles applications pour aujourd’hui ou pour demain ? 

Une des applications de cette technologie est la vidéo 3D qui permet au téléspectateur de choisir librement le point de vue d’une scène. Le contenu 3D qui est produit peut être également utilisé pour des effets spéciaux pour le cinéma ou les jeux vidéo. En valorisant la technologie développée sur la  plateforme Grimage, 4D View Solutions, start-up issue d'Inria créée en 2007, propose aujourd’hui des systèmes de reconstruction 3D clés en main. 

Cette expérimentation ouvre la voix à de nombreuses pistes de recherche, et à des applications à plus ou moins long terme. En permettant de regrouper des personnes distantes dans un même lieu et en leur offrant de partager des objets virtuels, les entreprises pourraient passer de la visioconférence à la téléprésence, et optimiser ainsi le confort et la qualité de la relation à distance entre plusieurs personnes. Objectif : se rapprocher au maximum de l’expérience d’une rencontre physique ! 

D’autres applications dans le domaine de la réalité virtuelle sont envisageables, comme la chirurgie virtuelle ou la formation d’équipe de secours en simulant des situations dangereuses. 

GRIMAGE 2014, une nouvelle plateforme, de nouvelles perspectives

Après plus de 6 années de développement et de perfectionnement, GRIMAGE est aujourd’hui devenue une plateforme de classe internationale, mise à disposition dans des projets de recherche de pointe et également accessible aux collaborations industrielles. 

2014 va marquer une nouvelle étape avec la mise en production de l'équipement Kinovis (Equipex), une plateforme multi-caméra de grande taille qui permettra d'étudier et développer une nouvelle génération d'algorithmes  et d'usages.

Equipex Kinovis  (http://kinovis.inrialpes.fr/).

À propos du projet Visionair (VISION Advanced Infrastructure for Research)

Réalisé avec l’Union Européenne, regroupe des installations de visualisation et d’interaction de haut niveau, pour les rendre accessibles aux chercheurs de la communauté européenne et du monde entier. Piloté par le laboratoire G-SCOP de Grenoble INP, il regroupe 25 partenaires issus de 12 pays différents. L’infrastructure intègre des outils techniques (caves de réalité virtuelles, dispositifs sensoriels haptiques, réseaux de transport de très haute qualité d’image, systèmes holographiques, etc…) parfois extrêmement coûteux. Elle propose alors des services virtuels, accès libre et total aux logiciels de visualisation, mais également un accès physique gratuit aux plateformes de haut niveau pour les scientifiques dont les projets auront été retenus. 

Le projet contribue ainsi à l’attrait et à la visibilité de la communauté de recherche européenne.

Mots-clés : Réalité virtuelle 3D GRIMAGE Visionair

Haut de page

Suivez Inria