Sites Inria

English version

Technologies

Alice Wrona - 12/07/2013

Leap motion : un mode d’interaction idéal en salle d’opération

Leap Motion ©Leap Motion

Avec une sortie commerciale prévue le 22 juillet, la technologie Leap Motion entend faire un tabac comme interface de jeu vidéo et commande d’ordinateur. La détection précise de chaque doigt permet la manipulation à distance d’objets virtuels 3D. Cette technologie pourrait se révéler très intéressante dans des environnements particuliers. Les chercheurs de l’équipe-projet Shacra expérimentent le périphérique depuis plusieurs mois afin de l’intégrer dans leur plate-forme de simulation médicale (SOFA ) et l’utiliser dans leurs applications pour la radiologie interventionnelle.

Un gadget ? Pas seulement !

Le contrôleur Leap Motion est un petit objet de type clé USB qui permet d’interagir à distance avec l’ordinateur. Équipé de caméras VGA et de capteurs, le petit appareil est conçu pour repérer les mouvements de doigts ou de crayon qui permettent de commander l’ordinateur : sélectionner des touches, zoomer, changer de perspective, dessiner... ou de faire des jeux vidéo.

Nouveau gadget ? Sans doute, mais la technologie pourrait se révéler intéressante pour les applications nécessitant d’interagir avec l’ordinateur dans des environnements particuliers. En salle d’opération, par exemple, pas question pour le chirurgien de tapoter sur un clavier, pour des raisons d’asepsie mais également parce que la place y est restreinte. En radiologie interventionnelle, en particulier lorsque les opérations se font sous IRM, il est de surcroît très difficile d'introduire des appareils électroniques à cause du champ magnétique généré par le scanner. C’est pourquoi le clinicien donne des instructions verbales aux assistants situés à l’extérieur de la salle afin de pouvoir consulter les images préopératoires qui lui sont nécessaires pour planifier l’intervention. Ce mode de travail est laborieux et susceptible de conduire à des malentendus, engendrant frustration et perte de temps. Opter pour une interaction gestuelle permettrait donc, d'effectuer des manipulations in situ  et ainsi de gagner un temps précieux. 

Développer un vocabulaire gestuel spécifique…

Stéphane Cotin, responsable de l'équipe-projet Shacra (commune avec l'université Lille1* et bilocalisée à Inria Nancy - Grand-Est et Inria Lille - Nord Europe), développe des technologies d’aide à l’intervention chirurgicale employées dans ce contexte : « Nous avons profité du fait que Leap Motion soit en bêta-test dans notre équipe pour explorer les capacités offertes par le périphérique dans la conception d’interfaces adaptées aux conditions de la salle d’opération.  » Ce qui a séduit les chercheurs c’est l’absence de contact avec l’ordinateur combinée avec le fait de pouvoir identifier avec une bonne précision la position des mains dans l’espace. « Même si Leap Motion a du mal à identifier les doigts dans certaines positions de la main et que la robustesse du suivi doit être améliorée, sa précision est tout de même très importante  », indique Stéphane Cotin.

Cette précision permet de développer un vocabulaire gestuel simple, spécifique, intuitif et adapté aux conditions opératoires, en particulier en ne monopolisant qu’une seule main, la seconde étant le plus souvent occupée à tenir un instrument. Cette gestuelle peut être également plus naturelle, le clinicien gardant une plus grande liberté de mouvement. Il est aussi possible d’ajouter des retours visuels afin de guider l’utilisateur dans ses gestes en lui indiquant l'action qu'il déclenche. Cela permet de se concentrer sur l'effet du geste et non sur le geste lui même. « Pouvoir effectuer les commandes nécessaires avec des gestes simples ayant une interprétation sémantique propre à l'application est un réel défi qui n’a pas actuellement de solution commerciale  », précise Myriam Lekkal, qui travaille sur cette application depuis Avril.

… et des modes de manipulation d’objets en 3D

L’équipe explore également une autre application de la technologie Leap Motion . Rémi Bessard Duparc travaille sur une interface gestuelle qui donnera au chirurgien la possibilité de manipuler des images ou des simulations 3D, de saisir des objets virtuels et de les déplacer dans l’espace. Grâce à cette interface, le praticien pourra modifier lui-même, sur le modèle 3D de l’organe du patient, la position des électrodes destinées à détruire une tumeur en lui appliquant un froid intense (cryoablation). Il pourra vérifier l’impact de ce changement sur la destruction de la tumeur par simulation et adapter sa stratégie opératoire le cas échéant (planification préopératoire). Pour pouvoir réaliser ces mouvements complexes sur des représentations 3D, les chercheurs de l'équipe-projet Shacra ont combiné la reconnaissance d’un geste permettant de saisir virtuellement l’électrode et le suivi du mouvement de la main qui va conditionner le mouvement de l’aiguille de façon globale. « Pour pallier la difficulté qu’il y a à identifier chaque doigt pour certaines positions de la main, nous avons opté pour des gestes utilisant deux doigts seulement, et nous avons utilisé la détection très précise et robuste de la position de la paume de la main pour orienter l’aiguille dans l’espace  », souligne Rémi Bessard Duparc.

À partir d’août, ces chercheurs mèneront un travail essentiel qui consiste à étudier le bénéfice pratique de cette interface pour les cliniciens et manipulateurs radio et s’assurer qu’elle réalise un compromis satisfaisant entre robustesse et précision. «  Le plus important est d’être en mesure de gagner en vitesse et en précision sur la technique actuelle , conclut Stéphane Cotin, et nous sommes assez confiants sur ce point !  »

Améliorer les interfaces utilisateur, et plus si affinité !

« Chaque périphérique est plus adapté à certaines tâches qu’à d’autres. Ils ne sont pas concurrents, mais complémentaires  », affirme Thomas Pietrzak, chercheur dans l’équipe-projet Mint (commune avec le CNRS et l'université Lille1**) et spécialiste des interactions gestuelles. « Le point fort de Leap Motion est de détecter des mouvements 3D précis dans un espace restreint. Il est très adapté pour interagir dans des environnements particuliers, comme en salle d’opération, mais probablement pas pour taper du texte assis à son bureau.  » Le chercheur s’intéresse ainsi surtout aux avantages qu’il pourrait tirer de la combinaison des technologies existantes. Par exemple, sur les écrans tactiles, il n’est possible que de toucher (activer) ou ne pas toucher (inactiver) une fonction. L’association de l’interaction tactile avec Leap Motion permettrait d’introduire le survol, c’est-à-dire le fait de prendre en compte ce qui se passe un peu au-dessus de l’écran ; on parle de 2,5 D.  Le survol d’une fonctionnalité permettrait d’afficher la bulle d'aide correspondante pour indiquer à l'utilisateur à quoi elle sert. L’ergonomie des tablettes et téléphones mobiles en serait grandement améliorée.

Thomas Pietrzak imagine aussi de combiner l’utilisation du clavier et de Leap Motion pour rendre les raccourcis clavier des logiciels de traitement de texte plus ergonomiques. Les raccourcis clavier permettent d’entrer des commandes (copier/coller, mise en forme, etc.) sans l’aide de la souris, en associant les touches lettres avec d’autres touches, notamment la touche Control qui spécifie le changement de mode d’utilisation du clavier. Ces raccourcis sont souvent dédaignés par les utilisateurs car ils sont difficiles à mémoriser et parfois difficiles à réaliser du fait du nombre de touches à enfoncer simultanément. « Nous étudions actuellement, en collaboration avec des collègues du Max Planck Institute et de l'université de Toronto, s’il serait possible de simplifier ces raccourcis, par exemple en changeant de mode lorsque l’utilisateur porte une main à la souris  ». Dans ce but, la première étape sera d’étudier, à l’aide de Leap Motion , comment les utilisateurs manient actuellement le clavier et la souris puis de s’appuyer sur les informations recueillies pour améliorer l’interaction.

D’autres domaines pourraient-ils bénéficier de cette nouvelle technologie ? « Je pense qu'à l'instar de Kinect dont le succès est principalement dû à ses utilisations détournées, Leap Motion sera le plus utile pour ce qui n'a pas été prévu , souligne le chercheur. J'ai hâte de découvrir de telles utilisations !  »

Outil de rééducation ?

La médecine est sans aucun doute un domaine d’application qui peut bénéficier du périphérique Leap Motion . Il devrait également permettre de développer des outils de rééducation psychomotrice pour aider les personnes ayant subi un traumatisme cérébral à réapprendre les geste de base. De telles applications sont développées avec la Kinect pour des gestes engageant le corps entier. Leap Motion serait plus adaptée à la rééducation de la motricité fine : dextérité, préhension et manipulation d’objets.

*au sein de l'UMR 8022 CNRS-Lille1-Lille 3-Inria, LIFL.

**au sein de l'UMR 8022 CNRS-Lille1-Lille 3-Inria, LIFL et de l'EA 2697 L2EP

Mots-clés : Leap Motion Simulation médicale SHACRA MINT

Haut de page

Suivez Inria