Sites Inria

Images

Laurence Goussu (*) - 10/09/2019

Changer l’éclairage des photos et des vidéos grâce à un algorithme d’apprentissage profond développé par des chercheurs d’Inria

Des chercheurs du centre de recherche Inria Sophia Antipolis – Méditerranée, en collaboration avec Adobe et UC Berkeley, ont développé une méthode qui permet de changer l’éclairage des photos et des vidéos en quelques clics. Cet algorithme innovant utilise un réseau de neurones entraîné sur des images de synthèse mais utilisable sur de vraies photos. Les résultats démontrent qu’il est possible, par exemple, de prendre une photo à midi et de la modifier automatiquement pour qu’elle semble avoir été prise au coucher du soleil. 

Être au bon endroit au bon moment pour prendre des photos n’est pas toujours chose facile. C’est pourtant une des composantes essentielles pour avoir des photos avec un rendu professionnel. La lumière d’un coucher de soleil ou le bon alignement de celle-ci avec certains objets imposent parfois d’attendre longuement pour obtenir les meilleures conditions. Avec l’avènement des smartphones et des réseaux sociaux de plus en plus d’utilisateurs prennent et partagent des photos. Ils utilisent souvent des filtres pour embellir celles-ci mais sans pouvoir en changer le contenu. Grâce à l’apprentissage automatique (machine learning ), et plus spécifiquement à un réseau de neurones, les chercheurs ont développé une méthode qui repousse les frontières du possible en termes de filtres et permet de modifier les conditions d’éclairage d’une photo ou même d’une vidéo.

Les premiers résultats présentés à la conférence SIGGRAPH

Julien Philip , doctorant sous la direction de George Drettakis dans l’équipe GraphDeco d’Inria, est principal contributeur sur le papier décrivant la méthode. Il a présenté leurs résultats à la conférence SIGGRAPH à Los Angeles, début août. SIGGRAPH (Special Interest Group on Computer GRAPHics and Interactive Techniques) est une conférence internationale majeure sur l'infographie : elle regroupe chaque année depuis 1974 un grand nombre d’acteurs industriels, artistiques et scientifiques de l’univers de l’image de synthèse, qu’il s’agisse de films d’animation, de création d’effets spéciaux, de jeux vidéo ou de logiciels permettant la modélisation 3D.

D’après Julien Philip , la méthode, qui reste expérimentale, permet déjà d’obtenir des résultats impressionnants de réalisme. « Souvent les réseaux de neurones ne peuvent que traiter de petites images dont la qualité n’est pas suffisante pour la photo ou se concentrent sur des tâches plus bas niveau comme le débruitage. Ici le contrôle de l’éclairage est redonné aux utilisateurs, ce sont eux qui décident si la photo finale semblera être prise le matin, à midi ou le soir. En fait, les utilisateurs peuvent laisser s’exprimer toute leur créativité et imaginer des éclairages totalement irréalistes. »

Épaulé par Michaël Gharbi , chercheur chez Adobe , Tinghui Zhou et Alexei Efros de l’université de Berkeley et par son directeur de thèse George Drettakis , Julien Philip a montré qu’une seule photo n’était pas suffisante pour obtenir un résultat convaincant avec les méthodes actuelles. Pour pallier cette difficulté il utilise d’autres images du même lieu pour estimer la 3D de celui-ci et guider le changement d’éclairage. Ces multiples vues peuvent être obtenues en enregistrant une vidéo, en prenant plusieurs photos en se déplaçant, ou même en utilisant d’autres photos du même lieu récupérées automatiquement sur Internet.

L’algorithme peut alors être utilisé pour modifier une photo, générer un effet de « time lapse » sur celle-ci ou éditer une vidéo. La méthode peut également être adaptée aux pipelines multivues traditionnels tels que le « rendu à base d'images (IBR) » ou la photogrammétrie notamment utilisée dans le milieu des effets spéciaux, ce qui ouvre la voie à des applications industrielles dans l’avenir.

Un jeu d’ombres et de lumière

Produire une modification réaliste des ombres portées est un défi majeur lorsque l'on cherche à réaliser un changement d’éclairage. La méthode est capable d’enlever celles-ci et de les modifier pour simuler une autre direction d’éclairage. Les auteurs guident leur algorithme en utilisant la 3D et en appliquant des méthodes utilisées dans les jeux vidéo pour le calcul des ombres. Malheureusement ces méthodes ne sont pas directement applicables : « La 3D que nous obtenons n’est pas suffisamment bonne pour enlever et créer des ombres réalistes, mais elle donne néanmoins une base solide. C’est là qu’intervient le réseau de neurones, nous lui avons appris à corriger les erreurs générées par la mauvaise qualité de la 3D » commente Julien Philip . Pour réaliser cet apprentissage, leur intelligence artificielle avait besoin d’exemples de lieux sous de nombreux éclairages différents, pour estimer les transformations. Ce type de données étant compliqué et coûteux à acquérir, ils ont donc décidé d’utiliser des méthodes de rendu 3D très réalistes qui simulent la physique de la lumière à la place de vraies photos. Ils ont alors pu obtenir assez de données pour que le réseau de neurones apprenne à changer l’éclairage malgré la mauvaise 3D.

Ce travail a été financé par le projet européen H2020 EMOTIVE (http://emotiveproject.eu) et le projet ERC Advanced Grant FUNGRAPH (http://fungraph.inria.fr). Pour plus de détails, voir le lien (https://repo-sam.inria.fr/fungraph/deep-relighting/).
Avant la publication de ces travaux, la collaboration entre l’équipe GraphDeco d’Inria et Adobe Research avait déjà donné lieu à de nombreuses publications communes depuis 2009. Ce nouveau projet illustre à la fois l’impact et la reconnaissance des résultats scientifiques de l’institut, créateurs de valeur pour la société et l’économie, avec une visibilité et un soutien forts au niveau international.

L’équipe de recherche GraphDeco (Graphics and Design with Heterogeneous Content )

Malgré d’importants progrès en synthèse d’images, interface Homme-machine et vision par ordinateur, créer, manipuler et afficher du contenu visuel de haute qualité reste réservé à une élite d’experts. Cette difficulté d’accès est grandement due aux fondements théoriques de la synthèse d’images, qui ont été développés pour des contenus virtuels exacts et complets.
L’objectif de GraphDeco est de redéfinir ces fondements pour traiter à la fois les contenus traditionnels et les représentations incomplètes et imprécises capturées ou produites par des utilisateurs novices. En pratique, l’équipe compte explorer deux directions principales de recherche :

• Les principes artistiques qui guident la création de contenu visuel doivent être automatisés pour faciliter les pratiques des professionnels et les rendre accessibles à tous ;
• Il est nécessaire de développer une représentation unifiée et de nouveaux algorithmes capables de traiter les contenus virtuels traditionnels ainsi que les données capturées incomplètes et inexactes.

http://team.inria.fr/graphdeco

Mots-clés : Adobe GraphDeco Réseau de neurones Vidéo Image

Haut de page

Suivez Inria