RR-4098 : Image-Based Rendering from a Single Image

Abstract : In this report, we present a new method to recover an approximation of the bidirectional reflectance distribution function (BRDF) of the surfaces present in a real scene. This is done from a single photograph and a 3D geometric model of the scene. The result is a full model of the reflectance properties of all surfaces, which can be rendered under novel illumination conditions, with, for example, viewpoint modification and the addition of new synthetic objects. Our technique produces a reflectance model using a small number of parameters. Using a new hierarchical algorithm assumptions are done for each surface about their BRDF, which becomes more and more complex during the rerendering iterations. We treat each type of BRDF separately, applying a specific algorithm to take into account its own characteristics and its parameters. The number of parameters varies with the complexity of the model.
When an approximation of the BRDF of all surfaces has been found, high quality rerenderings are produced using a global illumination software. We present several synthetic images that are compared to the original ones, as well as some possible applications in augmented reality.

Résumé : Dans ce rapport de recherche, nous présentons une nouvelle méthode pour la reconstruction d'une approximation de la fonction de distribution de réflexion bidirectionnelle (BRDF). Les données nécessaires à une telle reconstruction sont décrites par une seule photographie de la scène et un modèle géométrique 3D de cette scène. Le résultat produit est un modèle complet des propriétés de réflexion de toutes les surfaces, incluant la possibilité de recalculer une nouvelle image synthétique, soit sous les conditions initiales, soit sous de nouvelles conditions (nouvel éclairement, nouveau point de vue, ajout/ablation d'objets, etc.). Notre technique emploie un modèle de BRDF simple, basé sur cinq paramètres au maximum, pour calculer les réflectances des objets, qui deviennent de plus en plus complexes au fur et à mesure des itérations de rendu inverse. Chaque type de surface extraite de l'image réelle est donc traitée séparément, en appliquant un algorithme spécifique pour leur calculer des propriétés de réflectance. Le nombre de paramètres de réflectance varie avec la complexit- é de la BRDF choisie pour une surface.
Lorsqu'une approximation de la BRDF de chaque surface de la scène a été trouvée, il est possible de calculer une nouvelle image synthétique en utilisant un logiciel d'illumination globale. Nous présentons ici plusieurs images synthétiques qui sont directement comparées aux images réelles, ainsi que des possibilités d'applications dans le domaine de la réalite augmentée.

RR-4098 - Image-Based Rendering from a Single Image