La 3D haute définition mise à portée de main – Tamy Boubekeur, Télécom Paris

C’est un vieux rêve en passe de devenir une réalité : les premières « caméras 3D », où l’on ajuste le point de vue longtemps après avoir fait la prise, sortent enfin des laboratoires. Les attentes sont énormes chez les professionnels du cinéma, de la conception assistée par ordinateur ou encore des jeux vidéo. Mais tout n’est pas résolu : les données obtenues sont si riches qu’il est impossible de les exploiter directement dans les applications. Pour résoudre le problème, des équipes de l’IMT, parmi lesquelles le groupe Computer Graphics de Télécom Paris dirigé par Tamy Boubekeur, travaillent sur cette thématique. Ces chercheurs développent des outils novateurs, capables de transformer le matériau brut pour obtenir de nouveaux types de médias.

Télécharger l’article au format PDF

La capture 3D haute definition

La création d’images à partir de modèles 3D a beaucoup évolué depuis les années 80. L’objectif était à l’époque le photoréalisme, afin que les images synthétiques soient indifférenciables de photos. « Aujourd’hui c’est possible !… À partir du moment où l’on s’en donne le temps de calcul et les moyens », explique Tamy Boubekeur. Récemment encore, la création de modèles 3D sous-jacente demeurait plutôt artisanale. Une simple voiture pouvait demander des mois de travail, car des armées d’infographistes devaient concevoir minutieusement tous les modèles numériques, morceau par morceau, ainsi que leur mouvement.

La capture 3D change cette donne. Elle est déjà plébiscitée depuis le début des années 2000 par les archéologues ou les urbanistes par exemple qui, comme l’explique Tamy Boubekeur, « photographient » en un instant le modèle en trois dimensions d’un objet fragile, ou d’une scène extérieure complexe, comme un accident de la circulation. « Ils peuvent alors l’étudier, la modifier, l’examiner à volonté tandis que l’original est protégé dans un musée ou que la voie publique reste dégagée. »

Plus récemment, les chercheurs en informatique graphique se sont attaqués au défi de la saisie « dynamique ». Car la numérisation d’une statue immobile diffère beaucoup de celle d’un tennisman en action. « Il y a eu un bond en avant, la saisie est passée de 40 points, localisés à l’aide de marqueurs dans la motion capture, à plusieurs millions avec les méthodes actuelles de performance capture, qui exploitent de nombreuses avancées récentes en vision et reconstruction 3D, sans contact ni marqueur. Des mouvements subtils sont détectés, jusqu’aux plis mêmes du tissu sur un t-shirt ! » Et il n’est plus désormais nécessaire de réserver toute une matinée une salle dédiée pour chaque enregistrement ; les séances peuvent être improvisées. Tout devient plus précis et plus facile. Il existe un immense champ de nouvelles applications, notamment mobiles, qui émerge.

La prouesse ne tient pas seulement aux appareils utilisés, « une simple webcam peut suffire », mais bien aux progrès réalisés ces dernières années en algorithmique 3D. Alors que l’attention du public se porte trop souvent sur les progrès du matériel, ce sont les améliorations des modèles informatiques de formes et de mouvements numériques qui rendent avant tout possibles ces nouvelles prouesses. « D’ailleurs, cela passe par beaucoup de mathématiques ! » fait remarquer Tamy Boubekeur. Les thèmes de l’informatique graphique et de la vision par ordinateur se rapprochent pour donner progressivement naissance à une science du calcul pour les applications « visuelles » basée sur les données géométriques numériques : la géométrie visuelle.

Une avalanche de points

Mais l’extrême puissance de ces nouvelles technologies de capture a ses revers. Ils sont même très nombreux ! Lorsqu’un infographiste conçoit un modèle numérique, sa définition est certes limitée, mais le résultat est organisé et peut être contrôlé. Tamy Boubekeur souligne que « les données produites par les captures sont extrêmement denses. Elles n’ont aucune structure explicite ! » Elles occupent alors un espace mémoire énorme et surtout elles rendent impossibles toute modification et toute réutilisation dans de véritables logiciels. « Pour les animations par exemple, on peut seulement rejouer le film à l’identique. » Or, dans les applications industrielles, il faut par exemple être capable d’appliquer l’animation d’un acteur réel à un personnage de jeu vidéo, ou bien de simplifier une rue de Paris pour la diffuser dans une plateforme mobile.

Tamy Boubekeur a donc lancé plusieurs projets avec son équipe pour rendre ces données manipulables. L’un d’eux s’occupe des animations et a abouti à CageR, un système capable d’enfermer l’animation 3D numérisée dans une « cage » pour la rendre manipulable. « On peut voir les cages comme une évolution des squelettes qui permettaient de manipuler les anciens modèles 3D. Sauf qu’elles ajoutent un contrôle naturel du volume. » La taille des données est également réduite à une fraction des données originales. Les données capturées peuvent ainsi enfin être modifiées pour être adaptées à un but précis, comme un effet spécial de cinéma.

Le système CageR pour le contrôle de données 3D animées. Données fournies par l’Institut Max-Planck (Allemagne).

Avec un tel niveau de détail à disposition, il devient difficile pour un opérateur humain d’utiliser ces modèles numériques. L’équipe de Tamy Boubekeur travaille donc également sur des outils de modélisation intelligents : « certains outils étaient très demandés, mais personne n’avait encore réussi à les réaliser. Par exemple, nous avons créé un équivalent 3D au tampon “copier-coller” des logiciels de retouche d’image : il prélève le relief d’un objet et l’applique à la surface d’un autre. » Tamy Boubekeur en fait la démonstration sur un modèle numérique de lézard à la peau lisse : en échantillonnant sur son écran la surface craquelée d’une balle, il peut l’appliquer au lézard en temps réel.

Vers une 3D instantanée

Avec ces progrès, les modèles numériques 3D passent du statut de ressources rares et précieuses à celui d’un flot dont il faudra gérer l’abondance. Pour Tamy Boubekeur, l’internet sera comme une vaste palette de modèles 3D où le créateur pourra piocher à volonté. Le dernier défi à relever sera donc celui de la recherche dans ce flot. « La capture 3D va devenir quelque chose de très facile, de permanent, comme l’est la photographie numérique aujourd’hui. Il sera impossible d’étiqueter à la main tous les modèles 3D, pour dire que l’un est une pelle, l’autre un arbre. » Une de ses équipes travaille donc à un outil de reconnaissance de forme : il suffit de lui soumettre un croquis réalisé à main levée pour qu’il trouve, dans sa base de données, des modèles numériques correspondants ! « Nous pouvons déjà meubler et remplir des salles en 3D en quelques minutes. »

Exploités à son maximum, tous ces algorithmes de « géométrie visuelle » ouvrent des possibilités immenses : « à l’avenir, on peut imaginer que des jeux vidéo se déroulent dons le décor de villes comme Paris, le vrai Paris capturé en temps réel par satellite, au moment du jeu ! » Pour Tamy Boubekeur, cette nouvelle puissance ne complexifie pas le travail des créateurs, au contraire : « Numérisation 3D et conception assistée par ordinateur ne sont pas incompatibles, explique-t-il, il faut tirer le meilleur des deux, en rendant la conception 3D la plus naturelle possible et en laissant l’opérateur humain se concentrer sur ce qu’il sait faire de mieux : être créatif ! L’infographiste devient un peintre dont la géométrie numérisée est la palette et l’ordinateur, le pinceau.»

Chercher et trouver des modèles numériques 3D avec un simple dessin

Tamy Boubekeur pilote une équipe informatique graphique 3D au sein du LTCI (Laboratoire Traitement et Communication de l’Information), l’unité mixte de recherche du CNRS et de Télécom Paris. Ce qui ne veut pas dire que les chercheurs modélisent des objets en 3D, au contraire! Comme Tamy Boubekeur le dit lui-même :  « Je me suis vite rendu compte que  je trouvais plus intéressant de créer les outils qui servent à modéliser  que de modéliser moi-même! ». Après une thèse sur la modélisation et le rendu 3D à l’INRIA Bordeaux Sud -Ouest  en 2007, il obtient son HDR (habilitation à diriger les recherches) en 2012 à l’université Paris Sud. Après avoir été chercheur associé à la Technische Universität Berlin, il monte en 2008 le groupe Computer Graphics à Télécom Paris. « Etre recruté dans une entité dans laquelle ma thématique était absente constituait une opportunité pour moi. A présent l’école fournit un vivier d’étudiants capables de mêler information, mathématiques et physique et donc parfaitement adaptés à mon thème ».  En 4 ans, son groupe s’est fait un nom dans le domaine et a désormais des partenariats avec de grandes entreprises comme Dassault Systèmes, Disney Research, Ubisoft ou Orange Labs.