Comment transformer des trésors historiques difficiles à scanner en modèles de jeux vidéo photoréalistes ?

Un acteur portant une armure de chevalier médiéval est scanné en 3D avec Artec Leo

Lorsqu’il s’agit de transformer des personnes, des objets et des environnements réels en modèles réalistes pour la télévision, le cinéma et les jeux vidéo, la photogrammétrie reste la norme dans l’industrie.

Souvent mis en œuvre sous forme de cabines équipées d’appareils photo, ce processus de création de modèles à partir de photos haute résolution qui se chevauchent permet de recréer avec précision des objets physiques dans le monde virtuel. Cependant, le scan 3D apparaît rapidement comme une alternative plus rapide et plus flexible, avec laquelle les accessoires et les modèles de personnages peuvent être numérisés fidèlement en quelques secondes.

Ces avantages ne sont pas purement théoriques : la technologie est en plein essor dans l’industrie. À ce jour, le scan 3D d’Artec a permis de créer toutes sortes d’objets, des modèles de jeux vidéo militaires haute résolution pour le FPS en ligne World War 3, aux effets visuels d’un réalisme redoutable dans la série télévisée d’épouvante Sleepy Hollow.

Au vu de l’efficacité du scan 3D en tant qu’outil CGI de pointe, nombreux sont ceux qui s’interrogent sur la simplicité d’adoption de cette technologie. Comment les scans peuvent-ils être transformés en effets visuels ? L’expert Artec Mikhail Shumikhin est là pour vous guider pas à pas tout au long du processus et vous expliquer comment optimiser les résultats.

Numérisation d’un chevalier en armure étincelante

Dans tous les jeux vidéo, qu’il s’agisse de Dark Souls, de Dragon Age ou de nombreux autres titres phares, les armures de chevalier sont devenues monnaie courante, une tendance vestimentaire que les développeurs ne semblent pas vouloir abandonner.

C'est la raison pour laquelle Mikhail Shumikhin a choisi l’armure pour sa démo de scan 3D. En l’empruntant au musée d’histoire vivante Medieval Kotor, où conservateurs et acteurs préservent l’histoire du pays en restaurant et en jouant en costumes d’époque, il voulait montrer comment le scan 3D peut détecter même les surfaces les plus complexes grâce à un cas d’utilisation pertinent pour l’industrie.

Un chevalier est minutieusement numérisé par un appareil photo haute résolution traditionnel via une série de photos, comme cela serait nécessaire pour réaliser une photogrammétrie.

Après avoir identifié un costume à capturer et convaincu un collègue de servir de modèle de personnage, Mikhail Shumikhin a commencé son travail de scan 3D à l’aide d’Artec Leo. Grâce à une vitesse de scan de 35 millions de points/s, Leo peut numériser des objets et des personnes en entier en quelques secondes. Ceci, ajouté à la nature sans fil de l’appareil, a rendu la numérisation rapide et simple.

Afin de tenir compte des micro-mouvements lors de la numérisation des acteurs, Mikhail Shumikhin conseille de diviser le scan en sections. Dans le cadre de son projet d’armure, il explique que cela lui a permis de « mieux contrôler la qualité et d’éviter les artefacts causés par les légers mouvements ».

Piloté par l’IA, le mode HD (fonction accessible aux utilisateurs de Leo et de l’Artec Eva) a également permis de maximiser la résolution et de minimiser les données perdues à cause de la brillance.

« La reconstruction HD est un outil extrêmement utile, explique M. Shumikhin. Elle permet d’augmenter la quantité de données accumulables, et d’en collecter 2, 4, voire 8 fois plus. Avec Leo, il est également possible d'interrompre le scan, de se déplacer de l'autre côté de l'objet et de reprendre.

Le plus gros avantage de nos scanners 3D est leur mobilité et la qualité de la capture des textures et des géométries. Ils sont facilement transportables partout dans le monde pour scanner des objets en haute résolution. »

Nettoyage de maillage sur Artec Studio

Lors du processus de nettoyage et de préparation des scans pour l’exportation, les efforts de Mikhail Shumikhin ont été décuplés par les outils avancés inclus dans Artec Studio. Il affirme notamment que la simplicité de l’algorithme d’enregistrement global du logiciel de capture et de traitement des données en fait un moyen convivial et rapide de corriger les erreurs et de créer un maillage d’une qualité exceptionnelle à partir des images capturées.

Quelques-unes des surfaces brillantes de l’armure capturées dans le modèle 3D de Mikhail Shumikhin

Concernant l’optimisation de la résolution lors de la fusion de scans, Mikhail Shumikhin a un conseil à donner à ceux qui souhaitent reproduire son workflow. Pour des résultats optimaux, il suggère de régler la résolution de fusion à 0,5 mm, et pas forcément à 0,1 mm comme le font Eva et Leo.

Il ajoute également que l’outil de remplissage de trous d’Artec Studio est extrêmement efficace pour combler les lacunes du maillage, là où les reflets ont empêché la capture complète des données, et qu’il n’a pas non plus utilisé la photo-texturation, une fonction qui peut améliorer encore davantage la résolution.

« Artec Studio possède un algorithme très intéressant pour la photo-texturation et l’enregistrement, explique Mikhail Shumikhin. Il permet d’obtenir des modèles extrêmement détaillés. Dans ce projet, les textures capturées avec Leo étaient d’une telle qualité que je n’ai pas eu besoin de l’utiliser, mais la photo-texturation serait très utile pour beaucoup d’autres. »

Du maillage au modèle

Après avoir nettoyé son maillage, Mikhail Shumikhin l’a envoyé à plusieurs programmes pour créer des textures, effectuer le rendu et résoudre un autre problème de modélisation commun aux images de synthèse : la symétrie. Selon lui, il s’agit là d’une « règle fondamentale » pour que les modèles soient prêts à être utilisés dans les jeux vidéo.

Comme il est pratiquement impossible que les acteurs se tiennent exactement de la même manière, il explique que les maillages doivent être égalisés numériquement à l’aide d’un logiciel d’édition. Pour cela, il recommande d’exporter les maillages vers des plateformes telles que ZBrush, où les côtés gauche et droit peuvent être mis en miroir et utilisés comme « guides » pour les rendre plus symétriques.

Ensuite, Mikhail Shumikhin a exporté son modèle vers Maya pour créer une géométrie à faible polygone et profiter des outils de disposition des UV du logiciel (pour le mappage des textures), avant de l’envoyer vers Marmoset Toolbag et Substance 3D Painter.

Le modèle d’armure du chevalier monténégrin est rendu et préparé pour l’animation.

Avec Toolbag, l’expert d’Artec a ensuite réalisé le rendu de son modèle et perfectionné son éclairage,  avant d’effectuer le baking des textures. Cependant, même si la configuration standard du baking des textures est suffisante pour la plupart des modèles, il conseille de les réduire à 4K au préalable afin de minimiser la taille des fichiers. Après avoir nettoyé les textures dans Substance pour la « stylisation », il a renvoyé le modèle dans Maya pour ajouter des cheveux réalistes à son personnage via le plugin Ornatrix du logiciel.

Enfin, une fois la texturation terminée, il lui suffisait d’utiliser les outils de création automatique de squelettes et de « skinning » de Maya pour préparer le modèle à l’animation ou au rigging.  La communauté des personnes travaillant sur Maya étant immense, il ajoute que c’est l’endroit idéal pour « trouver des réponses à des questions fréquentes et obtenir des conseils » sur le trucage et d’autres aspects du processus.

Scan 3D : l'avenir de la CGI ?

Étant parvenu à transformer un acteur et une armure médiévale en un personnage costumé entièrement animé, Mikhail Shumikhin pense que son processus de numérisation 3D peut désormais être exploité et utilisé par d'autres, et pas seulement par l'industrie de la CGI.

Modèle final de l’armure du chevalier de Mikhail Shumikhin (avec les modèles d’épée et de bouclier conçus précédemment)

S’il est expert en numérisation, il affirme que son rôle « ne nécessite pas de vastes compétences » dans le domaine de la modélisation de jeux vidéo.  Au contraire, il affirme que son « enthousiasme intérieur et son désir de perfectionnement l’obligent à faire de grandes découvertes et à persévérer dans le domaine de la 3D. »

C’est pourquoi il encourage aujourd’hui les futurs artistes 3D à suivre ses traces et à « chercher des solutions et de nouvelles astuces à mettre en œuvre », tout en utilisant le scan pour développer leurs propres modèles.

« Tout ce que nous voyons dans le monde moderne peut être recréé sous forme de modèle 3D. Ainsi, les scanners 3D forment un pont entre deux mondes : le réel et le virtuel, conclut Mikhail Shumikhin. Les studios de jeux, les sociétés cinématographiques et l’industrie de la RV ne cessent d’avoir besoin d’un contenu RV de haute qualité, qui peut être offert par les scanners 3D d’Artec et Artec Studio.

Le scan 3D a déjà trouvé son créneau : la création d’accessoires, d’environnements, d’armures, de véhicules, de personnages et d’acteurs très réalistes. »