La photogrammétrie pour les jeux vidéo
Ces dix dernières années, les modèles de personnages et les environnements des jeux vidéo ont progressé à pas de géant, non seulement grâce à l’amélioration des consoles de jeu, mais aussi grâce à l’adoption de procédés de numérisation tels que la photogrammétrie. Cette technologie permet aujourd’hui de créer des mondes photoréalistes qui offrent un niveau d’immersion sans précédent à un nombre croissant de joueurs partout dans le monde. Ceux qui connaissent la photogrammétrie savent qu’elle consiste à rassembler plusieurs images d’un objet cible et à les convertir en modèles 3D dont la qualité des textures est impressionnante. Mais comment ce procédé est-il utilisé précisément dans l’industrie du jeu vidéo ? Dans l’article suivant, nous levons le voile sur le sujet, en abordant tous les aspects, des étapes du workflow à la perspective d’utiliser le scan 3D comme solution de remplacement.
Introduction
Jeu vidéo sur smartphone
Avant que nous ne parlions de ses applications, vous vous demandez peut-être :Qu’est-ce que la photogrammétrie ?
Pour faire court, le procédé consiste à prendre des images superposées d’un objet cible sous plusieurs angles. En identifiant les mêmes points sur ces photographies et en veillant à la cohérence du positionnement de l’appareil photo, de la longueur focale et de la distorsion, il est possible d’obtenir leurs coordonnées, de les trianguler dans un espace 3D et de les reproduire sous forme de modèles 3D.
Dans l’univers du jeu vidéo, la photogrammétrie est de plus en plus utilisée pour capturer et ajouter des accessoires, des lieux et même des visages d'acteurs dans les jeux. La technologie permet aux développeurs de créer des mondes aux graphismes photoréalistes, en un temps record par rapport à la création manuelle.
Avant de se tourner vers la photogrammétrie, les graphistes devaient souvent repartir de zéro pour créer de tels objets en 3D, dans le cadre d’un workflow qui les obligeait à faire des compromis, à trouver un équilibre entre l’esthétique, la jouabilité et les contraintes de délais.
Les méthodes traditionnelles de conception en « boîte blanche », où le codage devait être continuellement testé à mesure que le jeu était développé, étaient également source de doutes, car les systèmes ne pouvaient pas être pleinement évalués avant le lancement du projet. Inversement, grâce à la photogrammétrie, les studios peuvent désormais capturer et télécharger des modèles pour créer des « kits » de monde à l’avance. Cela permet aux développeurs d’être mieux préparer et de livrer dans les délais.
Dans la suite de cet article, nous allons détailler les différentes étapes du workflow des développeurs qui rendent cela possible. Nous nous pencherons également sur les différentes technologies qu’il est possible de déployer pour mener à bien ces étapes, et nous évaluerons les avantages potentiels de chaque approche.
Comment la photogrammétrie est-elle utilisée dans les jeux vidéo ?
La haute fidélité graphique et les cycles de lancement courts étant la clé du succès dans l’industrie moderne des jeux, l’adoption de la photogrammétrie présente des avantages incontestables. Cette technologie est donc en passe de devenir la norme dans l’industrie. Mais comment fonctionne le processus dans la pratique ?
Comme pour n’importe quelle autre application de photogrammétrie, le workflow commence par la capture d’un objet sous différents angles, selon un modèle linéaire et matriciel, chaque photographie se superposant à la suivante. Lors de la capture d’objets de grande taille, les développeurs peuvent choisir de commencer par prendre des photos à 360°, avant de se rapprocher pour saisir les détails les plus fins. Mais il est généralement plus facile d’utiliser des appareils à longue portée, car ils sont mieux adaptés à ce type d’application.
Utilisation de la photogrammétrie dans l’industrie du jeu vidéo. Source de l’image : smns-games.com
Cependant, tout cela est plus facile à dire qu’à faire, et les studios de jeux doivent éviter un certain nombre d’écueils pour obtenir des modèles complets, avec les bonnes formes et les bonnes proportions. Tout d'abord, les développeurs doivent tenir compte de l’équipement qu’ils comptent utiliser. Avec un appareil photo haute résolution, ils devront s’assurer que les clichés se chevauchent.
Toutefois, s'ils utilisent un dispositif de détection et de télémétrie par ondes lumineuses (LiDAR), ils devront également tenir compte du matériau de base de l’objet. S’il s’agit d’un matériau rétroréfléchissant, par exemple, sa surface est susceptible de renvoyer la lumière vers le récepteur du scanner avec une perte de signal minimale. En revanche, si l’objet est brillant ou opaque, il sera plus difficile à numériser.
Une fois que les développeurs ont résolu ces problèmes et capturé un ensemble de photos qui se chevauchent complètement, ils doivent les traiter, en commençant par un programme tel qu’Adobe Photoshop. Cette opération permet de corriger des aspects tels que l’éclairage et les ombres afin que les modèles finaux correspondent aux teintes du jeu qu’ils doivent intégrer. Après correction des couleurs, les modèles sont souvent exportés vers des programmes tels que RealityCapture, où les images peuvent être alignées dans un nuage de points et transformées en un maillage 3D texturé.
Les modèles initiaux peuvent ensuite être soumis à une « retopologie », un processus qui consiste à réduire le nombre de polygones des modèles afin de faciliter leur rendu dans le jeu. Enfin, une fois que les informations stockées dans ces maillages 3D sont intégrées dans les fichiers de texture, leurs surfaces peuvent être modifiées de différentes manières pour les rendre plus réalistes.
Vous pouvez les combiner avec des « masques » qui ajoutent des effets visuels tels que des ombres et des dégradés, et même utiliser des maps de textures procédurales pour mieux simuler la géométrie des objets, avant de les exporter dans des moteurs de jeu populaires tels que Unreal Engine.
Point clé
Utilisée depuis longtemps dans le domaine de l’arpentage pour établir des cartes topographiques, la photogrammétrie est désormais un outil précieux pour les développeurs de jeux vidéo qui créent des environnements en 3D
Exemples de photogrammétrie dans les jeux vidéo
La photogrammétrie à proprement parler est une technologie en pleine évolution, mais pas entièrement nouvelle. Elle est utilisée depuis longtemps dans des domaines tels que le contrôle qualité et l’arpentage, mais ce n’est que récemment qu’elle s’est imposée dans le domaine des jeux vidéo. L’un des premiers grands studios à avoir véritablement adopté la photogrammétrie est DICE, un développeur suédois chargé de relancer la très populaire franchise Star Wars : Battlefront en 2015.
Entre un calendrier de lancement serré, une demande de gameplay à 60 FPS et la nécessité de se familiariser avec une nouvelle génération de consoles, les défis étaient multiples pour DICE au moment d’entamer la production. Néanmoins, le studio souhaitait créer un monde fidèle au film d’origine. Pour y parvenir, le développeur s’est plongé dans les archives afin de retrouver des accessoires des films Star Wars originaux, avant de les modéliser en 3D à l’aide de la photogrammétrie.
Cette méthode a permis à DICE de réduire de plus de 50 % le temps nécessaire à la numérisation de chaque élément par rapport à son titre précédent, Battlefield 4. De plus, le travail du studio a permis de développer des « kits de construction de niveaux » composés d'accessoires, de modèles de personnages et de décors de Star Wars, qui ont constitué la base du jeu final. DICE a également constaté que son approche lui permettait d’établir un workflow bien avant le lancement, ce qui se traduisait par une avance sur les délais internes.
Personnages du jeu vidéo Star Wars Battlefront de DICE Source de l’image : battlefront.fandom.com
Depuis que le travail novateur du développeur a été mis en lumière, d’autres jeux vidéo à succès ont été conçus de la même manière. Pour sa propre relance de la franchise Call of Duty Modern Warfare en 2019, Infinity Ward a découvert qu’il pouvait utiliser les données recueillies par photogrammétrie pour réaliser un processus de « tuilage » qui améliorait la résolution des détails de surface.
Alors que le développement du jeu se poursuivait, le studio a poursuivi ses expériences. Dans certains cas, les membres de l’équipe ont été scannés pour servir de référence aux modèles de cadavres, et ils ont même utilisé des scanners pilotés par des drones pour capturer des environnements plus vastes. La photogrammétrie permettant la création rapide de modèles d’accessoires, de décors, d’armes, de véhicules et de personnages, le projet a montré à quel point les applications de cette technologie dans le domaine des jeux vidéo ont évolué.
Point clé
La photogrammétrie n’est pas seulement utilisée pour construire de vastes environnements 3D, mais aussi de nombreux éléments qui les composent, notamment les accessoires, le feuillage et les modèles de personnages.
Logiciels de photogrammétrie pour jeux vidéo
Plus haut dans et article nous avons mentionnéRealityCapture,mais il ne s'agit pas du seul logiciel de photogrammétrievous permettant de créer des modèles 3D pour les jeux vidéo avec un niveau de précision élevé.Le célèbre développeur de jeux Electronic Arts (EA), par exemple, est connu pour utiliserPhotoModeler.Grâce à la fonctionnalité Idealize du logiciel, il est possible de supprimer les distorsions de la lentille pendant le traitement. Il est ainsi beaucoup plus facile de créer des arrière-plans de jeux et d’animations d’une grande netteté, qui correspondent mieux à leur source.
Le programme comporte également un algorithme de génération automatique de nuages de points, qui permet d’obtenir des modèles aux textures très précises pouvant être exportés dans un format CAO très répandu. Cela dit, le programme n’est pas destiné exclusivement à la photogrammétrie. Par conséquent, le logiciel ne dispose pas du workflow automatisé photo-solide de ses concurrents spécialisés.
Photogrammétrie d’une voiture dans RealityCapture
Pour ceux qui recherchent des programmes conçus pour la numérisation de paysages étonnants, Unity commercialiseSpeedTree.Ce logiciel, qui utilise des outils d’art 3D et des algorithmes de génération procédurale, permet de recréer fidèlement la vie végétale. C’est donc sans surprise qu’il a été choisi par des grands noms du jeu vidéo tels que Bungie et Ubisoft.
De même, Agisoft proposeMetashape, un logiciel d’édition de modèles 3D capable de traiter des données d’images élaborées, capturées de près ou de loin. Bien qu’il soit plus souvent utilisé dans la recherche, l’arpentage et la défense que dans le développement de jeux vidéo, la fonction d’étalonnage automatique du programme et la prise en charge de plusieurs caméras en font une solution attrayante pour ceux qui numérisent des objets complexes ou créent de grands environnements 3D.
Toutefois, l’utilisation des logiciels de photogrammétrie actuels présente quelques inconvénients. Nombre d’entre eux sont commercialisés par paliers, ce qui signifie que dans certains cas, les utilisateurs devront passer à une version supérieure pour accéder à certaines fonctionnalités. Pour d’autres, les programmes peuvent être totalement dépourvus de fonctionnalités. Cela relève la barre pour les nouveaux utilisateurs, car ils doivent savoir de quels logiciels supplémentaires ils auront besoin pour un projet donné.
Photogrammétrie d’un mancubus, un monstre de la série de jeux vidéo Doom
Par ailleurs, si vous recherchez un logiciel plus complet et plus accessible, Artec 3D commercialiseArtec Studio. Le plus souvent, ce programme est utilisé pour traiter les données capturées par les scanners 3D, et la dernière version, Artec Studio 17, offre un certain nombre de fonctionnalités utiles pour optimiser la qualité des modèles 3D obtenus.
La fonctionnalité Autopilot du logiciel facilite plus que jamais la tâche des débutants en leur proposant de choisir l’algorithme de traitement des données le plus efficace, moyennant quelques cases à cocher. L’algorithme d’enregistrement des photos d’Artec Studio permet également aux utilisateurs d’améliorer la clarté des couleurs du modèle en appliquant des textures à l’aide de photographies haute résolution.
De plus, grâce à l’alignement par algorithme d’échelle de la plateforme, les utilisateurs peuvent faire correspondre l'échelle arbitraire des modèles 3D avec celle d'un objet cible, en se basant uniquement sur une poignée de caractéristiques géométriques essentielles. Cela peut s’avérer particulièrement pratique lorsqu’il s'agit de transférer des textures sur des modèles photogrammétriques réalisés sans référence, qui ne correspondent pas à l’échelle ou dont les surfaces sont particulièrement détaillées.
Globalement, associées au matériel Artec 3D, ces fonctionnalités simplifient le processus de capture et de conversion des données en modèles précis, que ce soit pour l’inspection et la rétro-ingénierie, ou pour le développement de jeux vidéo, d’animations et d’images de synthèse.
Point clé
Le logiciel est essentiel à la construction d’un monde en 3D, et le choix du programme détermine souvent la façon dont les images capturées peuvent être rassemblées et présentées dans le jeu.
Le scan 3D en tant que solution alternative
Même si la photogrammétrie se révèle un excellent outil de modélisation pour les jeux vidéo, elle a ses limites. La précision des ressources 3D obtenues dépend de la résolution des appareils photo utilisés pour photographier l’objet cible. Les conditions météorologiques changeantes, les problèmes d’étalonnage, d’angle et de redondance peuvent tous conduire à la création de modèles imprécis. De plus, la capture et la combinaison d’images qui se chevauchent prennent naturellement beaucoup de temps. Ces problèmes soulèvent la question suivante : existe-t-il une méthode de modélisation 3D plus efficace ?
World War 3 : Dernière étape du développement d’un personnage après numérisation avec Artec Leo et Space Spider, pistolet Glock 17 numérisé avec Artec Space Spider, numérisation du visage avec Artec Leo
Ceux qui cherchent à accélérer le processus de création de modèles 3D pour les jeux vidéo pourraient envisager d’adopter le scan 3D. Avec des vitesses de numérisation impressionnantes pouvant atteindre 40 images par seconde (en mode sans enregistrement), des appareils de pointe tel que l’Artec Leooffrent aux utilisateurs de la photogrammétrie la possibilité d'accélérer leur workflow.
C'est ce que le studio The Farm 51 est parvenu à faire par le passé. En associant le Leo à un autre scanner 3D, l’Artec Space Spider, le développeur a pu créer desmodèles du jeu vidéo World War 3incroyablement réalistes. En fait, en abandonnant la photogrammétrie utilisée pour développer ses jeux précédents, l’entreprise a pu générer chaque modèle de personnage, de véhicule et d’arme pour son jeu de tir en ligne en quelques heures seulement.
Le gameplay de World War 3 et un scan de développement de personnage en cours de vérification avec Artec Leo
Le jeu vidéo Hellblade, très populaire sur Xbox, comporte également des modèles 3D du corps entier créés grâce à la numérisation Artec 3D. Développé avec la technologie de capture de mouvement du studio Ninja Theory, propriété de Microsoft, le jeu comporte une réplique de l’actrice principale Melina Juergens qui est à couper le souffle. La flexibilité et la précision impressionnantes de l'Artec Eva ont permis au développeur de donner au personnage une apparence réaliste, mais aussi une peau et des muscles qui bougent comme ceux d’une personne réelle.
Aujourd’hui, l’échelle n’est plus un obstacle à la modélisation 3D. AvecArtec Micro, vous pouvez créer des versions numériques d’objets minuscules, en capturant des détails complexes dans une résolution allant jusqu’à 0,029 mm, avant de les utiliser pour habiller les mondes des jeux. À un autre niveau, l’Artec Rayà longue portée a déjà été utiliser pournumériser en 3D tout un hélicoptère des sauvetage. La technologie ne cesse de trouver de nouvelles applications de modélisation à grande échelle, et qui dit qu’elle ne pourra pas être utilisée pour transporter de tels véhicules dans le monde virtuel ?
Modèle 3D d’un MD-902 et l’hélicoptère en cours de numérisation 3D avec Artec Leo
Pas encore prêt à renoncer totalement à la photogrammétrie ? Pas de problème, dans certains casl'association de la photogrammétrie avec la numérisation 3Dest exactement la solution que vous recherchez. C'est ce que permet l’AS17, qui regroupe des images capturées par des appareils photo haut de gamme et des numérisations 3D. Les utilisateurs peuvent également tirer parti de la fonctionnalité de texturisation photo du logiciel, qui permet de créer des modèles à partir de données de capture de couleurs plus précises.
Conclusion
À la lumière des applications pratiques décrites ci-dessus, il est clair que la photogrammétrie et la numérisation 3D contribuent toutes deux à repousser les limites graphiques dans l’industrie du jeu. Comme chaque superproduction réalisée à l’aide de la numérisation s’est appuyée sur des plateformes 3D légèrement différentes, il n’existe pas actuellement de solution universelle qui puisse être mise en œuvre de manière répétée pour créer des modèles de jeu vidéo.
Au contraire, les studios sont confrontés à un choix de matériels et de logiciels, certains étant conçus spécifiquement pour le développement de jeux, d’autres pour des applications plus étendues. Lorsqu’ils choisissent l’un ou l’autre, les développeurs doivent tenir compte de facteurs tels que le type d’environnement qu’ils souhaitent recréer dans le jeu, ainsi que la fidélité graphique recherchée pour les objets de leur monde virtuel.
Heureusement pour ces créateurs, le recours grandissant à la photogrammétrie et à la numérisation 3D dans les jeux a conduit au lancement de produits qui répondent à des besoins variés. La capacité avérée de cette technologie à reproduire fidèlement des objets de toutes formes et tailles, prêts à être téléchargés, modifiés et intégrés dans des mondes virtuels, la rend également intéressante pour accélérer le développement de nouveaux jeux à la pointe de la technologie.
Dans ce contexte, la photogrammétrie et la numérisation 3D connaissent une période passionnante dans l’industrie du jeu vidéo. Il sera intéressant de voir comment ces technologies continueront à stimuler l’innovation dans ce secteur dans un avenir proche.
