Photogrammetrie für Spiele
In den letzten zehn Jahren haben sich Charaktermodelle und Umgebungen in Videospielen sprunghaft weiterentwickelt, und das nicht nur aufgrund sich immer weiter verbessender Hardware für Spielkonsolen, sondern auch durch die Einführung von Digitalisierungsverfahren wie der Photogrammetrie. Mit dieser Technologie ist es nun möglich, fotorealistische Welten zu schaffen, die einer wachsenden Zahl von Spielern auf der ganzen Welt ein noch nie dagewesenes Maß an Immersion bieten. Diejenigen, die mit der Photogrammetrie bereits vertraut sind, wissen, dass bei diesem Verfahren verschiedene Bilder eines Zielobjekts gesammelt und in 3D-Modelle mit einer beeindruckend hohen Texturqualität umgewandelt werden, die. Aber wie genau wird dieses Verfahren in der Spieleindustrie eingesetzt? Im folgenden Artikel beleuchten wir das Thema, angefangen bei den Arbeitsschritten bis hin zu den Möglichkeiten, wenn 3D-Scans verwendet werden.
Einführung
Ein Videospiel, das auf einem Smartphone gespielt wird
Bevor wir zu Anwendungen kommen, fragen Sie sich vielleicht:Was ist Photogrammetrie?
Kurz gesagt beinhaltet dieses Verfahren das Aufnehmen überlappender Bilder eines Zielobjekts aus mehreren Winkeln. Indem Sie jeweils dieselben Punkte in diesen Bildern identifizieren und eine konsistente Kamerapositionierung, Brennweite und Verzerrung sicherstellen, können Sie Koordinaten erhalten, triangulieren, wo sie in einem 3D-Raum liegen, und sie als 3D-Modelle replizieren.
In der Welt der Videospiele wird Photogrammetrie zunehmend verwendet, um reale Requisiten, Orte und sogar die Gesichter von Schauspielern zu erfassen und in Spiele einzufügen. Mit der Technologie sind Entwickler jetzt nicht nur in der Lage, Welten mit fotorealistischer Grafik zu bauen, sondern sie können dies auch in einem Bruchteil der Zeit tun, die sonst für die manuelle Erstellung benötigt würde.
Bevor sie sich der Photogrammetrie zuwandten, mussten Grafiker bei der Erstellung sogenannter 3D-Assets oft bei Null anfangen, was sie oft dazu zwang, Kompromisse einzugehen, wenn sie die Ästhetik eines Spiels gegenüber Gameplay und Durchlaufzeiten abwägten.
Herkömmliche „White-Box“-Designmethoden, bei denen die Codierung kontinuierlich getestet werden musste, während sich ein Spiel um sie herum entwickelte, ließen ebenfalls Zweifel aufkommen, da die Systeme erst vollständig bewertet werden konnten, wenn das Projekt schon weit fortgeschritten war. Im Gegensatz dazu können Studios mithilfe der Photogrammetrie nun Modelle erfassen und hochladen, um im bereits Voraus umfassende „Kits“ zu erstellen. Dies hilft Entwicklern, besser vorbereitet zu sein und termingerecht zu liefern.
Im weiteren Verlauf dieses Artikels werden wir die einzelnen Workflow-Schritte aufschlüsseln, die einige Entwickler integrieren, um das gewünschte Resultat zu ermöglichen. Wir werden uns auch mit den verschiedenen Technologien befassen, die zur Durchführung dieser Schritte eingesetzt werden können, und schließlich die potenziellen Vorteile jedes Ansatzes bewerten.
Wie wird Photogrammetrie in Videospielen verwendet?
Da hohe grafische Genauigkeit und kurze Startzyklen der Schlüssel zum Erfolg in der modernen Gaming-Branche sind, liegen die Vorteile der Photogrammetrie auf der Hand. Und nicht umsonst hat sich die Technologie schnell zum Branchenstandard entwickelt. Aber wie funktioniert der ganze Ablauf in der Praxis?
Wie bei jeder anderen Photogrammetrie-Anwendung beginnt die Arbeit damit, dass ein Objekt aus verschiedenen Winkeln in einem linearen, matrixartigen Muster aufgenommen wird, wobei jedes Foto das nächste überlappt. Bei der Aufnahme größerer Objekte können Entwickler mit 360°-Weitwinkelaufnahmen beginnen, bevor sie sich annähern, um feine Details zu erfassen. Doch im Allgemeinen es ist einfacher, Geräte mit großer Reichweite zu verwenden, da sie für diese Art von Anwendung besser geeignet sind.
Photogrammetrie wird in der Videospielindustrie eingesetzt. Bildquelle: smns-games.com
Allerdings ist dies leichter gesagt als getan, und die Spielstudios müssen eine Reihe von Fallstricken vermeiden, um sicherzustellen, dass sie vollständige Modelle mit der richtigen Form und den richtigen Proportionen erhalten. Zunächst einmal müssen die Entwickler die Ausrüstung berücksichtigen, die sie verwenden wollen. Wenn sie eine hochauflösende Kamera verwenden, müssen sie darauf achten, dass sich die Fotos überschneiden.
Bei Verwendung eines LiDAR-Geräts (Light Detection and Ranging) müssen sie auch das Grundmaterial eines Objekts berücksichtigen. Wenn dieses Material beispielsweise retroreflektierend ist, wird das Licht wahrscheinlich mit minimalem Signalverlust zum Empfänger des Scanners zurückgeworfen. Ist das Objekt hingegen glänzend oder undurchsichtig, wird es schwieriger zu digitalisieren sein.
Schlüsselpunkt
Die Photogrammetrie, die seit langem im Vermessungswesen zur Erstellung topografischer Karten eingesetzt wird, erweist sich nun als nützliches Werkzeug für Videospielentwickler, die 3D-Umgebungen erstellen.
Sobald die Entwickler diese Probleme angegangen sind und eine Reihe von sich vollständig überschneidenden Maßen erfasst haben, müssen sie diese mit einem Programm wie Adobe Photoshop bearbeiten. Auf diese Weise können Aspekte wie Beleuchtung und Schatten optimiert werden, damit die Endmodelle dem Ton des Spiels, für das sie entworfen wurden, entsprechen. Nach der Farbkorrektur werden die Modelle oft in Programme wie RealityCapture exportiert, wo die Bilder in eine Punktwolke ausgerichtet und in ein texturiertes 3D-Polygonnetz umgewandelt werden können.
Die ursprünglichen Modelle können später „retopologisiert“ werden. Hierbei handelt es sich um einen Prozess, bei dem die Polygonanzahl der Modelle reduziert wird, damit sie im Spiel leichter gerendert werden können. Sobald die in diesen 3D-Meshes gespeicherten Informationen in Texturdateien gebacken sind, können ihre Oberflächen auf verschiedene Weise bearbeitet werden, um sie realistischer erscheinen zu lassen.
Sie können sie etwa mit „Masken“, die visuelle Effekte wie Schatten und Abnutzung hinzufügen, kombinieren und sogar Verfahren oder Texturkarten verwenden, um Objektgeometrien besser zu simulieren, bevor sie in gängige Spiel-Engines wie Unreal Engine exportiert werden.
Beispiele für Photogrammetrie in Videospielen
Die Photogrammetrie selbst ist eine sich entwickelnde, aber nicht mehr ganz neue Technologie. Das Verfahren wird schon seit langem in Bereichen wie Qualitätskontrolle und Vermessung eingesetzt, hat aber erst in jüngster Zeit in der Spielebranche an Bedeutung gewonnen. Eines der ersten großen Studios, das Photogrammetrie wirklich einsetzte, war DICE, ein schwedischer Entwickler, der 2015 mit dem Neustart der äußerst beliebten Star Wars: Battlefront-Reihe beauftragt wurde.
Angesichts eines engen Zeitplans für die Veröffentlichung, der Forderung nach einem Gameplay mit 60 FPS und der Notwendigkeit, sich mit einer neuen Konsolengeneration zurechtzufinden, mangelte es DICE nicht an Herausforderungen, als die Produktion begann. Dennoch wollte das Studio eine Welt erschaffen, die dem Ausgangsmaterial treu bleibt. Um dies zu erreichen, stöberte der Entwickler in den Archiven nach Requisiten aus den originalen Star Wars-Filmen, bevor er sie mit Hilfe von Photogrammetrie in 3D modellierte.
Videospielcharaktere aus Star Wars Battlefront von DICE. Bildquelle: battlefront.fandom.com
Mit diesem Ansatz konnte DICE die Zeit, die für die Digitalisierung der einzelnen Elemente benötigt wurde, im Vergleich zum Vorgängertitel Battlefield 4 mehr als halbieren. Darüber hinaus konnte das Studio „Level Construction Kits“ entwickeln, die aus Star Wars-Requisiten, Charaktermodellen und Landschaften bestanden und die Grundlage für das endgültige Spiel bildeten. DICE stellte schließlich fest, dass sein Ansatz es ihm ermöglichte, lange vor der Veröffentlichungstermin einen bewährten Arbeitsablauf zu etablieren, was es ihm ermöglichte, die internen Fristen zu übertreffen.
Seit dem Bekanntwerden der Pionierarbeit des Entwicklers wurden andere Blockbuster-Videospiele auf ähnliche Weise entwickelt. Für die Neuauflage der Call of Duty-Franchise Modern Warfare im Jahr 2019 entdeckte Infinity Ward, dass es Daten aus der Photogrammerie nutzen konnte, um einen Kachelungsprozess durchzuführen, der die Auflösung der Oberflächendetails verbesserte.
Schlüsselpunkt
Die Photogrammetrie wird nicht nur für die Erstellung weitläufiger 3D-Umgebungen verwendet, sondern auch für viele ihrer Bestandteile, einschließlich Requisiten, Laub und Charaktermodelle.
Im Verlauf der Entwicklung des Titels experimentierte das Studio weiter. In einigen Fällen wurden Teammitglieder als Grundlage für Leichenmodelle gescannt, und es wurden sogar per Drohne geflogene Scanner eingesetzt, um größere Umgebungen zu erfassen. Da die Photogrammetrie schließlich die schnelle Erstellung von Requisiten-, Kulissen-, Waffen-, Fahrzeug- und Charaktermodellen ermöglichte, zeigte das Projekt, wie weit die Anwendungsmöglichkeiten dieser Technologie für Videospiele bereits fortgeschritten sind.
Photogrammetrie-Software für Videospiele
RealityCapturewurde bereits erwähnt, doch es ist nicht die einzige Photogrammetrie-Software, mit der Sie 3D-Modelle für Videospiele mit hoher Genauigkeit erstellen können. Der branchenführende Spieleentwickler Electronic Arts (EA) ist beispielsweise dafür bekannt, dass erPhotoModelerverwendet. Mithilfe der Idealize-Funktion dieser Software ist es möglich, Linsenverzerrungen während der Bearbeitung zu entfernen. Dies soll es wesentlich einfacher machen, scharfe Hintergründe für Spiele und Animationen, die besser zum Ausgangsmaterial passen, zu erstellen.
Das Programm verfügt auch über einen automatischen Algorithmus zur Erzeugung von Punktwolken. Dies ermöglicht Modelle mit hochpräzisen Texturen, die in das weit verbreitete CAD-Format exportiert werden können. Allerdings ist das Programm nicht ausschließlich für die Photogrammetrie konzipiert. Daher verfügt die Software auch nicht über den automatisierten Foto-zu-Volumen-Workflow, den die Konkurrenz bietet.
Photogrammetrie eines Automobils in RealityCapture
Für diejenigen, die Programme für die Digitalisierung von atemberaubenden Landschaften suchen, bietet sichUnity SpeedTreean. Diese Software nutzt alles von 3D-Kunstwerkzeugen bis hin zu prozeduralen Generierungsalgorithmen, um Pflanzenwelten originalgetreu nachzubilden. Es ist daher nicht verwunderlich, dass sie von bekannten Spieleherstellern wie Bungie und Ubisoft genutzt wurde.
Ebenso interessant istAgisoft Metashape, eine Software zur Bearbeitung von 3D-Modellen, die in der Lage ist, aufwendige, sowohl aus der Nähe als auch aus der Entfernung aufgenommene, Bilddaten zu verarbeiten. Diese Software wird zwar eher in der Forschung, im Vermessungs- und im Verteidigungswesen eingesetzt als bei der Entwicklung von Videospielen, doch machen die automatische Kalibrierungsfunktion und die Unterstützung mehrerer Kameras das Programm zu einer attraktiven Option für alle, die komplexe Objekte digitalisieren oder große 3D-Umgebungen erstellen.
Jedoch gibt es bei der Verwendung aktueller Photogrammetrie-Prorgramme einige Nachteile. Viele werden in Stufen vermarktet, was bedeutet, dass die Nutzer in einigen Fällen ein Upgrade vornehmen müssen, um Zugang zu bestimmten Funktionen zu erhalten. In anderen Fällen kann es sein, dass den Programmen Funktionen ganz fehlen. Dies erhöht die Einstiegshürde für Neueinsteiger, da sie wissen müssen, welche Zusatzpakete sie für ein bestimmtes Projekt benötigen.
Photogrammetrie eines Mancubus, eines Monsters aus der klassischen Videospielreihe Doom
Wenn Sie auf der Suche nach einer breiter ausgestatteten, leichter zugänglichen Software sind, istArtec Studiovon Artec 3D interessant. Dieses Programm wird häufig zur Verarbeitung der von 3D-Scannern erfassten Daten verwendet, und die neueste Version, Artec Studio 17, bietet eine Reihe nützlicher Funktionen zur Optimierung der Qualität der entstehenden 3D-Modelle.
Die Autopilot-Funktionalität des Programms macht es Neueinsteigern besonders leicht, da es ihnen direkt anbietet, nach ein paar Checkbox-Eingaben den jeweils effektivsten Datenverarbeitungsalgorithmus auszuwählen. Der Fotoregistrierungs-Algorithmus von Artec Studio ermöglicht es dem Nutzer außerdem, die Farbklarheit des Modells zu verbessern, indem er Texturen auf hochauflösende Fotos anwendet.
Schlüsselpunkt
Software ist für den Aufbau von 3D-Welten von entscheidender Bedeutung, und die Wahl des Programms bestimmt oft die Art und Weise, wie aufgenommene Bilder zusammengestellt und im Spiel präsentiert werden können.
Mit dem Algorithmus zur Maßstabsanpassung der Plattform können Benutzer einen beliebigen Maßstab von 3D-Modellen mit dem eines Zielobjekts abgleichen, und das auf der Grundlage lediglich einer Handvoll wichtiger geometrischer Merkmale. Dies kann besonders praktisch sein, wenn es darum geht, Texturen auf Photogrammetriemodelle, die ohne Referenzen erstellt wurden, nicht dem Maßstab entsprechen oder besonders detaillierte Oberflächen haben, zu übertragen.
In Verbindung mit der Hardware von Artec 3D vereinfachen solche Funktionen den Prozess der Erfassung und Umwandlung von Daten in genaue Modelle, sei es für Inspektionen und Reverse Engineering oder für die Entwicklung von Videospielen, Animationen und CGI.
3D-Scannen als Alternative
Photogrammetrie konnte sich zwar als geeignetes Werkzeug für die Modellierung von Videospielen erwiesen, hat aber auch ihre Grenzen. Die Genauigkeit der resultierenden 3D-Assets hängt von der Auflösung der Kameras, die zum Fotografieren des Zielobjekts verwendet werden, ab. Unbeständiges Wetter sowie Kalibrierungs-, Winkel- und Redundanzprobleme können zur Erstellung von undetaillierten Modellen führen. Darüber hinaus sind die Erfassung und Kombination sich überschneidender Bilder natürlich zeitaufwändig. All diese Hindernisse werfen die Frage auf: Gibt es vielleicht eine effizientere Methode zur 3D-Modellierung?
World War 3: Spätes Stadium der Charakterentwicklung nach dem Scannen mit Artec Leo und Space Spider, wobei Glock 17 Pistole mit Artec Space Spider und die Gesichter Artec Leo gescannt wurden
Wer den Prozess der Erstellung von 3D-Modellen für Videospiele beschleunigen möchte, sollte den Einsatz von 3D-Scans in Betracht ziehen. Mit beeindruckenden Scangeschwindigkeiten von bis zu 40 Bildern pro Sekunde (im registrierungsfreien Modus) bieten hochmoderne Geräte wie derArtec LeoPhotogrammetrie-Anwendern eine Möglichkeit, ihren Arbeitsablauf zu beschleunigen.
Das Studio The Farm 51 konnte genau dies bereits erreichen. Durch die Kombination des Leo mit einem anderen 3D-Scanner,Artec Space Spider, konnte das Entwicklerstudio unglaublich realistische Modelle fürdas Videospiel World War 3erstellen. Die Umstellung von der Photogrammetrie, die bei der Entwicklung früherer Titel verwendet worden war, ermöglichte es dem Unternehmen, jedes Charakter-, Fahrzeug- und Waffenmodell für seinen Online-Shooter in nur wenigen Stunden zu erstellen.
Gameplay-Screenshot von World War 3 und ein Scan eines frühen Stadiums der Charakterentwicklung, der gerade mit Artec Leo überprüft wird
Das beliebte Xbox-Videospiel Hellblade verfügt ebenfalls über 3D-Ganzkörpermodelle, die mit Hilfe von Artec 3D-Scans erstellt wurden. Das Spiel wurde mit Hilfe der Motion-Capture-Technologie des zu Microsoft gehörenden Studios Ninja Theory entwickelt und bietet eine atemberaubende Nachbildung der Hauptdarstellerin Melina Jürgens. Dank der beeindruckenden Flexibilität und Genauigkeit von Artec Eva war der Entwickler nicht nur in der Lage, die Figur lebensecht aussehen zu lassen, sondern sie auch mit Haut und Muskeln, die sich wie die einer echten Person bewegen, auszustatten.
Heutzutage ist auch der Maßstab kein Hindernis mehr für die 3D-Modellierung. MitArtec Microkönnen Sie digitale Versionen von winzigen Objekten erstellen, indem Sie komplizierte Details mit einer Auflösung von bis zu 0,029 mm erfassen, bevor Sie sie zur Gestaltung von Spielwelten verwenden. Und am anderen Ende des Spektrums wurdeArtec Raymit seiner großen Reichweite bereits für den3D-Scan eines kompletten Rettungshubschrauberseingesetzt. Wer kann also ausschließen, dass die Technologie eines Tages nicht auch für den Transport großer Fahrzeuge in die virtuelle Welt eingesetzt wird?
Ein 3D-Modell einer MD-902 und der Hubschrauber, der gerade mit Artec Leo 3D-gescannt wird
Sie sind aber vielleicht noch nicht bereit, ganz auf die Photogrammetrie ganz zu verzichten? Das ist kein Problem, denn in manchen Fällen bietetdie Kombination von Photogrammetrie und 3D-Scannendie optimale Lösung. Möglich wird diese durch AS17, das es Anwendern erlaubt, mit High-End-Kameras aufgenommene Bilder und 3D-Scans zusammenzuführen. Die Nutzer können zudem die Fototextur-Funktion der Software nutzen – eine Funktion, welche die Erstellung von Modellen mit genaueren Farberfassungsdaten ermöglicht.
Fazit
Angesichts der oben beschriebenen praktischen Anwendungsfälle ist klar, dass sowohl die Photogrammetrie als auch das 3D-Scannen dazu beitragen, die grafischen Grenzen in der Spieleindustrie zu erweitern. Da jeder Blockbuster, der mit Hilfe von Scanning erstellt wurde, auf leicht unterschiedlichen 3D-Plattformen basiert, gibt es derzeit keine Allzwecklösung, die pauschal zur Erstellung von Modellen für jedes beliebige Videospiel eingesetzt werden kann.
Stattdessen haben die Studios die Wahl zwischen verschiedenen Hardware- und Softwarepaketen, von denen einige speziell für die Spieleentwicklung und andere für ganz verschiedene Anwendungen entwickelt wurden. Bei der Entscheidung zwischen diesen Programmen müssen die Entwickler Faktoren wie die Art der Umgebungen, die sie im Spiel nachbilden wollen, sowie die grafische Genauigkeit, welche die Objekte in ihrer virtuellen Welt haben sollen, berücksichtigen.
Glücklicherweise hat die zunehmende Verbreitung der Photogrammetrie und des 3D-Scannens in der Spielebranche bereits zur Einführung von Produkten geführt, die unterschiedliche Anforderungen erfüllen. Die bewährte Fähigkeit der Technologie, Objekte aller Formen und Größen originalgetreu zu reproduzieren und in virtuelle Welten zu laden, zu optimieren und zu integrieren, macht sie auch für eine schnellere Entwicklung neuer, hochmoderner Spiele attraktiv.
Vor diesem Hintergrund erleben wir gerade eine aufregende Zeit für die Photogrammetrie und das 3D-Scannen in der Videospielindustrie – und es wird interessant sein zu sehen, wie die Technologien in naher Zukunft die Innovation in diesem Bereich weiter vorantreiben werden.
