La fotogrammetria per i videogiochi
Nell'ultimo decennio, i modelli dei personaggi e degli ambienti nei videogiochi hanno fatto passi da gigante, non solo grazie ai sempre migliori hardware delle console di gioco ma anche grazie all'adozione di processi di digitalizzazione come la fotogrammetria. Grazie alla tecnologia è ora possibile creare mondi fotorealistici che forniscono un livello di immersione senza precedenti a un sempre più numeroso esercito di giocatori in tutto il mondo. Chiunque abbia dimestichezza con la fotogrammetria sa che è in grado di rilevare varie immagini di un oggetto, trasformandole in modelli 3D che presentano un altissimo livello di qualità della texture. Ma come viene utilizzato esattamente questo processo nel settore dei giochi? Nel seguente articolo portiamo questo argomento sotto i riflettori, spiegando ogni dettaglio, dai passaggi del flusso di lavoro alla prospettiva di utilizzare la scansione 3D come alternativa.
Introduzione
Un videogioco su uno smartphone
Prima di affrontare le sue applicazioni, potresti chiederti:cos'è la fotogrammetria?
In breve, il processo prevede la cattura fotografica di immagini sovrapposte di un oggetto bersaglio da diverse angolazioni. Identificando i punti sovrapposti in queste fotografie e garantendo la coerenza del posizionamento, della lunghezza focale e della distorsione della fotocamera, è possibile ottenere le loro coordinate, triangolare dove si trovano in uno spazio 3D e replicarli come modelli 3D.
Nel mondo dei videogiochi, la fotogrammetria viene sempre più spesso utilizzata per catturare e riprodurre oggetti di scena, luoghi e persino volti di attori. Grazie a questa tecnologia, gli sviluppatori non solo sono in grado di costruire mondi con grafica fotorealistica, ma possono farlo a una velocità inimmaginabile se li creassero manualmente.
Prima di poter sfruttare la fotogrammetria, gli artisti grafici dovevano spesso partire da zero per creare queste risorse 3D, spesso scendendo a compromessi per bilanciare l'estetica con le restrizioni del gameplay e dei tempi di consegna.
I tradizionali metodi di progettazione "white box", in cui la scrittura del codice doveva essere continuamente testata man mano che il gioco si sviluppava attorno ad essa, era di esito incerto: era impossibile valutare i sistemi prima che il progetto iniziasse a prendere forma. Al contrario, utilizzando la fotogrammetria, gli studi di giochi possono ora catturare e caricare modelli per creare dei "world kit" in anticipo. Ciò aiuta gli sviluppatori a essere meglio preparati e a rispettare i tempi previsti.
Nel corso di questo articolo analizzeremo i singoli passaggi del flusso di lavoro che gli sviluppatori intraprendono per rendere tutto questo possibile. Approfondiremo anche le diverse tecnologie che è possibile implementare e valuteremo i potenziali vantaggi di ciascun approccio.
Come viene utilizzata la fotogrammetria nei videogiochi?
Considerando l'elevata fedeltà grafica e i brevi cicli di lancio che stanno alla base del successo nel settore dei videogiochi, i vantaggi dell'adozione della fotogrammetria sono chiari. Per questi motivi, questa tecnologia sta rapidamente diventando lo standard del settore. Ma come funziona in pratica l'intero processo?
Come in una qualsiasi altra applicazione di fotogrammetria, il flusso di lavoro inizia con un oggetto catturato da varie angolazioni, in un modello lineare, simile a una matrice, con ogni fotografia che si sovrappone alla successiva. Gli sviluppatori, quando catturano oggetti di grandi dimensioni, possono iniziare il processo di scansione scattando foto a 360°, prima di avvicinarsi e catturare dettagli più piccoli. Ma è generalmente più facile utilizzare dispositivi a lungo raggio, in quanto sono più adatti a questo tipo di applicazione.
La fotogrammetria utilizzata nell'industria dei videogiochi. Fonte immagine: smns-games.com
Detto questo, raggiungere questi risultati è più facile a dirsi che a farsi, e gli studi di gioco devono affrontare una lunga serie di insidie per assicurarsi di ottenere modelli completi della giusta forma e proporzioni. In primo luogo, gli sviluppatori devono considerare quali attrezzature utilizzare. Se si utilizza una fotocamera ad alta risoluzione sarà necessario assicurarsi che le foto si sovrappongano.
Tuttavia, se si utilizza un dispositivo LiDAR (Light Detection and Ranging), bisognerà anche considerare il materiale dell'oggetto da scansionare. Se questo è retro-riflettente, ad esempio, è probabile che la sua superficie rifletta la luce contro il ricevitore dello scanner con una perdita di segnale minima. D'altro canto, se l'oggetto è lucido o opaco, sarà più complicato digitalizzarlo.
Punto Chiave
Grazie alla sua collaudata efficacia nei rilevamenti per costruire mappe topografiche, la fotogrammetria si sta dimostrando uno strumento utile per gli sviluppatori di videogiochi che creano ambienti 3D.
Una volta affrontati questi problemi e catturate una serie di misurazioni sovrapposte, gli sviluppatori devono elaborarle utilizzando un programma come Adobe Photoshop. Ciò consente di modificare aspetti come l'illuminazione e le ombre in modo che i modelli finali corrispondano al tono del gioco per cui sono destinati. Una volta corretto il colore, i modelli vengono spesso esportati in programmi come RealityCapture, dove le immagini possono essere allineate in una nuvola di punti e trasformate in una mesh 3D strutturata.
I modelli iniziali possono in seguito essere "retopologizzati", un processo che prevede la riduzione del numero totale di poligoni dei modelli in modo da riprodurli più facilmente nel gioco. Infine, una volta che le informazioni memorizzate in queste mesh 3D sono state convertite in file di texture, le loro superfici possono essere modificate in diversi modi per renderle più realistiche.
Puoi combinarle con delle "maschere" per aggiungere effetti visivi, per esempio ombre e usura, e persino utilizzare procedure o mappe di texture per simulare meglio le geometrie degli oggetti, prima di esportarli in motori di gioco popolari come l’Unreal Engine.
Esempi di fotogrammetria nei videogiochi
La fotogrammetria è una tecnologia in evoluzione, ma non del tutto una novità. Il processo è stato a lungo implementato nel controllo di qualità e nel rilevamento topografico, ma si è affermato nei videogiochi solo di recente. Uno dei primi grandi studi ad abbracciare veramente la fotogrammetria è stato DICE, uno sviluppatore svedese incaricato di riavviare il popolarissimo franchise di Star Wars: Battlefront nel 2015.
Di fronte a strettissimi tempi di rilascio, alla richiesta di un gameplay a 60 FPS e alla necessità di fare i conti con una nuova generazione di console, DICE aveva diverse sfide davanti a sé. Tuttavia, lo studio voleva creare un mondo che fosse fedele al suo materiale di partenza. Per raggiungere questo obiettivo, lo sviluppatore ha scavato negli archivi per pescare oggetti di scena dai film originali di Star Wars, prima di modellarli in 3D con la fotogrammetria.
Personaggi dei videogiochi DICE di Star Wars Battlefront. Fonte immagine: battlefront.fandom.com
Utilizzando questo approccio, DICE è stato in grado di dimezzare il tempo necessario per digitalizzare ogni risorsa rispetto al suo titolo precedente, Battlefield 4. Inoltre, il lavoro svolto dallo studio gli ha permesso di sviluppare un "kit di costruzione di livelli" composti da oggetti di scena, modelli di personaggi e scenari di Star Wars, che hanno costituito la base del gioco finale. DICE ha anche scoperto che il suo approccio gli ha permesso di stabilire un flusso di lavoro molto prima del lancio del gioco, permettendogli di anticipare le scadenze interne.
Non appena i vantaggi di questo flusso di lavoro sono venuti alla luce, molti altri videogiochi di successo sono stati costruiti in modo simile. Per il suo rilancio del franchise Call of Duty Modern Warfare nel 2019, Infinity Ward ha scoperto che poteva utilizzare i dati raccolti tramite fotogrammeria per eseguire un processo di "piastrellatura" che migliorava la risoluzione dei dettagli delle superfici.
Punto Chiave
La fotogrammetria non viene utilizzata solo per costruire ampi ambienti 3D, ma molti dei suoi componenti interni, tra cui oggetti di scena, fogliame e modelli di personaggi.
Nel corso dello sviluppo, lo studio ha continuato a sperimentare. In alcuni casi, i membri del team sono stati scansionati come base per modelli di cadaveri e hanno persino utilizzato scanner pilotati da droni per catturare ambienti più grandi. Dimostrando come la fotogrammetria consente la rapida creazione di modelli di oggetti di scena, scenari, pistole, veicoli e personaggi, il progetto è diventato un esempio lampante dell'avanzamento tecnologico nel campo dei videogiochi.
Software di fotogrammetria per videogiochi
In precedenza in questo articolo abbiamo menzionatoRealityCapture, ma non è l'unico software di fotogrammetria che ti consente di creare modelli 3D per videogiochi con un alto livello di precisione. Lo sviluppatore di giochi leader del settore Electronic Arts (EA), ad esempio, è noto per utilizzarePhotoModeler. Utilizzando la funzionalità Idealize del software, è possibile rimuovere le distorsioni delle lenti durante l'elaborazione. Questo rende molto più facile creare sfondi di giochi e animazioni nitidi che corrispondono meglio al materiale di partenza.
Il programma dispone anche di un algoritmo automatico di generazione di nuvole di punti che produce modelli con texture altamente accurate che possono essere esportate nel popolare formato CAD. Detto questo, il programma non è strettamente pensato per la fotogrammetria. Di conseguenza, al software manca il flusso di lavoro automatizzato photo-to-solid dei suoi concorrenti.
Fotogrammetria di un'auto in RealityCapture
Per coloro che cercano programmi progettati per la digitalizzazione di paesaggi mozzafiato, Unity offreSpeedTree. Utilizzando qualsiasi cosa, dagli strumenti artistici 3D agli algoritmi di generazione procedurale, il software consente di ricreare fedelmente la vita vegetale. Non sorprende quindi che sia stato adottato da campioni di videogiochi come Bungie e Ubisoft.
Parlando di soluzioni simili,Agisoftoffre Metashape, un software di modifica di modelli 3D in grado di elaborare dati di immagini elaborati, acquisiti sia da vicino che a distanza. Utilizzato più spesso nella ricerca, nel rilevamento, nella difesa piuttosto che nello sviluppo di videogiochi, la funzione di auto-calibrazione del programma e il supporto multi-camera lo rendono un'opzione allettante per coloro che digitalizzano oggetti complessi o creano grandi ambienti 3D.
Tuttavia, ci sono alcuni inconvenienti nell'utilizzo degli attuali pacchetti di fotogrammetria. Molti sono disponibili "a livelli", in alcuni casi gli utenti scopriranno di dover eseguire un aggiornamento a pagamento per accedere a determinate funzionalità. In altri programmi possono mancare del tutto le funzionalità necessarie. Ciò rende più duri i requisiti di ingresso per i nuovi utenti, in quanto scarica su di loro la responsabilità di sapere quali pacchetti supplementari gli serviranno per un determinato progetto.
Fotogrammetria di un mancubus, un mostro presente nel classico dei videogiochi Doom
Se stai invece cercando un software più ampio e accessibile, Artec 3D proponeArtec Studio. Il programma viene soprattutto utilizzato per elaborare i dati acquisiti dagli scanner 3D e l'ultima versione, Artec Studio 17, racchiude una serie di utili funzionalità per ottimizzare la qualità dei modelli 3D risultanti.
La funzionalità Pilota Automatico del programma rende più facile che mai per i nuovi arrivati la scelta dell'algoritmo di elaborazione dei dati più efficace, basta spuntare alcune caselle per descrivere il proprio caso di utilizzo. L'algoritmo di registrazione delle foto di Artec Studio consente inoltre agli utenti di migliorare la nitidezza del colore del modello applicando texture derivate da fotografie ad alta risoluzione.
Punto Chiave
Un buon software è vitale per la costruzione di mondi 3D, e la scelta del programma spesso determina il modo in cui le immagini acquisite possono essere raccolte e presentate nel gioco.
Inoltre, con l'allineamento della piattaforma per algoritmo di scala, gli utenti possono abbinare la scala arbitraria dei modelli 3D con quella di un oggetto di destinazione, che si basa su alcune caratteristiche geometriche chiave. Questa funzione può essere particolarmente utile quando bisogna trasferire texture su modelli di fotogrammetria realizzati senza l'uso di riferimenti, che non corrispondono alla scala o hanno superfici particolarmente dettagliate.
Nel complesso, utilizzata insieme ai dispositivi Artec 3D, queste funzionalità semplificano il processo di acquisizione e conversione dei dati in modelli accurati, che si tratti di ispezioni, reverse engineering, videogiochi, animazioni o sviluppo CGI.
La scansione 3D come alternativa
La fotogrammetria è senza dubbio uno strumento per la creazione di modelli di videogiochi molto capace, ma anch'essa ha i suoi limiti. L'accuratezza delle risorse 3D risultanti dipende dalla risoluzione delle macchine fotografiche utilizzate per fotografare l'oggetto bersaglio. Condizioni meteorologiche variabili, oltre a problemi di calibrazione, angolatura e ridondanza, possono portare alla creazione di modelli non dettagliati. Inoltre, come ci si può aspettare, catturare e combinare immagini sovrapposte richiede molto tempo. Questi problemi sollevano la domanda: esiste un metodo di modellazione 3D più efficiente?
World War 3: sviluppo in fase avanzata di un personaggio dopo la scansione con Artec Leo e Space Spider, una pistola Glock 17 scansionata con Artec Space Spider, scansioni del viso realizzate con Artec Leo
Chiunque cerchi di accelerare il processo di creazione di modelli 3D per i videogiochi dovrebbe prendere in considerazione l'adozione della scansione 3D. Con un'impressionante velocità di scansione fino a 40 fotogrammi al secondo (senza registrazione), i dispositivi all'avanguardia comeArtec Leooffrono agli utenti abituati alla fotogrammetria un nuovo mezzo per accelerare il loro flusso di lavoro.
In passato, lo studio The Farm 51 ha raggiunto proprio questo obiettivo. Utilizzando Artec Leo insieme a un altro scanner 3D,Artec Space Spider, lo sviluppatore è riuscito a crearemodelli incredibilmente realistici per il videogioco World War 3. Dismettere la scansione fotogrammetrica utilizzata per sviluppare i suoi titoli precedenti, ha permesso all'azienda di generare ogni personaggio, veicolo e modello di arma per il suo sparatutto online in poche ore.
Il gameplay di World War 3 e la revisione di una fase iniziale di una scansione dei personaggi con Artec Leo
Anche il popolare franchise di videogiochi per Xbox Hellblade presenta modelli 3D a corpo intero creati tramite la scansione Artec 3D. Sviluppato dallo studio Ninja Theory, di proprietà di Microsoft, con la tecnologia di motion capture, il gioco presenta una replica sbalorditiva dell'attrice Melina Juergens. Grazie all'impressionante flessibilità e precisione fornite da Artec Eva, lo sviluppatore non solo è riuscito a rendere il personaggio realistico, ma anche a progettarlo con pelle e muscoli che si muovevano come quelli di una persona reale.
Al giorno d'oggi, le dimensioni non sono un ostacolo alla modellazione 3D. ConArtec Micro, puoi creare versioni digitali di piccoli oggetti, catturando dettagli complessi con una risoluzione fino a 0,029 mm, prima di utilizzarli per popolare i tuoi mondi di gioco. Dall'altra parte dello spettro,Artec Ray è uno scannera lungo raggio capace discansionare in 3D un intero elicottero di salvataggio. Con questa tecnologia che continua a trovare nuove applicazioni di modellazione su larga scala, chi può dire che non possa essere utilizzata per trasportare tali veicoli nel regno virtuale?
Un modello 3D di un MD-902 e l'elicottero in fase di scansione 3D con Artec Leo
Non sei ancora pronto per eliminare completamente la fotogrammetria? Nessun problema, in alcuni casicombinare la fotogrammetria con la scansione 3Dè proprio la soluzione che cerchi. Ciò è facilitato da AS17, che consente agli utenti di unire le immagini acquisite tramite fotocamere di fascia alta con scansioni 3D. I suoi utenti possono anche sfruttare la funzionalità di photo texturing del software, una funzionalità che consente di creare modelli con dati di acquisizione del colore più accurati.
Conclusioni
Alla luce delle applicazioni pratiche di cui sopra, è chiaro che sia la fotogrammetria che la scansione 3D stanno aiutando a spingere i confini nel settore della grafica videoludica. Poiché ogni blockbuster viene costruito utilizzando diverse tecniche di scansione 3D, al momento non esiste una soluzione universale che possa essere ripetutamente implementata per creare modelli per un determinato videogioco.
Invece, gli studi si trovano a dover scegliere tra diversi pacchetti hardware e software, alcuni progettati specificamente per lo sviluppo di giochi e altri costruiti per applicazioni più ampie. Nel scegliere tra queste diverse opzioni, gli sviluppatori devono considerare fattori come il tipo di ambienti che vogliono ricreare nel gioco, così come la fedeltà grafica che vogliono per gli oggetti nel loro mondo virtuale.
Fortunatamente per tali creatori, la crescente adozione della fotogrammetria e della scansione 3D nei giochi ha portato al lancio di prodotti che soddisfano le esigenze più diverse. La comprovata capacità della tecnologia di riprodurre fedelmente oggetti di tutte le forme e dimensioni, pronti per essere caricati, modificati e integrati in mondi virtuali, la rende una soluzione ideale per accelerare lo sviluppo di nuovi giochi all'avanguardia.
Con questo in mente, è un momento emozionante per la fotogrammetria e la scansione 3D nell'industria dei videogiochi: sarà interessante vedere come la tecnologia continueranno a guidare l'innovazione nel prossimo futuro.
