Artec 3D Scanning-Technologie unterstützt Erschaffung hybrider Realität bei der NASA

Die NASA verfolgt derzeit die Mission, die Menschheit tiefer als je zuvor in das Sonnensystem vordringen zu lassen. Das schließt beispielsweise die Fertigstellung von Programmen wie der Orion-Kapsel und dem Space Launch System mit ein. Diese Programme erfordern die Entwicklung neuer Schulungen sowie neuer Verfahren, die die Astronauten lernen müssen.

Dabei ist wichtig, Wege zu finden, um die Kosten zu senken und trotzdem die Effizienz der klassischen Astronautenausbildung aufrechtzuerhalten. Vor allem, wenn es um die Erforschung des Mars geht, wo Missionen Monate oder Jahre am Stück dauern. NASA-Spezialisten nutzen Virtual-Reality-Technologie (VR), um herauszufinden, wie man die Trainingserfahrung in verschiedenen Simulationen so realistisch wie möglich gestalten kann.

Im Jahr 2015 gründete die NASA das Hybrid Reality Lab, um kommerzielle VR-Technologien mit gescannten 3D-Objekten zu kombinieren (Ortung eines Objekts im dreidimensionalen Raum mit Hilfe einer Technik zum Tracken von Objekten). Das Ziel war es, realistische Visualisierungen und taktiles Feedback zu schaffen, was ein bedeutend echteres Gefühl des Eintauchens in die virtuelle Umgebung ermöglicht. Das Labor verwendet spezialangefertigte Headsets und benutzerdefinierte VR-Rendering-Software, mit der Schulungsumgebungen für die Nutzer erstellt werden.

Im Jahr 2015 gründete die NASA das Hybrid Reality Lab, um kommerzielle VR-Technologien mit gescannten 3D-Objekten zu kombinieren (Ortung eines Objekts im dreidimensionalen Raum mit Hilfe einer Technik zum Tracken von Objekten).

Ein wichtiges Ziel ist es, reduzierte Schwerkraft und das Gefühl taktilen Feedbacks zu simulieren. Im Moment arbeitet eine Zweigstelle am Johnson Space Center an der Fertigstellung des sogenannten „Response Gravity Offload System“, auch ARGOS genannt.

„Im Wesentlichen handelt es sich dabei um eine intelligente Haltevorrichtung, die am Rücken befestigt wird, Körpergewicht reduziert und die Dynamik in vertikaler und horizontaler Richtung reguliert. Auf diese Weise fühlt es sich für die Astronauten an, als ob sie sich im Gravitationsfeld des Monds, des Mars, im Mikrogravitationsfeld oder irgendwo dazwischen befinden“, erzählt Matthew Noyes, führender Softwareentwickler am Hybrid Reality and Advanced Operational Concepts Lab der NASA.

Virtual Reality wurde mit dem ARGOS-System zusammengeführt, sodass sich der Nutzer über die geschaffene dreidimensionale Welt in der International Space Station (ISS) bewegen kann. Und die ISS bewegt sich innerhalb des virtuellen Headsets um ihn herum.

Eine Reihe von Anwendungen wurde bereits erstellt, um das Potential der Hybrid-Realität vorzuführen. Die International Space Station war das erste Versuchsobjekt. Entstanden ist eine dynamische Simulation der meisten internen Module, in denen sich die Astronauten aufhalten.

Mit dem 3D-Scanner Artec Space Spider sind Ingenieure in dem Hybrid Reality Lab der NASA in der Lage, Werkzeuge, die im All genutzt werden, zu scannen.

Die Benutzer können zusammen mit anderen Menschen in der virtuellen Realität üben. Dies bedeutet auch, dass sie zusammenarbeiten können, selbst wenn sie sich auf völlig unterschiedlichen Teilen der Erde befinden. Zudem eröffnet sich die Möglichkeit, ein breiteres Publikum auf die Übungen aufmerksam zu machen, da sich nun Privatpersonen zu Hause mit ihrem eigenen Headset in einen Server einloggen und den Astronauten in Echtzeit bei ihrem Training zusehen können. Dies erzeugt bedeutend mehr Faszination als mit dem regulären NASA-TV möglich ist.

Das Labor verwendet spezialangefertigte Headsets und benutzerdefinierte VR-Rendering-Software, mit der Schulungsumgebungen für die Nutzer erstellt werden.​

Die NASA verfügt bereits über spezielles Werkzeug, wie zum Beispiel einen Weltraumbohrer namens Pistol Grip Tool (PGT), der für Bohrschrauben verwendet wird. Außerdem besitzt die NASA ein Mehrzweckwerkzeug, das bei EVA („extravehicular activities“: Außenbordarbeiten) und Andockprozessen verwendet wird, oder Standardschlüssel für allgemeine Wartung und Reparaturen auf der ISS.

In der Entwicklung befinden sich zudem weitere Werkzeuge, die in zukünftigen Missionen verwendet werden sollen, darunter eine Laser-Radar-Pistole (siehe Bild), die Röntgenstrahlen verwendet, um Gesteins- und Bodenzusammensetzungen zu bestimmen. Entwickelt wurde die Pistole auf Grundlage von im Handel verfügbaren Werkzeugen, die auf der Erde verwendet werden und ähnliche Fähigkeiten besitzen. Dieses Werkzeug wurde mit dem portablen 3D-Streifenlichtscanner Artec Space Spider gescannt, um hochrealistische Farbmodelle zu erstellen und sie für das Simulationstraining in eine virtuelle Umgebung zu importieren.

„Um Proben von der Marsoberfläche zu sammeln, würde aktuell wahrscheinlich ein Werkzeug wie dieses benutzt werden. Damit kann festgestellt werden, wie das Massenverhältnis verschiedener Elemente in dieser Probe ist. Mit Hilfe von 3D-Scanning können wir dieses Modell extrem realistisch aussehen lassen, sodass Nutzer die Handhabung innerhalb der virtuellen Realität erlernen können“, so Matthew Noyes.

Ein reales Objekt im Vergleich zu seiner 3D-gescannten Version

„Anstatt die Werkzeuge mühsam anhand von Messungen und Fotos nachzumodellieren oder mit farblosen CAD-Dateien zu arbeiten, dachten wir uns, dass die Verwendung eines 3D-Scanners eine viel bessere Lösung wäre, um millimetergenaue Modelle aus realen Objekten zu erstellen“, so Matthew Noyes.

Neben dem Scanner Artec Space Spider verwendet das Labor auch die 3D-Modellierungssoftware Artec Studio, um Punktwolken zu erzeugen, Datenrauschen zu entfernen und das entstandene Polygonnetz mit Farbe zu versehen.

„Das Hybrid Reality Lab nutzt den Scanner Artec Space Spider zum einen, weil er für die Ausleuchtung mit LEDs ausgestattet und somit für das Augenlicht unbedenklich ist“, sagt Frank Delgado, Geospatial Information Technology Lead bei SERVIR (einem Joint Venture zwischen der NASA und der amerikanischen „Agency for International Development“). „Zum anderen konnte Space Spider auch unsere Anforderungen an die Genauigkeit erfüllen und bot uns eine sehr gute Lösung für das Scannen kleiner und mittlerer Objekte.“​

Neben der Erfassung des Radargeräts in 3D wurde die digitale Schnittstelle nachgebildet sowie der Klang des Geräts aufgenommen, damit die VR-Darstellung in Gestalt und Verhalten vom realen Objekt nicht mehr zu unterscheiden ist.