und 
Zentimetergenaue Kameraverfolgung für großflächige 3D-Aufnahmen (Gaussian Splatting)
Übersicht
Dieses Kundenprojekt stammt von AryonixAryonix wurde von Alexandre Cavaleri gegründet und entwickelt eine Echtzeit-Rendering-Engine, die in der Lage ist, filmische, fotorealistische und immersive 3D-Umgebungen aus Fotografien zu erstellen. Aryonix arbeitete mit Downhill WingsEin Projekt, das sich der Erkundung, Kartierung und dem Filmen von Abfahrtsstrecken für Inlineskates, Longboards und andere Gravity-Sportarten widmet. Das Projekt verwendet eine Technik namens Gaussian Splatting.
Im Downhill-Sport ist es wichtig, dass eine digitale Rekonstruktion der Realität entspricht. Die Strecke muss die korrekte Position, den richtigen Maßstab und die richtige Steigung aufweisen, damit Fahrer Schwierigkeitsgrad, Sicherheit und das gesamte Fahrerlebnis präzise einschätzen können.
Die größte Herausforderung bei der Rekonstruktion so langer Strecken im Freien besteht in der Berechnung der Kamerapositionen: Tools wie COLMAP driften und akkumulieren Fehler über die Distanz, haben Schwierigkeiten mit natürlich auftretenden sich wiederholenden Mustern und strukturlosen Ansichten (Weinreben, Straßenoberfläche, Himmel), und ohne vorherige GPS-Daten ist das Ergebnis nicht an reale Koordinaten, Maßstab oder Neigung gebunden.
Um diese Einschränkungen zu überwinden, nutzte Aryonix GNSS-Kompass – RTK-Starterkit um während der Aufnahme zentimetergenaue Kamerapositionen und -ausrichtungen zu gewährleisten.
Das Rigg
Um dieses Problem zu lösen, verwendeten wir ein GNSS-Kompass-Starterkit, um zentimetergenaue Kamerapositionen und -richtungen als Kamera-Priordaten für COLMAP bereitzustellen.
- GNSS-Kompass – RTK-Starterkit: GNSS/RTK-Kit mit UM982-basierter Platine und zwei hochwertigen Helixantennen
- Blackmagic URSA Mini Pro 4.6K G2 Kinokamera, Aufnahmen im RAW-Format
- Der Hosa MIT-129 XLR-Adapter wandelt das PPS-Signal der Platine in mit der Kamera kompatible Audiopegel um und schützt die Platine vor der Phantomspeisung der Kamera.
- Telefon mit SW Maps, RTK-Protokollierung und Stromversorgung des Boards
Videosynchronisation mit RTK
Die Kenntnis der Kameraposition ist nur dann sinnvoll, wenn jedes Videobild der korrekten RTK-Messung zugeordnet werden kann.
Der GNSS-Empfänger gibt ein PPS-Signal (Pulse Per Second) aus. Dies ist ein hochpräziser elektrischer Impuls, der exakt einmal pro GPS-Sekunde erzeugt wird. Anstatt den internen Takt der Kamera zu verwenden, wurde dieses PPS-Signal direkt über den XLR-Eingang in einen Audiokanal der Kamera aufgezeichnet.
Da das Audiosignal mit 48 kHz abgetastet wird, lässt sich jeder PPS-Impuls mit einer Genauigkeit im Submillisekundenbereich erfassen. Im Vergleich dazu dauert ein einzelnes Videobild, das mit 24 Bildern pro Sekunde aufgenommen wird, etwa 42 Millisekunden. Dadurch kann jedes Bild deutlich genauer mit einem Zeitstempel versehen werden als mit den kamerainternen Zeitinformationen.
Die sekündliche Aufzeichnung eines PPS-Impulses ermöglicht es, jegliche Taktabweichungen der Kamera während der gesamten Aufnahme zu erkennen und kontinuierlich zu korrigieren. Das PPS-Signal markiert den Beginn jeder GPS-Sekunde, während das vom Smartphone aufgezeichnete RTK-Protokoll die entsprechenden GNSS-Zeitstempel liefert. Es genügt, beide Aufzeichnungen etwa gleichzeitig zu starten, um die PPS-Impulse automatisch mit den RTK-Daten abzugleichen.
Falls Ihnen das kompliziert vorkommt, schauen Sie sich unseren Beitrag an. GPS verstehen Timepulse oder PPS.
Die Szene festhalten
Das Team legte eine 800 Meter lange Strecke durch die Lavaux-Weinberge in der Schweiz zurück und filmte dabei ununterbrochen.
Anstatt sich einfach geradlinig zu bewegen, wurde die Kamera spiralförmig geführt, um die Szene aus verschiedenen Blickwinkeln zu erfassen. Dies verbessert die Qualität der 3D-Rekonstruktion und vermeidet gleichzeitig Schatten, die vom Kameramann geworfen werden.
Gelegentlich wurden kurze Abstecher zurückgelegt, bevor man zur Hauptroute zurückkehrte. Dadurch entstanden zusätzliche Aussichtspunkte, die die Genauigkeit der Rekonstruktion verbessern.
Sich bewegende Objekte wie Fußgänger und Fahrzeuge wurden während der Aufnahme direkt berücksichtigt, indem die Kamera kurzzeitig weggerichtet wurde, wodurch der spätere Nachbearbeitungsaufwand reduziert wurde.
Ergebnisse
Nach der Synchronisierung der RTK-Messungen mit den Videobildern wurden die Kamerapositionen als Kamerainformationen in die Rekonstruktionspipeline eingespeist. Anstatt jede Kameraposition allein anhand der Bilder zu schätzen, verwendet die Software zentimetergenaue RTK-Messungen.
Die resultierende 3D-Darstellung wird in Echtzeit mit der Aryonix Engine gerendert, wobei die korrekte Position, Ausrichtung, der Maßstab und die Neigung der Route in der realen Welt erhalten bleiben.
Obwohl dies hier anhand von Gaussian Splatting demonstriert wird, ist der gleiche Arbeitsablauf auf jede Rekonstruktionsmethode anwendbar, die auf 2D-Bildern und Kameraposen basiert: Die synchronisierten Kamera-Prioritäten können Tools wie COLMAP zugeführt werden, um Gaussian Splats, NeRFs oder traditionelle photogrammetrische Rekonstruktionen zu trainieren.
Durch die präzise Bereitstellung von Kamerapositionen während der gesamten Aufnahme wandelt RTK GNSS einen Workflow, der normalerweise unter akkumulierter Drift leiden würde, in eine zuverlässige Methode zur Rekonstruktion langer Außenumgebungen um. Das Ergebnis ist eine fotorealistische 3D-Szene, die auch für genaue Routenmessungen verwendet werden kann, einschließlich Neigungen, die oft detaillierter sind als die von bestehenden digitalen Höhenmodellen.
ANDERE PRODUKTE
RTK-Assistent
Finden Sie mit nur wenigen Fragen die besten Produkte für Ihre Anwendung.