Wahl der Software#
Es kommen stetig neue Programme für Gaussian Splatting auf den Markt. Das bietet enorme Freiheiten in diesem Bereich, macht die Wahl aber nicht einfacher.
Da ich ohnehin Blender lernen möchte, habe ich meine ersten Splats allesamt mithilfe des Blender-Plugins Skysplat erstellt. Nachdem man Blender und Skysplat installiert hat (Anleitung), kann es auch schon losgehen.
Trainingsprozess#
Der grundlegende Trainingsprozess ist meistens folgender Ablauf:
- Ein Video wird als Ausgangsbasis ausgewählt.
- Aus dem Video werden Frames extrahiert.
- Die Frames werden zu einer Kamerafahrt übersetzt und die Grundpunkte des 3D-Raums gesetzt.
- Das eigentliche Training der Splats
Je nach Software entfallen Schritte automatisch oder es sind kleine Anpassungen notwendig.
Anzahl der Frames#
Je nach Szenenkomplexität und gewünschter Qualität werden mehr oder weniger Frames für das Training benötigt. Je mehr Frames ausgewählt werden, desto VRAM-aufwendiger und langsamer ist der Trainingsprozess. Der Vorteil besteht in dem besseren Endergebnis.
Um ein Gefühl für den Prozess zu bekommen, reichen 150 Frames am Anfang meistens völlig aus.
Das Training#
Meist ist nach ungefähr 30.000 Trainingsiterationen das beste Bild erreicht. Einige Programme legen alle 5.000 Trainingsiterationen einen Snapshot an, um sich die Zwischenergebnisse in Ruhe anschauen zu können. Das wird notwendig, wenn man den Trainingsprozess sehr lang laufen lässt und feststellt, dass das sogenannte Overfitting geschehen ist. Beim Overfitting spricht man im Machine-Learning-Bereich, wenn das Modell zu sehr an den Trainingsdatensatz angepasst wurde. Das führt zu überproportional guten Ergebnissen im Trainingsdatensatz, aber zu schlechteren Ergebnissen in unbekannten Daten.
Da Gaussian Splats eine Ansicht im 3D-Raum ermöglichen, werden neue Perspektiven ermöglicht, die nicht Teil des Trainingsdatensatzes waren. Aus diesem Grund ist ein Overfitting zu vermeiden.