24. Januar 2020
Wieland Morgenstern, wissenschaftlicher Mitarbeiter in der Abteilung Vision & Imaging Technologies am Fraunhofer Heinrich-Hertz-Institut HHI, hat im Dezember 2019 auf der European Conference on Visual Media Production (CVMP) in London mit seiner Arbeit „Progressive Non-rigid Registration of Temporal Mesh Sequences“ den „Best Paper Award“ gewonnen. Der erste Preis ist mit 750 Euro dotiert und wird durch den ACM Europe Council gesponsert. Dr.-Ing. Anna Hilsmann, Gruppenleiterin Computer Vision und Grafik am Fraunhofer HHI, und Prof. Dr.-Ing. Peter Eisert, Abteilungsleiter Vision & Imaging Technologies am Fraunhofer HHI, wurden als Co-Autorin und -Autor mitausgezeichnet.
Angesichts der zunehmenden Verbreitung von Virtual- und Augmented-Reality-Geräten besteht ein wachsender Bedarf an immersiven 3D-Inhalten. Anwendungen wie E-Learning und Unterhaltung profitieren von der Arbeit mit Darstellungen von Personen. Volumetrische Aufnahmestudios bieten die Möglichkeit, Schauspielerinnen und Schauspieler in einer natürlichen Umgebung zu erfassen und winzige Details ihrer Gesichtsausdrücke und ihre lebensechten Interaktionen mit Requisiten aufzuzeichnen. Ein volumetrisches Aufnahmestudio nimmt die Szene aus allen Richtungen gleichzeitig auf, die Erfassungspipeline erzeugt dabei eine Folge von 3D-Oberflächennetzen (engl. mesh). Die Frames werden einzeln verarbeitet, so dass sich die Szene zwar im Laufe der Zeit allmählich ändert, die Netztopologie des Meshnetzes jedoch von Frame zu Frame unterschiedlich sein kann. Die Netzstruktur wird durch Rendern mit einer Textur unsichtbar, die Bearbeitung von Texturen über mehrere aufeinanderfolgende Frames hinweg wird durch den von Frame zu Frame wechselnden Texturatlas jedoch erschwert.
Morgensterns Arbeit stellt einen Algorithmus vor, der die innere Mesh-Struktur für zeitliche Sequenzen vereinheitlicht, während der gerenderte Eindruck erhalten bleibt. Dabei wird die gleiche Mesh-Konnektivität über eine Gruppe von Frames stabil gehalten. Die Konnektivität wird durch progressive Registrierung auf benachbarte Frames übertragen. Eine konsistente Topologie über mehrere Frames hinweg ermöglicht eine bessere Komprimierung des volumetrischen Videostroms, da die Konnektivität nicht für jedes Frame kodiert werden muss. Änderungen an der Geometrie können als Änderungen der Koordinaten der Mesh-Knoten registriert werden. Darüber hinaus ermöglicht die Verwendung desselben Texturatlas über mehrere Frames hinweg die Codierung der Texturbilder als Videostrom anstelle von Einzelbildern. Die Bearbeitung aufeinanderfolgender Frames im Texturraum wird dadurch erleichtert, dass der Texturatlas innerhalb der Mesh-Konnektivität-Gruppe konstant bleibt.
Das vollständige Paper finden Sie in Open Access hier .