7. Mai 2020
Die Abteilung Vision and Imaging Technologies (VIT) am Fraunhofer Heinrich-Hertz-Institut HHI entwickelt neue Verfahren für die Produktion und Animation von volumetrischen Videoinhalten. Diese präsentieren die Forschenden der Abteilung jetzt in einer neuen Publikation sowie der Initiierung des, von der EU geförderten Projekts, „Innovative Volumetric Capture and Editing Tools for Ubiquitous Storytelling“ (INVICTUS).
Volumetrisches Video ist ein wichtiger Baustein für Anwendungen im Bereich der Augmented und Virtual Reality, da es ein qualitativ hochwertiges „free-viewpoint rendering“ von dynamischen Szenen bietet. In der Regel beschränkt sich eine qualitativ hochwertige Immersion basierend auf volumetrischem Video jedoch auf vorab aufgezeichnete Situationen, was eine direkte Interaktion mit virtuellen Charakteren ausschließt. Um Interaktion zu ermöglichen, werden üblicherweise klassische Computergrafikmodelle eingesetzt, die allerdings nicht die gleiche Realitätsnähe erreichen.
In der Sonderausgabe zum Thema „Computer Vision for the Creative Industry“ stellen Dr. Anna Hilsmann (Leiterin der Forschungsgruppe Computer Vision und Grafik in der Abteilung VIT) und Kolleginnen und Kollegen des Fraunhofer HHI eine Pipeline für die Erstellung hochwertiger animierbarer und veränderbarer volumetrischer Videoinhalte vor, welche die erfassten hochwertigen Daten aus der realen Welt so weit wie möglich nutzen, weil sie rein natürliche Verformungen und Eigenschaften enthalten. Die Hauptmerkmale der Pipeline sind die Ergänzung der erfassten Daten durch Semantik und Animationseigenschaften sowie die Nutzung von hybriden geometrie- und videobasierten Animationsmethoden, welche eine direkte Animation ermöglichen. Darüber hinaus schlägt die Pipeline einen zuverlässigen Ansatz für die Verarbeitung von Körper- und Gesichtsbewegungen vor. Da vor allem Gesichter traditionell eine Herausforderung für die Branche darstellen, schlagen Hilsmann et al. (2020) eine dreistufige Lösung vor: 1. die Modellierung von Merkmalen mit geringer Auflösung (z. B. grobe Bewegungen) unter Verwendung von Geometrie, 2. die Überlagerung von videobasierten Texturen, um subtile Bewegungen und feine Merkmale zu erfassen und 3. die Synthese von traditionell vernachlässigten Merkmalen (z. B. Augen) unter Verwendung eines Autoencoder-basierten Ansatzes.
Aufbauend auf dem Thema der Publikation wird das neue EU-finanzierte Projekt INVICTUS, das Anfang März 2020 mit einer Laufzeit von zwei Jahren angenommen wurde, modernste volumetrische Bewegungserfassungstechnologien einsetzen, die sowohl das Aussehen als auch die Bewegung der Schauspielerinnen und Schauspieler erfassen, um volumetrische Avatare zu erzeugen und die Entwicklung von Narrativen zu erleichtern. Zu den Ergebnissen des Projekts gehören drei innovative Authoring-Tools: 1. für die hochauflösende volumetrische Erfassung von Aussehen und Bewegung der Schauspielerinnen und Schauspieler, die für hochwertige Offline-Produktionen (Film) und Echtzeit-Rendering Produktionen verwendet werden können, 2. für die Bearbeitung von hochauflösendem volumetrischen Aussehen und Bewegung und 3. für das Story-Authoring (z. B. die Bearbeitung von Dekors, Layouts und animierten Charakteren). An dem Projekt sind zwei Forschungsgruppen der Abteilung VIT am Fraunhofer HHI (Computer Vision und Grafik und Immersive Medien und Kommunikation) sowie die Partner Ubisoft Motion Pictures, Volograms Limited, die Université de Rennes 1 und Interdigital R&D France beteiligt.
Besuchen Sie unsere Webseite, um über die neusten Entwicklungen der Abteilung auf dem Laufenden zu bleiben. Außerdem präsentieren unsere Forschenden auf der diesjährigen virtuellen International Broadcasting Convention (IBC) 2020 eine neue Demo, die interaktives volumetrisches Video-Streaming und -Rendering hervorhebt und in Zusammenarbeit der Abteilungen Vision and Imaging Technologie und Videokodierung und Maschinelles Lernen am Fraunhofer HHI entstanden ist.