17. November 2021
Das Fraunhofer Heinrich-Hertz-Institut (HHI) ist am neuen Projekt VoluProf (Volumetric Mixed Reality Professor for Omnipresent and User-Optimized Teaching) beteiligt. Dieses wurde vor kurzem im „3IT – Innovation Center for Immersive Imaging Technologies “ gelauncht. Im Rahmen des Projekts werden MixedReality-Technologien (MR) genutzt, um Online-Unterricht direkter, interaktiver und nutzungsorientierter zu gestalten. Die Forschenden entwickeln hierfür foto- und audiorealistische Avatare von realen Dozent*innen. Das Projekt ist im September 2021 gestartet und wird bis August 2024 laufen. Das Bundesministerium für Bildung und Forschung (BMBF) fördert das Projekt mit 1,98 Millionen Euro.
Die gegenwärtige Online-Lehre steht der Präsenzlehre noch in vielen Punkten nach. Einer der Gründe dafür ist, dass zur Vermittlung von Inhalten statische Video- und Audioskripte eingesetzt werden. Diese Methoden sind in ihren Möglichkeiten begrenzt, da die Lernenden kaum mit den Dozent*innen interagieren und kein Feedback geben können.
VoluProf möchte dies ändern und das Beste aus realer und virtueller Welt zusammenbringen: Die Interaktivität der Präsenzlehre soll mit der Flexibilität und Inklusion der Online-Lehre verbunden werden. Dazu entwickelt das Projekt Avatare von Dozent*innen, mit denen die Lernenden über ein MR-Headset interagieren können.
Drei Forschungsgruppen des Fraunhofer HHI sind am Projekt beteiligt. Die Gruppe „Computer Vision und Grafik“ der Abteilung „Vision and Imaging Technologies“ befasst sich mit der Erstellung fotorealistischer virtueller Menschen und deren Animation auf Basis von volumetrischen Videodaten. Sie wird die Avatare der Dozent*innen entwickeln. Dazu arbeiten die Forschenden mit Methoden zur kontextbasierten Synthese von natürlichen Bewegungen, Gesten und Gesichtsanimation. Damit können die virtuellen Dozent*innen so realistisch wie möglich gestaltet werden.
Die Gruppe „Interaktive und kognitive Systeme“ derselben Abteilung ist für die Qualitätskontrolle zuständig. Das Team beschäftigt sich mit der wahrgenommenen Qualität von Bild und Immersion. Hierzu führen sie Nutzungsstudien durch, modellieren die relevanten Wahrnehmungsaspekte und integrieren die erstellten Modelle in das VoluProf-System.
Die Gruppe „Multimedia Kommunikation“ der Abteilung „Videokommunikation und Applikationen“ sorgt dafür, dass das VoluProf-System problemlos bei den Lernenden ankommt. Das Team konzentriert sich auf die effiziente Übertragung des volumetrischen Avatars. Besonders wichtig hierbei ist eine minimale Interaktionslatenz, um ein optimales Nutzungserlebnis zu gewährleisten. Zusätzlich entwickeln die Forschenden ein adaptives Übertragungsverfahren, das sich schnell an unterschiedliche Netzwerkbedingungen anpassen lässt. Auf diese Weise wird ein reibungsloses Streaming-Erlebnis geschaffen.
Das Projektteam überwacht kontinuierlich ethische, rechtliche und soziale Auswirkungen der VoluProf-Technologie und integriert diese in die weitere Entwicklung.
Neben dem Fraunhofer HHI sind die Deutsche Telekom AG, Volucap GmbH, Aristech GmbH, die Universität Rostock und das Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI) an dem Projekt beteiligt.