Berliner Forschungsprojekt „XRIA“ entwickelt XR-Anwendung zur realitätsgetreuen Darstellung von Spitzenmusiker*innen

Die Forschungsgruppe Immersive Medien und Kommunikation der Abteilung Vision & Imaging Technologies (VIT) am Fraunhofer HHI kooperiert im Forschungsprojekt XRIA mit zwei in Berlin ansässigen Unternehmen: dem Kreativstudio High Road Stories, das als Projektkoordinator fungiert, sowie der Berlin Phil Media GmbH. Ziel von XRIA ist die Entwicklung eines neuen digitalen Anwendungsformats, das es Nutzern ermöglicht, Popstars und Top-Musiker in einer eXtended Reality (XR) Experience zu erleben und aktiv mit ihnen zu interagieren.

Neuartige Technologien machen XR-Masterclass und XR-Konzerterfahrung erlebbar

Aufbauend auf dem Erfolg der Streaming-Plattform Digital Concert Hall der Berliner Philharmoniker bilden volumetrisches Video und räumlicher Klang die technologische Grundlage des Projekts. Aufgrund der hohen Datenkomplexität fanden diese Technologien bislang nur begrenzt Anwendung in eigenständigen XR-Headsets.

Vor diesem Hintergrund werden die Projektpartner zwei konkrete Anwendungsfälle umsetzen: eine interaktive Lernanwendung für Musikstudierende in Form einer XR-Meisterklasse und ein Multi-User-XR-Konzerterlebnis.

Das Projekt ist aufgrund der unterschiedlichen inhaltlichen und technischen Herausforderungen in mehreren Bereichen hochinnovativ – die Projektpartner bündeln ihr jeweiliges Fachwissen in zentralen Forschungsbereichen.

Gezielte Forschungsschwerpunkte als Treiber für Innovation

In enger Zusammenarbeit erforschen und realisieren die Projektpartner gemeinsam neue Formen der Interaktion mit Musikern, der virtuellen Umgebung und der Musik selbst, mit dem Ziel, tiefgreifende immersive und partizipative Erlebnisse zu schaffen.

Das Fraunhofer HHI setzt Maßstäbe bei der naturgetreuen 3D-Erfassung und -Verarbeitung realer Personen mittels volumetrischem Video. Musiker sowie feinste Bewegungs- und Instrumentendetails werden durch neuartige Gaußsche Splatting-Verfahren in Kombination mit extrem hochauflösenden Kameras abgebildet. Um dies zu erreichen, entwickelt das Team des Fraunhofer HHI ein neuartiges 3D-Aufnahmesystem, KI-basierte Rekonstruktionsmethoden und ein skalierbares Streaming-Format für moderne Head-Mounted-Displays, das hohe Qualität bei geringem Bandbreitenbedarf ermöglicht.

Der Creative Lead High Road Stories ist für die Entwicklung der Benutzererfahrung und des visuellen Designs beider Anwendungsfälle verantwortlich und wird dabei durch das umfassende Fachwissen der Berlin Phil Media GmbH in den Bereichen Musikpädagogik und Kommunikation unterstützt.

Die Berlin Phil Media GmbH leitet in Zusammenarbeit mit Henrik Oppermann (schallgeber) die Erfassung und Wiedergabe von räumlichem Audio und wird neue Maßstäbe bei der Aufnahme, Verarbeitung und Wiedergabe von räumlichem Audio mit sechs Freiheitsgraden in XR setzen. Dies ermöglicht es den Nutzern, sich frei im virtuellen Raum zu bewegen und je nach ihrer Position Veränderungen im Klang wahrzunehmen.

Das Konsortium hat sich zum Ziel gesetzt, die Anwendungsfälle aus der Forschung in die kommerzielle Praxis zu übertragen.

Die Förderung für das bis September 2027 laufende Projekt erfolgt durch die Investitionsbank Berlin, die Finanzierung durch den Europäischen Fonds für Regionale Entwicklung (EFRE) sowie das Land Berlin. Erfahren Sie hier mehr.