4. März 2022
Das kollaborative Projekt „Virtual LiVe“ (Virtualisierung von Live-Veranstaltungen durch audiovisuelle Immersion) hat mit der erfolgreichen Durchführung eines hybriden Live-Konzerts einen weiteren Validierungsschritt erzielt. Am Projekt sind das Fraunhofer Heinrich-Hertz-Institut (HHI), Fraunhofer FOKUS und Fraunhofer IIS beteiligt. Durch immersive Medientechnologien wurde gemeinsam mit der Kreativwirtschaft im Dezember letzten Jahres ein Konzert im Berliner Veranstaltungsort Kesselhaus zeitgleich an verschiedenen Orten erlebbar. Virtual LiVe, gehostet von der Fraunhofer HHI Transferplattform „3IT – Innovation Center for Immersive Imaging Technologies“ , wird im Rahmen des ‚KMU-akut‘ Programms „Forschung für den Mittelstand“ der Fraunhofer-Gesellschaft gefördert. Es ist das Ziel des Projekts, klassische Veranstaltungsformate durch den Einsatz immersiver Medientechnologien (z. B. 3D-Audio, 360°-Video, Lichtfelder, volumetrisches Video) digital zu ergänzen oder sogar zu ersetzen, wenn physische Präsenz nicht möglich ist.
Wie lassen sich moderne Technologien nutzen, um Live-Events in hybride Formate zu übertragen? Diese Frage stellte sich die Event-Branche spätestens seit Beginn der Covid-19 Pandemie. Im Virtual LiVe-Projekt arbeiten die drei Fraunhofer-Institute HHI, FOKUS und IIS mit Unternehmen der Kreativbranche zusammen, um diese Herausforderung zu meistern. Um die Grenzen zwischen physischer und digitaler Wahrnehmung zu verwischen, werden High-End-Technologien miteinander verknüpft, sodass die Digitalisierung klassischer Veranstaltungsformate nicht nur optimiert, sondern neue Orte für vernetzte künstlerische Darbietungen erschlossen werden können.
Das erste hybride Live-Event des Projekts fand im Dezember 2021 statt: Der Künstler Billy Andrews, Lead-Sänger der Band The Dark Tenor, gab das Auftaktkonzert seiner Classic Roxx Tour an vier Orten gleichzeitig. Rund 150 Gäste sahen die Show im Kesselhaus der Kulturbrauerei in Berlin. Begleitet wurde der Sänger von den von dem Piani-Duo Queenz of Piano, die von von ihrem Studio aus über eine Ultra-Low-Latency-Audioverbindung durch die Digital Stage Plattform in das Konzert eingebunden wurden. Queenz of Piano wurde so auf eine Leinwand im Kesselhaus projiziert.
Die Veranstaltung wurde mit der Panoramakamera OmniCam des Fraunhofer HHI aufgezeichnet. Hierbei handelt es sich um ein skalierbares, spiegelbasiertes Multikamerasystem, das zusammen mit seiner Real-Time Stitching Engine (RTSE) in der Lage ist, einen hochauflösenden 360°-Videostream aufzunehmen und in Echtzeit zu übertragen. So war es möglich, das Konzert in einer Auflösung von bis zu 4K auf die Kuppelprojektoren im Planetarium in Bochum, in das Kino des Fraunhofer IIS sowie auf VR-Brillen und mobile Endgeräte von Zuschauenden zu Hause zu streamen. Die Videoströme wurden mit niedriger Latenz und adaptiver Qualität, einschließlich akustischem oder visuellem Feedback, mit einer geringen Verzögerung von wenigen Sekunden auf die Endgeräte von mehr als 600 Zuschauer*innen aus 16 Ländern virtuell übertragen.
Um das immersive Erlebnis zu vervollständigen, wurde der Konzertsound mit MPEG-H Audio produziert; ein 3D-Audiomix wurde in Echtzeit erstellt. Mit Hilfe eines Spatial Audio Designers wurde eine MPEG-H-Szene erstellt, anschließend kodiert und in die Cloud übertragen. Der Audio- und Videostream wurde im Planetarium dekodiert und dann auf mehr als 60 Lautsprecher in der Planetariumskuppel verteilt. Die verschiedenen Video- und Audioströme wurden frame-genau synchronisiert, um ein perfektes audiovisuelles Erlebnis zu gewährleisten. Das Laborkonzert zeigte so, dass ein technologisch innovativer Produktionsworkflow in der Lage ist, dem Publikum vor Ort sowie an entfernten Veranstaltungsorten einen immersiven Echtzeitinhalt zu bieten.
Das Ziel von Virtual LiVe ist die Entwicklung einer Plattform, die in Form eines Baukastensystems skalierbare High-End-Lösungen für die Event-Streaming-Bedürfnisse verschiedener Akteur*innen unterschiedlicher Branchen bereitstellt. Aus diesem Baukastensystem können sich KMUs je nach Bedarf und Anforderung ein Programm für ihre jeweiligen Veranstaltungsbedürfnisse zusammenstellen. Sie erhalten so eine technologiebasierte Lösung für die Realisierung ihrer Formate. Weitere Validierungsprojekte sind bereits in Planung. Alle aktuellen Informationen zum Projekt finden Sie hier .