Im Rahmen des europäischen Forschungsprojekts LUMINOUS fand kürzlich ein Projektpartnertreffen statt, bei dem sich die internationalen Partnerorganisationen zur Vorstellung ihrer Forschungsergebnisse und zur weiteren Planung der Demonstratoren und Use Cases zusammenfanden. Dabei wurden vor allem neue Ansätze zur Erzeugung realistischer Avatare und deren Steuerung über Large Language Models diskutiert. Gastgeber war das Fraunhofer Heinrich-Hertz-Institut (HHI), das als einer der zentralen Forschungspartner aktiv an der Entwicklung der innovativen XR-Plattform beteiligt ist.
Das Projekt vereint führende Forschungseinrichtungen, Universitäten und Unternehmen aus ganz Europa:
- DFKI – Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (Deutschland)
- Ludus Tech SL (Spanien)
- Mindesk SRL (Italien)
- MindMaze SA (Schweiz)
- Centre hospitalier universitaire vaudois (Schweiz)
- University College London (UK)
- Fraunhofer HHI (Deutschland)
- University of the Basque Country – EHU (Spanien)
- Vicomtech (Spanien)
- University College Dublin (Irland)
- Hypercliq IKE (Griechenland)
- Ricoh International B.V. – Niederlassung Deutschland
Visionäre XR-Technologie mit Sprachintelligenz
Ziel des Projekts ist die Entwicklung einer multimodalen, sprachgestützten XR-Plattform, die sich flexibel an individuelle Nutzerbedürfnisse und unbekannte Umgebungen anpasst. Im Zentrum steht die Integration von Large Language Models (LLMs), die als „Orakel“ fungieren und neue Aufgaben auf Zuruf beschreiben. Diese werden über Sprachschnittstellen oder virtuelle Avatare vermittelt – etwa als Coach oder Lehrer – und durch visuelle Hilfen und prozedurale Schritte ergänzt.
Die Plattform soll künftig in verschiedensten Bereichen Anwendung finden: von der Rehabilitation über immersive Lernumgebungen bis hin zu Design-Reviews, Entertainment und Sport. Dabei steht die intuitive, situationsbezogene Kommunikation im Vordergrund.
Drei Use Cases im Fokus
Die Technologien werden anhand konkreter Anwendungsszenarien evaluiert:
- Ein virtueller Therapeut zur Behandlung von Aphasie
- Ein e-Learning-System mit virtuellem Assistenten für Brandschutzaspekte
- Ein Architektur-Design-Review mit virtuellen Führungen
Das Treffen diente nicht nur dem wissenschaftlichen Austausch, sondern auch der strategischen Abstimmung zur Umsetzung der Demonstratoren. Die Partner zeigten sich begeistert über die Fortschritte und die Potenziale der Plattform für zukünftige XR-Anwendungen.
Weitere Informationen zum Projekt finden Sie auf der offiziellen LUMINOUS-Webseite.
