Projektbeschreibung
Im Projekt sollen neuartige 3D-Display- und Interaktionstechniken konzipiert und erprobt werden, die eine komfortable, der menschlichen Wahrnehmung und Motorik angepasste Mensch-Computer-Interaktion in künftigen stationären und mobilen Mixed-Reality-Umgebungen ermöglichen. Nutzerfreundliche User-Tracking-Technologien zur Erfassung von Kopfbewegungen, Blickbewegungen und Handgesten in einem großen Trackingbereich sollen dafür realisiert werden. Die neu zu entwickelnden Displaykomponenten umfassen ein großflächiges kombiniertes 2D/3D-Display für Anwendungen am Arbeitsplatz und ein lichtstarkes portables 3D-Display für den mobilen Einsatz im Freien. Die 3D-Wiedergabe soll nach dem am HHI konzipierten Prinzip des Akkommodationsdisplays erfolgen. Für mobile Anwendungen soll ein kompaktes 3D-OLED-Display realisiert und für das neu zu entwickelnde Display-Tracking eingesetzt werden. Neue Interaktionsformen wie Blicksteuerung, Spracheingabe und die Direktmanipulation computergenerierter Datenobjekte durch Handgesten sollen kombiniert und für Mixed-Reality-Anwendungen optimiert werden.

Ziele

• Hybrides Mixed-Reality-Display für den Computerarbeitsplatz mit kombinierter 2D/3D-Wiedergabe eines gemeinsamen Datenraums
• Portables Mixed-Reality-Display mit autostereoskopischer 3D-Wiedergabe und videobasiertem Display-Tracking
• Perceptual User Interface für multimodale Interaktionen in 3D. Direktmanipulation visualisierter Datenobjekte vor dem 3D-Display
• Nutzerfreundliche User-Tracking-Technologien zur Erfassung von Kopfbewegungen (6 Freiheitsgrade), Blickbewegungen und Handgesten in einem großen Trackingbereich

Projektdaten
Förderung: Bundesministerium für Bildung und Forschung (BMBF)
Laufzeit: 01.01.2002 - 31.03.2005

Veröffentlichungen

• Neumann, F.; "Automatische Detektion der Augen in 2D-Videosequenzen für multimodale Mensch-ComputerInteraktion", Diplomarbeit, 8. November 2002, TU Berlin, S.93
• Renault, S., "Mixed 3D – Ècrans et interactions 3D pour applications multimédia" Workshop, "The digital city of the future" Logrono (ES), Mai 2003 [a] (online verfügbar - s. rechte Spalte)
• Renault, S. Stachel, O., "Möglichkeiten erlebnisorientierter 3D-Visualisierung mit natürlicher Interaktion für Ausstellungslandschaften" EVA Berlin 2003, Konferenz, 13.11.2003, S. 143-150. [a] (online verfügbar - s. rechte Spalte)
• Renault, S. Stachel, O., "WORKBENCH3D - Modellierung und Visualisierung von VR-Umgebungen auf autostereoskopischen Endgeräten mit multimodalen, natürlichen Interaktionen", 3D-NordOst 2003, 6. Anwendungsbezogener Workshop zur Erfassung, Verarbeitung, Modellierung und Auswertung von 3D-Daten, Berlin, 5.12.2003, S.103-110. [b] (online verfügbar - s. rechte Spalte)
• Przewozny, D. , de la Barré, R., "Fusion von 3D-Finger- und 3D-Augenposition für ein Mensch-Maschine Interface", 3D-NordOst 2003, 6. Anwendungsbezogener Workshop zur Erfassung, Verarbeitung, Modellierung und Auswertung von 3D-Daten, Berlin, 5.12.2003, S 99-101.
• Przewozny, D., "A family of video-based tracking modules for interactive media", Annual Report 2003, S. 57, HHI, Mai 2004
• Renault, S., "WORKBENCH3D - A development environment for modelling and visualization of interactive multimedia applications", Annual Report 2003, S. 58, HHI, Mai 2004
• Renault, S. Stachel, O., "Unterstützung multimodaler und natürlicher Interaktionen durch die WORKBENCH3D bei der Modellierung und Visualisierung von VR-Umgebungen auf autostereoskopischen Endgeräten", 3D Display Innovationsforum im Rahmen der BMBF-Initiative "Interregionale Allianzen für die Märkte von Morgen" 2004
• Renault, S. Stachel, O., "Erlebnisorientierter 3D-Kiosk mit berührungsloser Interaktion für Ausstellungslandschaften", EVA2004, Konferenz zur elektronischen Bildverarbeitung & Kunst, Kultur, Historie, 11.11.2004, S. 40-46n.

Präsentationen & Dokumente

• Schenke, K., "Display und Interaktionstechniken für Mixed Reality", CeBit 2003 Future Talk, Hannover, 19.4.2003
• Renault, S., "Display und Interaktionstechniken für Mixed Reality", Talk im TWF der IFA 2003, Berlin, 2.9.2003. [b] (online verfügbar - s. rechte Spalte)
• de la Barré, R., Przewozny,D., Neumann, F., "magic pointing - Berührungslos Bedienen mittels Interpretation der Augen- und Fingerposition", PowerPoint Präsentation, S. 20 , HHI, 2004. (online verfügbar - s. rechte Spalte)
• de la Barré, R., "Räumliche Interaktion am 3D-Display", Vortrag, gehalten auf dem 3D Display Innovationsforum, Jena, 24.9.2004, 25 S. (online verfügbar - s. rechte Spalte)
• de la Barré, R., "Der Griff zum virtuellen Objekt - Interaktive 3D-Kiosksysteme mit Gesteninterpretation" 19. Electronic Displays 2004, 29./30. September 2004 Wiesbaden