Project description
Natural interaction with virtual objects becomes possible via newly developed display and interaction techniques. The HybridDisplay embeds a 3D-View (no 3D-glasses necessary) within a large 2D-display. Computer generated objects can be pulled out of the 2D-area into the 3D-area of the display by a movement of the hand where they appear as a holographic image floating over the desktop. Gestures are identified by a video based handtracker. Forces are simulated by a force-feedback device. Further interactions are possible via eye movement and speech input. A portable 3D-display with integrated video components for mobile applications is currently in development. This display would function as a kind of "X-Ray scanner" and reveals details about real-world objects when moved over them.

Objectives

• Hybrid mixed reality display for desktop based working environments combining 2D and 3D views of a common object/data space
• Mobile mixed reality display with an autostereoscopic 3-D view and video based display tracking
• Perceptual user interface for multimodal interactions in 3D. Direct manipulation of objects inside the 3D view
• User friendly user-tracking technologies for tracking of the head (6 degrees of freedom), eye movement and gestures in a wide range

Project data
Supported by: Bundesministerium für Bildung und Forschung (BMBF)
Project period: 01.01.2002 - 31.03.2005

Publications

• Neumann, F.; "Automatische Detektion der Augen in 2D-Videosequenzen für multimodale Mensch-ComputerInteraktion", Diplomarbeit, 8. November 2002, TU Berlin, S.93
• Renault, S., "Mixed 3D - Ècrans et interactions 3D pour applications multimédia" Workshop, "The digital city of the future" Logrono (ES), Mai 2003 [a] (available online - s. right column)
• Renault, S. Stachel, O., "Möglichkeiten erlebnisorientierter 3D-Visualisierung mit natürlicher Interaktion für Ausstellungslandschaften" EVA Berlin 2003, Konferenz, 13.11.2003, S. 143-150. [a] (available online - s. right column)
• Renault, S. Stachel, O., "WORKBENCH3D - Modellierung und Visualisierung von VR-Umgebungen auf autostereoskopischen Endgeräten mit multimodalen, natürlichen Interaktionen", 3D-NordOst 2003, 6. Anwendungsbezogener Workshop zur Erfassung, Verarbeitung, Modellierung und Auswertung von 3D-Daten, Berlin, 5.12.2003, S.103-110. [b] (available online - s. right column)
• Przewozny, D. , de la Barré, R., "Fusion von 3D-Finger- und 3D-Augenposition für ein Mensch-Maschine Interface", 3D-NordOst 2003, 6. Anwendungsbezogener Workshop zur Erfassung, Verarbeitung, Modellierung und Auswertung von 3D-Daten, Berlin, 5.12.2003, S 99-101.
• Przewozny, D., "A family of video-based tracking modules for interactive media“, Annual Report 2003, S. 57, HHI, Mai 2004
• Renault, S., "WORKBENCH3D - A development environment for modelling and visualization of interactive multimedia applications", Annual Report 2003, S. 58, HHI, Mai 2004
• Renault, S. Stachel, O., "Unterstützung multimodaler und natürlicher Interaktionen durch die WORKBENCH3D bei der Modellierung und Visualisierung von VR-Umgebungen auf autostereoskopischen Endgeräten", 3D Display Innovationsforum im Rahmen der BMBF-Initiative "Interregionale Allianzen für die Märkte von Morgen" 2004
• Renault, S. Stachel, O., "Erlebnisorientierter 3D-Kiosk mit berührungsloser Interaktion für Ausstellungslandschaften", EVA2004, Konferenz zur elektronischen Bildverarbeitung & Kunst, Kultur, Historie, 11.11.2004, S. 40-46n.
  
  Presentations and documents
• Schenke, K., "Display und Interaktionstechniken für Mixed Reality", CeBit 2003 Future Talk, Hannover, 19.4.2003
• Renault, S., "Display und Interaktionstechniken für Mixed Reality", Talk im TWF der IFA 2003, Berlin, 2.9.2003. Präsentation zum Vortrag [b] (available online - s. right column)
• de la Barré, R., Przewozny,D., Neumann, F., "magic pointing - Berührungslos Bedienen mittels Interpretation der Augen- und Fingerposition", PowerPoint Präsentation, S. 20 , HHI, 2004. (available online - s. right column)
• de la Barré, R., "Räumliche Interaktion am 3D-Display", Vortrag, gehalten auf dem 3D Display Innovationsforum, Jena, 24.9.2004, 25 S. (available online - s. right column)
• de la Barré, R., "Der Griff zum virtuellen Objekt - Interaktive 3D-Kiosksysteme mit Gesteninterpretation" 19. Electronic Displays 2004, 29./30. September 2004 Wiesbaden