Oliver Schreer

Dr. Oliver Schreer is Associate Professor at Technical University Berlin and Head of Immersive Media & Communication group at Vision & Imaging Technologies department at Fraunhofer Heinrich Hertz Institute.

His R&D activities are related to the following keywords: 3D video analysis, virtual view synthesis, real-time 3D video processing, future immersive media services exploiting Augmented Reality and Virtual Reality technologies, 3D video communication, human motion and gesture analysis and touchless interaction with media and content.

For further details about his activities, please check the subsections below.

Biography

Biography

Oliver Schreer is Associate Professor at Technical University Berlin and Head of Immersive Media & Communications Group at Vision & Imaging Technologies Department at Fraunhofer Heinrich Hertz Institute. He graduated in Electronics and Electrical Engineering at the Technical University of Berlin in 1993. From 1993 until 1998, he was research assistant at the Institute of Measurement and Automation, Group of Control Theory and System Dynamics, Technical University Berlin, responsible for lectures and practical courses in the field of image processing and pattern recognition. His research interests have been camera calibration, stereo image processing, 3D analysis, navigation and collision avoidance of autonomous mobile robots.

Since August 1998, he is working at Fraunhofer Heinrich Hertz Institute HHI. He started as scientific project manager in the Immersive Media & 3D Video Group at Image Processing Department of Fraunhofer Heinrich Hertz Institute. Since January 2015, he is leading the Immersive Media & Communications Group at Vision & Imaging Technologies Department. His main research fields and expertise are 3D video analysis, virtual view synthesis, real-time 3D video processing, future immersive media services exploiting Augmented Reality and Virtual Reality technologies, 3D video communication, human motion and gesture analysis and touchless interaction with media and content. From 2000 to 2003, he was the responsible person for the European IST-project VIRTUE at Fraunhofer HHI, leading the work package, "Real-time Platform". From February 2007 to July 2009, Dr. Oliver Schreer hold the position of a project coordinator of the European FP6 project RUSHES on "Retrieval of multimedia Semantic units for enhanced reusability" (http://cordis.europa.eu/ist/kct/rushes_synopsis.htm). From January 2008 until July 2010, he was workpackage leader of the European FP7 project "3DPresence " (3dpresence.tid.es) and from January 2010 until July 2013, he was leading the workpackage on "Scene Capture, Production Networks & Layered Production" in the European FP7 Project "FascinatE" (www.fascinate-project.eu). Oliver Schreer was also responsible for the Fraunhofer HHI activities in the Fraunhofer/Max-Planck project AVATech - Advancing Video Audio Technology in Humanities Research (www.mpi.nl/avatech) from July 2009 until June 2012. From November 2011 to October 2014, he was coordinating the contributions of Fraunhofer HHI in the FP7 project inEvent (www.inevent-project.eu). He was also responsible for the Fraunhofer HHI research activities in the national project AUVIS - Audiovisuelles Data Mining am Beispiel der Ereignissegmentierung in multimodalen Sprachdaten (tla.mpi.nl/projects_info/auvis) from July 2012 until June 2015, which was funded by the Federal Ministry of Education and Research (BMBF). Since December 2016, Oliver Schreer is official contributor to the world's largest Open Source Software Library OpenCV, release 3.2.

In November 1999, he finished his PhD in electrical engineering at the Technical University of Berlin entitled by "Stereo Image Processing and Navigation in Mobile Robotics", Dissertation 1999, Mensch & Buch Verlag, Berlin, Germany, (ISBN 3-89820-060-4). Since autumn 2001, Oliver Schreer is Adjunct Professor at the Faculty of Electrical Engineering and Computer Science, Technical University Berlin. He is giving a complementary set of lectures entitled by "Stereo Image Processing in Videocommunications" and "View Synthesis in Videocommunications".

In June 2006, Oliver Schreer received his habilitation degree in the field of "Computer Vision/Videocommunication" at the faculty of Electrical Engineering and Computer Science, Technical University Berlin. His habilitation thesis is a german lecture book on "Stereoanalysis and View Synthesis" published at Springer in 2005. Since November 2006, Oliver Schreer is Associate Professor (Privatdozent) in the same faculty in the Computer Vision and Remote Sensing Group. He is guest editor for the IEEE Transactions on Circuits, Systems and Video Technology. He published more than 100 papers in conferences and journals. Oliver Schreer is also editor of a book on "3D Videocommunication" published in 2005 at Wiley & Sons, UK. The same book has been translated to simple Chinese and published in July 2010 by Tsinghua University Beijing, China. In January 2014, another book was published at Wiley & Sons entitled by "Media Production, Delivery and Interaction for Platform Independent Systems: Format-Agnostic Media" that has been edited by O. Schreer, J.-F. Macq, O.A. Niamut, J. Ruiz-Hidalgo, B. Shirley, G. Thallinger and G. Thomas. 

Publications

Publications

Teaching

Teaching

Lecture "Stereo Image Processing" (winter term 2018/2019)

Lecture "Stereo Image Processing" (winter term 2018/2019)

Stereo Image Processing

Date: Monday, starting on 15th of October 2018
Time: 10:00 - 12:00
Room: MAR 4.062, Computer Science building Marchstr. 23

The topics of the lecture are as follows:

  • Fundamentals of projective geometry
  • Camera model
  • Camera calibration
  • Epipolargeometry
  • Estimation of the projective geometry
  • Rectification
  • Correspondence problem in stereo image processing
  • Correspondence analysis (overview and example approaches)
  • Iterative Patch Sweep for correspondence analysis
  • 3D video processing for immersive media

 Note: The lecture is given in English.

Schedule for winter term 2018/2019 - Stereo image Processing

Schedule for winter term 2018/2019 - Stereo image Processing

The slides are provided as colour version and two-on-one in grey scale at the HHI data cloud.

DateTopic
15.10.2018Introduction and overview
22.10.2018--------- skipped
29.10.2018Projective Geometry - Part I
05.11.2018Projective Geometry - Part II
12.11.2018Camera model
19.11.2018Camera calibration
26.11.2018Epipolar geometry
03.12.2018Estimation of projective stereo geometry
10.12.2018Rectification
17.12.2018--------- skipped
07.01.2019Correspondence problem
14.01.2019Stereo approaches
21.01.2019Correspondence analysis of line segments
28.01.2019Surface Region Matching for correspondence analysis
04.02.20193D Video Processing for Immersive Media
11.02.2019Visit of TiMELab and 3IT - Innovation Center for Immersive Imaging Technologies at Fraunhofer HHI

Lecture "View Synthesis" (summer term 2019)

Lecture "View Synthesis" (summer term 2019)

View Synthesis

Date: Monday, starting on 15th of April 2019
Time: 10:00 - 12:00
Room: !!! NEW lecture room !!! Geodätenstand, old part of TU main building, Strasse des 17.Juni, 6th floor.

Here is a link to a description, how to find the the new lecture room.

 

The topics of the lecture are as follows:

  • Quick tour into camera model and epipolar geometry
  • Homography
  • 3D reconstruction from two views
  • Trifocale stereo
  • The trilinearities
  • Trifocal tensor
  • Plenoptic modeling
  • View interpolation and image transfer
  • Volumetric reconstruction

Schedule for summer term 2019 - View Synthesis

Schedule for summer term 2019 - View Synthesis

The slides are provided as colour version and two-on-one in grey scale at the HHI data cloud.

DateTopic
15.04.2019Application of View Synthesis
22.04.2019-------- skipped Easter Monday ---
29.04.2019-------- skipped ---
06.05.2019Camera model and stereo geometry
13.05.2019Homography I & II
20.05.20193D Reconstruction from stereo views  & Trifocal stereo
27.05.2019Trilinearities & Trifocal tensor
03.06.2019Synthesis I - Plenoptic modelling
10.06.2019-------- skipped --- pentecost
17.06.2019Synthesis II -Image-based rendering
24.06.2019Synthesis III - Volumetric reconstruction
TBDVisit of TiMELab and 3IT - Innovation Center for Immersive Imaging Technologies at Fraunhofer HHI

Lecture Book

Lecture Book

A german lecture book is available, which contains all relevant topics of both lectures. The content of the book can be read there.
The book has been published at Springer Verlag in March 2005. Please follow this link for more information.
A sample chapter is also available. A preliminary list of errors is available here.

Literature

Literature

Introduction and Overview

O. Schreer: “ "Ein Beitrag zur Stereobildverarbeitung und mobile Robotik ", Dissertation 1999, Mensch & Buch Verlag, Berlin, Germany, (ISBN 3-89820-060-4)

O. Schreer, “Stereoanalyse und Bildsynthese”, March 2005, Springer-Verlag, Berlin, Heidelberg, New York, Tokyo, ISBN: 3-540-23439-X

O. Schreer, P. Kauff and T. Sikora, “3D Videocommunication”, July 2005, John Wiley & Sons, Chichester, UK

O. Schreer, P. Kauff: „Immersive 3D –Videokonferenz“, Der Fernmeldeingenieur, Heft 8, 55. Jahrgang, Verlag für Wissenschaft und Leben Georg Heidecker GmbH, Erlangen, August 2001

P. Kauff, R. Schäfer, O. Schreer: „Tele-Immersion in Shared Presence Conference Systems“, Int. Broadcasting Convention‘2000, Amsterdam, Netherlands, Sept. 2000

B. Jähne, „Digitale Bildverarbeitung. 6.Auflage. Springer-Verlag, 2005, ISBN 978-3-540-24999-3.

Fundamentals and Projective Geometry

I.N. Bronstein, K.A. Semendjajew: “Taschenbuch der Mathematik”, Verlag Harry Deutsch, 22.Auflage, Thun und Frankfurt/Main, 1985.

O. D. Faugeras: „Three-Dimensional Computer Vision“, The MIT Press, Cambridge, Massachusetts, London, England, 1993.

O.D. Faugeras, Q.T. Luong (2004), “The Geometry of Multiple Images”, The MIT Press, Cambridge, MA, USA, 2nd Edition

R. Mohr, B. Triggs: „Projective Geometry for Image Analysis “, Tutorial given at ISPRS, Vienna July 1996.

J.L. Mundy, A. Zissermann: “Geometric Invariance in Computer Vision”, The MIT Press, Cambridge, Massachusetts, London, England, 1992.

R.I. Hartley, A. Zisserman (2004), “Multiple View Geometry in Computer Vision”, Cambridge University Press, Cambridge, United Kingdom, 2nd Edition.

An Introduction to Projective Geometry (for computer vision) by Stan Birchfield (1998)

Projective 2D geometry (Course 2) by Marc Pollefeys (2003)

Epipolar Geometry

Zhang Z., Xu G.: „Epipolar Geometry in Stereo, Motion and Object Recognition“, Kluwer Academic Publisher, Netherlands, 1996.

H. Longuet-Higgins: „A Computer Algorithm for Reconstructing a Scene From Two Projections“, Nature, No.293, pp.133-135, 1981.

Rectification

A. Fusiello, E. Trucco, A. Verri: „Rectification with unconstrained stereo geometry“, British Machine Vision Conference, Essex, Sept.1997, pp.400-409, 1997

C. Loop, Z. Zhang: “Computing Rectifying Homographies for Stereo Vision”, Technical Report MSR-TR-99-21, Microsoft Research, April 1999.

Correspondence Problem

N. Atzpadin, P. Kauff and O. Schreer, “Stereo Analysis by Hybrid Recursive Matching for Real-Time Immersive Video Conferencing”,Trans. on Circuits and Systems for Video Technology, Special Issue on Immersive Telecommunications, Vol.14, No.3, March 2004, pp.321-334.

X. Hu, N. Ahuja: „Matching Point Features with Ordered Geometric, Rigidity and Disparity Constraints“, Trans. on Pattern Analysis and Machine Intelligence, Vol.16, No.10, October 1994.

O. Schreer, I. Hartmann, R. Adams: „Analysis of Grey-Level Features for Line Segment Stereo Matching“, Int. Conf. of Image Analysis and Processing, Florenz, Sept. 1997.

C. Gu, L. Wu: „Structural Matching of Multiresolution for Stereo Vision“, Int. Conf. on Pattern Recognition, June 1990.

R. Horaud, T. Skordas: „Structural Matching for Stereo Vision“, 9th Int. Conf. on Pattern Recognition, November 1988, Rome.

N. Ayache: „Artificial Vision for Mobile Robots“, The MIT Press, Cambridge, Massachusetts, 1991.

Camera Calibration

O. D. Faugeras, G. Toscanini: „The Calibration Problem for Stereo“, Proc. of  Int. Conf. on Comp. Vision and Pattern Recognition, Florida, 1986.

R.K. Lenz, R.Y. Tsai: „Techniques For Calibrating Of The Scale Factor And Image Center For High Accuracy 3D Machine Vision Metrology“, Int. Conf. on Robotics and Automation, pp.68-75, Raleigh, NC, 1987.

R. K. Lenz, R. Y. Tsai: „Calibrating a Cartesian Robot with Eye-on-Hand Configuration Independent of Eye-to-Hand Relationship“, Trans. on Pattern Analysis and Machine Intelligence, Vol.11, No.9, September 1989.

J. Heikkilä, O. Silven: „Calibration Procedure for Short Focal Length off-the-Shelf CCD Cameras“, Int. Conf. on Pattern Recognition, Aug. 1996, Austria.

P. Sturm: “Multi-View Geometry for General Camera Models”. Proc. of IEEE Conference on Computer Vision and Pattern Recognition, Volume 1, pp.206-212, 2005.

Z. Zhang, “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 22, Issue 11, pp.1330-1334, November 2000.

Estimation of Projective Geometry

Q.-T. Luong, R. Deriche, O.D. Faugeras, T. Papadopoulo: “On Determining the Fundamental Matrix: Analysis of Different Methods and Experimental Results”, Research Report 1994, INRIA, April 1993.

P.H.S. Torr, D.W. Murray: “The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix”, International Journal of Computer Vision, 24(3):271-300, September 1997.

Z. Zhang: “Determining the Epipolar Geometry and its Uncertanty: A Review”, Research Report 2927, INRIA, July 1996.

04), “Multiple View Geometry in Computer Vision”, Cambridge University Press, Cambridge, United Kingdom, 2nd Edition.

3D Reconstruction

C. Baillard, A. Zisserman: “Automatic Reconstruction of Piecewise Planar Models from Multiple Views”,  Proceedings of CVPR '99, pages 559-565, Fort Collins, CO, USA, June 1999.

R.P. Wildes: „Direct Recovery of Three-Dimensional Scene Geometry from Binocular Stereo Disparity“, Trans. on Pattern Analysis and Machine Intelligence, Vol.13, No.8, August 1991.

Homography

M. Han, T. Kanade: „Homography-Based 3D Scene Analysis of Video Sequences”, Proceedings of DARPA Image Understanding Workshop (IUW '98), Monteray, CA, USA, November 1998.

Z. Zhang, A. Hanson: “3D Reconstruction Based Homography Mapping”, Proceedings of DARPA Image Understanding Workshop (IUW '96), volume II, pages 1007-1012, Palm Springs, CA, USA, February 1996.

Trifocal Stereo and Trifocal Tensor

L. Falkenhagen: "Block-Based Depth Estimation from Image Triples with Unrestricted Camera Setup," IEEE Workshop Multimedia Sig. Proc., Princeton, NJ, June 1997.

O. D. Faugeras, L. Robert: “What can two images tell us about a third one?” The International Journal of Computer Vision, 18(1):5-20, April 1996.

N. Ayache, F. Lustmann: „Trinocular Stereo Vision for Robotics“, Trans. on Pattern Analysis and Machine Intelligence, Vol.13, No.1, January 1991.

U.R. Dhond, J. K. Aggarwal: “A Cost-Benefit Analysis of a Third Camera for Stereo Correspondence”, International Journal of Computer Vision, 6(1):39-58, 1991.

R.I. Hartley: “Lines and Points in Three Views and the Trifocal Tensor”, The International Journal of Computer Vision, 22(2):125-140, March 1997.

P.H.S. Torr, A.Zisserman: “Robust Parameterization and Computation of the Trifocal Tensor”, Image and Vision Computing, 15(8):591-605, August 1997.

View Synthesis

S.Laveau, O.D. Faugeras: “3-D Scene Representation as a Collection of Images and Fundamental Matrices”, Research Report 2205, INRIA, February 1994.

W.R. Mark, G.Bishop: „Efficient Reconstruction Techniques for Post-Rendering 3D Image Warping”, Technical Report TR98-011, University of North Carolina at Chapel Hill, 1998.

S. Avidan, A. Shashua: “Novel View Synthesis by Cascading Trilinear Tensors”, IEEE Transactions on Visualization and Computer Graphics, 4(4):293-306, October-December 1998.

Details about examination

Details about examination

Dates for exams by agreement. The examination is performed as individual examination with a duration of 30 min per candidate. It consist on written and oral parts.

Next possibility for oral exam is after end of summer term in July 2018.

Beside this, you may request via email for an examination date for "Stereo Image Processing in Videocommunication" or "View Synthesis in Videocommunication".

Evaluation of past lectures (in German)

Evaluation of past lectures (in German)

Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2015/2016
Was hat Ihnen besonders gut gefallen?
  • Folien: ausführlich, online, Seitennummern im Buch, anschaulich durch viele Beispiele/Bilder
  • Referenzen zum aktuellen Stand der Forschung
  • Aufbau der Vorlesung und Buch begleitend zur Vorlesung
  • Dozent geht auf Stichpunkte/Grafiken der Folien ein
  • Redetempo gut/angenehm
  • Handout zu mathematischen Grundlagen hilfreich
Was fanden Sie verbesserungswürdig?
  • Themen werden zu schnell abgehandelt
  • Manche Herleitungen zu ausführlich
  • Herleitung mancher mathematischer Formeln könnte ausführlicher sein
  • Mehr praktische Beispiele/Rechenübungen oder Implementierungsaufgaben
  • Auf Beispiele in OpenCV eingehen, mehr Praxisnähe

Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2016
Was hat Ihnen besonders gut gefallen?
  • Nachträgliche Verbesserungen in den Folien
  • Kombination von theoretischen Inhalten und praktischen Beispielen
  • Vortragsstil, freundliche und zuvorkommend Art des Dozenten
  • Schöne Gliederung, Zusammenfassungsfolie
  • Tolle Beispiele und interessante Inhalte
  • Gute Graphiken, Zeichnungen zur Geometrie
Was fanden Sie verbesserungswürdig?
  • Teilweise Redundanz in der theoretischen Herleitung
  • Nicht-handschriftliche Ergänzungen zur Theorie hilfreich
  • Die Absicht bei den Herleitungen ist im Nachhinein nicht mehr eindeutig
  • Sprechtempo war etwas zu langsam
  • Indizes in den Folien sollten überprüft werden
  • Handschrift teils unleserlich
  • Übersicht über Thema bei Vorlesungsbeginn

Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2015/2016
Was hat Ihnen besonders gut gefallen?
  • Bereitstellung der Lehrmaterialien
  • Zeitplan
  • Struktur der Vorlesung und Inhalte
  • Zusammenfassung am Ende des Themas
  • Selbst Beispiele rechnen
Was fanden Sie verbesserungswürdig?
  • Geometrische Bedeutung der Formeln besser erklären
  • Mehr praktische Beispiele
  • Tempo manchmal zu schnell
  • Hausaufgaben oder Programmierübungen nach der Vorlesung
  • Lichtverhältnisse im Seminarraum

Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2015
Was hat Ihnen besonders gut gefallen?
  • Vorlesung orientiert sich am Buch, sehr gut für die Vor- und Nachbereitung
  • Video- und Bildbeispiele aus der Praxis des Fraunhofer HHI
  • Aufbau der Folien
  • Bilder in den Folien bauen sich nach und nach auf
  • Vorlesungstempo und Vertiefung/Erklärung bestimmter Themen
Was fanden Sie verbesserungswürdig?
  • Längere Überlegungen und Gedankenpausen des Dozenten stören den Gedankenfluss
  • Mehr anschauliche Beispiele

Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2014/2015
Was hat Ihnen besonders gut gefallen?
  • Vorlesungsfolien im Voraus
  • Kein Mitschreiben der Herleitungen notwendig
  • Folien und ausführliche Beschreibung der Thematik
  • Ausgewogenheit zwischen Theorie und geometrischem Verständnis
  • Gute Veranschaulichung komplexer Zusammenhänge (z.B. projektive Geometrie)
Was fanden Sie verbesserungswürdig?
  • Mehr Praxisbeispiele, Demos, algorithmische Beispiele
  • Farbwahl der Folien verbessern, zu geringer Kontrast

Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2014
Was hat Ihnen besonders gut gefallen?
  • Inhalte der Vorlesung
  • Kostenloser Download des Buches
  • Anschauliches Bildmaterial
  • Darstellung der mathematischen Hintergründe
Was fanden Sie verbesserungswürdig?
  • Verweise auf Buchkapitel und Zusatzliteratur
  • Mehr Animationen
  • Vorlesungstempo könnte höher sein
  • Überlappung mit LV Stereobildverarbeitung
  • Vor-und Nachteile von Verfahren verdeutlichen
  • Bessere Vorbereitung bei handschriftlichen Herleitungen und ausführlichere Darstellung

Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2013/2014
Was hat Ihnen besonders gut gefallen?
  • Gute Vorbereitung
  • Interessante Themen, neue Forschungsthemen
  • Gut strukturiert, konsistente Verwendung von Begriffen und Bezeichnungen
  • Übersichtliche Folien und sehr gute Skizzen
  • Offener Umgang, sehr gute Beantwortung von Fragen
Was fanden Sie verbesserungswürdig?
  • Mehr Bilder aus der Anwendung, mehr Animationen
  • Herleitungen mancher Formeln verbessern
  • Rechenübungen teilweise überflüssig
  • Aktuellere Beispiele

Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2013
Was hat Ihnen besonders gut gefallen?
  • Neue Aspekte von Bildverarbeitungsmethoden
  • Interessante Forschungsthemen
  • Gute Beantwortung der Fragen
  • Herleitung auf Tablet
Was fanden Sie verbesserungswürdig?
  • Beispiele für Algorithmen, Programmierbeispiele
  • Bei theoretischen Herleitungen, Grafiken zur Anschauung

 


Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2012/2013
Was hat Ihnen besonders gut gefallen?
  • Rechenaufgaben
  • Praktische Beispiele
  • Guter Aufbau und gute Struktur der Vorlesung
  • Gute Kommunikation, Folien schnell online verfügbar
  • Mathematische Zusammenhänge gut verständlich
Was fanden Sie verbesserungswürdig?
  • Mehr Videos zur Erläuterung von Verfahren
  • Formeln in den Folien sind schlecht lesbar
  • Mehr Beispielaufgaben
  • Herleitungen eher auf Folie als an der Tafe

Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2012
Was hat Ihnen besonders gut gefallen?
  • Praktische Beispiele
  • Visualisierung komplexer Inhalte
  • Forschungsbezug
  • Wiederholung am Anfang jeder Vorlesung
  • Handouts z.B. zum ersten Vorlesungsthema
  • Flexible Wahl des Prüfungstermins
  • Angemessenes Tempo
  • Ausführliche Beschreibung der Inhalte durch Tafelbilder, Formeln, Gafiken
Was fanden Sie verbesserungswürdig?
  • Vorlesungsfolien vor der Vorlesung
  • Mathematische Folien zu wenig selbsterklärend, Notizen auf den Folien wäre gut
  • Mehr Beispiele aus der Praxis
  • Vortragstempo steigern
  • Mehr Umdrucke nicht nur zu Semesterbeginn

Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2011/2012
Was hat Ihnen besonders gut gefallen?
  • Vorlesungstempo
  • Rechenaufgaben
  • Klare Abgrenzung der Themen
  • Anwendung mathematischer Verfahren
Was fanden Sie verbesserungswürdig?
  • Folien sind nicht vor der Vorlesung im Netz verfügbar
  • Herleitungen sollten auch auf die Folie
  • Manchmal zu langsam
  • Paralleler Übungsbetrieb wäre schön

Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2011
Was hat Ihnen besonders gut gefallen?
  • Anschauliche Beispiele aus der Praxis
  • Handouts z.B. zum ersten Vorlesungsthema
  • Aktuelle Forschung
  • Materialien und Vorlesung gut aufeinander abgestimmt
  • Langsamer, ausführlicher, guter Vortrag
Was fanden Sie verbesserungswürdig?
  • Mehr schriftliche Zusammenfassung
  • Fragmentierter Zeitplan
  • Vortragstempo steigern
  • Bedeutung einiger Graphiken ohne Erklärung nicht erkennbar
  • detailliertere Erklärungen in den Folien

 


Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2010/2011
Was hat Ihnen besonders gut gefallen?
  • Gute verständliche Erklärung
  • Kurze Rechenübung
  • Bezug zu aktuellen Forschungsergebnissen, praxisnahe Themen
  • Sinnvoller Aufbau
  • Evaluation
  • VL zur projektiven Geometrie verständlicher als in anderen Vorlesungen
Was fanden Sie verbesserungswürdig?
  • Folien sind nicht vor der Vorlesung im Netz verfügbar
  • Bei den Rechenübungen sollten Formlen für die Berechnung nochmal wiederholt werden
  • Folie mit Zusammenfassung und Gleichungen
  • Implementierungsdetails, Laufzeiten d. Algorithmen

 


Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2010
Was hat Ihnen besonders gut gefallen?
  • Roter Faden
  • Souverän
  • Vortragsaufbau
  • Materialien und Vorlesung gut aufeinander abgestimmt
  • Langsamer, ausführlicher, guter Vortrag
Was fanden Sie verbesserungswürdig?
  • Keine Praxis/Tutorien
  • Man droht in einer Menge von Formeln zu „ertrinken“

Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2009/2010
Was hat Ihnen besonders gut gefallen?
  • Auf Fragen wird gut eingegangen
  • Bezug zum gesamten Thema der Vorlesung
  • Kleine Teilnehmeranzahl
  • Langsame und ausführliche Vortragsweise
  • Vorlesungstempo
  • Leicht für einen Ausländer zu verstehen
Was fanden Sie verbesserungswürdig?
  • Folien sind nicht vor der Vorlesung im Netz verfügbar
  • Mathematische Formeln sollten mit mehr Beispielen gerechnet werden
  • Keine praktischen Implementierungen, Übungen in Matlab wären toll

 


Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2009
Was hat Ihnen besonders gut gefallen?
  • Gute Folien
  • Guter Vortragsstil und gute Erklärungen
  • Vorlesung mit Warping und trivalentem Tensor gab guten Einblick in BS-Verfahren
  • Guter Einblick in die mathematische Theorie, Herleitungen
  • Praxisbezug und Aktualität
  • Verdeutlichung der Theorie mit kleinen Videos/Animationen (Tempel, Panoramen)
  • Wiederholung der letzten Vorlesung
Was fanden Sie verbesserungswürdig?
  • Mathematische Herleitungen oft schnell zu undurchsichtig
  • Vortragsweise könnte lebhafter sein, Betonung
  • Teilweise fehlen einfache Beispiele, um die Theorie besser verstehen zu können
  • Indizierung der Bezeichner nicht konsistent zwischen Tafelbild und Folien

 


Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2008/2009
Was hat Ihnen besonders gut gefallen?
  • Fragen wurden geklärt
  • Ruhige Art des Dozenten
  • Praxisnahe Beispiele
  • Übersichtliche geometrische Darstellungen
  • Tolle Anregungen für eigene Matlab-Untersuchungen
  • Rechenübungen unterstützen das Verständnis
  • Tempo nicht zu schnell
  • Gute Folien aus sich verständlich
Was fanden Sie verbesserungswürdig?
  • Schlecht gibt‘s nich
  • Da fällt mir nichts ein

 


Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2008
Was hat Ihnen besonders gut gefallen?
  • Folien und Tafelbild
  • Einblicke in die Praxis
  • Übungsaufgaben
  • Kleine Wiederholungen und Übungen sehr hilfreich
  • Gute anschauliche Folien
  • Netter und sympathischer Vortragsstil
  • Fragen sehr gut beantwortet
Was fanden Sie verbesserungswürdig?
  • Übungsaufgaben könnten häufiger sein
  • Vortragstempo könnte schneller sein
  • Etwas ausführlichere Folien

 


Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2007/2008
Was hat Ihnen besonders gut gefallen?
  • Das Thema der Vorlesung
  • Rechenübungen sind sehr nützlich
  • Die erste Vorlesung
  • Nutzung nicht nur von Folien sondern auch Erklärungen an der Tafel
  • Der Professor ist nett
  • Die Einladung ins Labor
Was fanden Sie verbesserungswürdig?
  • Etwas mehr Praxisnähe
  • Folien sind nicht vor der Vorlesung im Netz verfügbar
  • Folien könnten ausführlicher sein
  • Mathematische Formeln sind ein bisschen schwer zu verstehen
  • Keine praktischen Implementierungen, Übungen in Matlab wären toll

Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2007
Was hat Ihnen besonders gut gefallen?
  • Praktische Beispiele
  • Bildbeispiele
Was fanden Sie verbesserungswürdig?
  • Oftmals sehr theoretisch
  • Motivation am Anfang der Vorlesung wäre hilfreich
  • Dozent orientiert sich stark nach dem Lehrbuch
  • Inhalt ohne Buch schwer zu erfassen

Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2006/2007
Was hat Ihnen besonders gut gefallen?
  • Rechenübungen und die Zeit dafür während der Vorlesung
  • Vorlesungen sind gut strukturiert und verständlich
  • Inhaltlich sehr interessant
  • Die praktischen Beispiele (z.B. Homographie, Epipolargeometrie)
  • Nicht zu theoretisch
  • Teile der Vorlesung in Englisch
  • Vorlesung deckt einen großen Bereich ab
  • Tempo der Vorlesung
Was fanden Sie verbesserungswürdig?
  • Etwas mehr Praxisnähe
  • Folien sind nicht aus sich heraus verständlich, wodurch man gezwungen ist, das Buch zu kaufen (gibt es nicht in der Unibibliothek)

Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2005/2006
Was hat Ihnen besonders gut gefallen?
  • Gutes Skript, scheint sehr umfangreich
  • Inhalte der Vorlesung
  • Die Probleme werden genau erklärt
Was fanden Sie verbesserungswürdig?
  • Dieses Semester nichts

Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2005
Was hat Ihnen besonders gut gefallen?
  • Gutes Skript, scheint sehr umfangreich
  • Kompetenter Dozent
  • Gute Kombination aus Vortrag, Tafelbild, PowerPoint-Präsentation und Skript
  • Trotz weniger Studierender wird die Vorlesung gehalten
Was fanden Sie verbesserungswürdig?
  • Vortrag manchmal zu langsam
  • Einführung in die benötigten Grundlagen der Geometrie wären nützlich
  • Zu geringe Teilnehmerzahl

Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2004/2005
Was hat Ihnen besonders gut gefallen?
  • Inhalt der Vorlesung
  • Skript
  • Dozent beantwortet alle Fragen sehr freundlich
  • Die Übungsaufgaben helfen beim Verständnis
Was fanden Sie verbesserungswürdig?
  • Übungsaufgaben könnten auch im Umdruck stehen

Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2004
Was hat Ihnen besonders gut gefallen?
  • Gute theoretische Grundlagen
  • Ausgedruckte Materialien unentgeltlich
  • Anzahl und Übersichtlichkeit der Folien
Was fanden Sie verbesserungswürdig?
  • Teilweise zuviel Theorie
  • Zu wenige Beispiele, wie sieht das in der Praxis aus?
  • Sprachtempo des Dozenten, viele Pausen
Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2003/2004
Was hat Ihnen besonders gut gefallen?
  • Rechnen von Beispielaufgaben
  • Ausgewogenheit zwischen Präsentation und Tafel
  • Zeichnungen gut verständlich, Inhalt baut aufeinander auf
  • Die 1. Vorlesung
  • Leicht verständlich, keine Vorkenntnisse
  • Kostenlose Handouts und Folien
  • Dozent ist bemüht und kennt Inhalt der VL sehr gut
Was fanden Sie verbesserungswürdig?
  • Skript ist nur kurze Zusammenfassung der VL
  • Weiterführende Literatur angeben
  • Beschreibung der Zeichnungen und mathem. Formeln
  • Zu viel Zeit für Rechenaufgaben
  • Dozent leicht nervös, redundante Erklärungen, VL zieht sich in die Länge
  • Inkorrekte Links auf Web-Seite
  • Wenig Beispiele

Ergebnis der Umfrage zur Vorlesung " Bildsynthese in der Videokommunikation" im SoSe 2003
Was hat Ihnen besonders gut gefallen?
  • Sehr guter Aufbau der Vorlesung
  • Die Zeichnungen in den Folien
  • Folien waren i.A. gut aufgebaut
  • Skript ähnelt der Vorlesung inhaltlich, hilfreich zum Nacharbeiten
  • Vorlesung ist verständlich, Theorie ist gut erklärt
  • Rechenaufgaben meist sehr einfach, führt zu besserem Verständnis
Was fanden Sie verbesserungswürdig?
  • Rechenaufgaben sind nicht immer verständlich
  • Mathematik ist ok, aber es ist nicht immer verständlich, was die Theorie bedeutet
  • Formeltheorie mit Ergebnissen aus Forschungsprojekten erklären

Anregung: Andere Techniken zur 3D Videokommunikation behandeln, was macht die Konkurrenz?

Ergebnis der Umfrage zur Vorlesung "Stereobildverarbeitung in der Videokommunikation" im WS 2002/2003
Was hat Ihnen besonders gut gefallen?
  • Die Handouts, gute Zusammenfassung, Bilder anschaulich
  • Zusammenfassungen zu den einzelnen Vorlesungen sind sehr sinnvoll
  • Ausgewogenheit zwischen Skript, Folien und Tafel
  • Klare nachvollziehbare Entwicklung des Materials
  • Einführung war sehr motivierend
  • Übungen zur Vektorrechnung
Was fanden Sie verbesserungswürdig?
  • Am Anfang der LV zu langsames Tempo und zum Ende zu schnell
  • Manchmal wird zu oft wiederholt (ist aber nicht besonders schlecht)
  • An manchen Stellen zu ausführlich (besonders am Anfang)
  • Nicht so viele Beispiele zum Nachrechnen, es könnten mehr sein

Ergebnis der Umfrage zur Vorlesung "Multi-View Geometrie in 3D Vision" im SoSe 2002

 

Books

Books

Media Production, Delivery and Interaction for Platform Independent Systems:
Format-Agnostic Media.
by O. Schreer, J.-F. Macq, O.A. Niamut, J. Ruiz-Hidalgo, B. Shirley, G. Thallinger, G. Thomas (eds.), John Wiley & Sons, Chichester, UK, January 2014

Presents current trends and potential future developments by leading researchers in immersive media production, delivery, rendering and interaction. The underlying audio and video processing technology that is discussed in the book relates to areas such as 3D object extraction, audio event detection; 3D sound rendering and face detection, gesture analysis and tracking using video and depth information. The book will give an insight into current trends and developments of future media production, delivery and reproduction. Consideration of the complete production, processing and distribution chain will allow for a full picture to be presented to the reader. Production developments covered will include integrated workflows developed by researchers and industry practitioners as well as capture of ultra-high resolution panoramic video and 3D object based audio across a range of programme genres. Distribution developments will include script based format agnostic network delivery to a full range of devices from large scale public panoramic displays with wavefield synthesis and ambisonic audio reproduction to ’small screen’ mobile devices. Key developments at the consumer end of the chain apply to both passive and interactive viewing modes and will incorporate user interfaces such as gesture recognition and ‘second screen’ devices to allow manipulation of the audio visual content.

3D Videocommunication: Algorithms, concepts and real-time systems in human centred communication.

O. Schreer, P. Kauff, Th. Sikora (eds.)

ISBN: 0-470-02271-X, Hardcover, 364 pages, John Wiley & Sons, Chichester, UK,
July 2005

Since April 2011, a translation of this book to simple Chinese is available. Translated by Q. Dai, X. Cao, and G. Er, Department of Automation, Tsinghua University, Beijing, China: 3D Videocommunication, simple chinese edition, Tsinghua University Press, Beijing, China, April 2011.

The migration of immersive media towards telecommunication applications is advancing rapidly. Impressive progress in the field of media compression, media representation, and the larger and ever increasing bandwidth available to the customer, will foster the introduction of these services in the future. One of the key components for the envisioned applications is the development from two-dimensional towards three-dimensional audio-visual communications. With contributions from key experts in the field, 3D Videocommunication:

  • provides a complete overview of existing systems and technologies in 3D video communications and provides guidance on future trends and research;
  • considers all aspects of the 3D videocommunication processing chain including video coding, signal processing and computer graphics;
  • focuses on the current state-of-the-art and highlights the directions in which the technology is likely to move;
  • discusses in detail the relevance of 3D videocommunication for telepresence systems and immersive media; and
  • provides an exhaustive bibliography for further reading.

Researchers and students interested in the field of 3D audio-visual communications will find 3D Videocommunication a valuable resource, covering a broad overview of the current state-of-the-art. Practical engineers from industry will also find it a useful tool in envisioning and building innovative applications.

Stereoanalyse und Bildsynthese (engl. Stereo Analysis and View Synthesis),
by Schreer, O. 2005, XII, 278 pages, 165 illustrations.
Softcover, Springer-Verlag, Berlin, Heidelberg, New York, Tokyo, ISBN 3-540-23439-X, March 2005

Content of the book
Sample chapter
Errata

Seit März 2005 ist ein deutschsprachiges Lehrbuch zur "Stereoanalyse und Bildsynthese" im Springer Verlag erhältlich. Weitere Informationen finden sie hier.

Dieses Buch behandelt das sehr junge Forschungsgebiet der Stereobildanalyse und Bildsynthese. Basierend auf einer ausführlichen Darstellung der projektiven Geometrie leitet der Autor das mathematische Modell einer einzelnen Kamera, die Stereogeometrie und die geometrischen Beziehungen zwischen mehreren Kameraansichten her. Er erläutert detailliert die Herausforderungen in der Stereoanalyse, gibt eine Übersicht über existierende Verfahren und Lösungskonzepte und beschreibt moderne Bildsyntheseverfahren. Zahlreiche praktische Beispiele ergänzen die detaillierten mathematischen Ausführungen und erleichtern so das Verständnis. Das Buch überzeugt durch den logischen Aufbau und durch die geschlossene Erläuterung der mathematischen Grundlagen in einer einheitlichen Form und Notation. Es eignet sich besonders für Studierende und Wissenschaftler der Elektrotechnik und Informatik, insbesondere der Kommunikationstechnik.

Geschrieben für:
Studierende an Universitäten und Technischen Hochschulen in Elektrotechnik, Nachrichtentechnik, Informatik, Kommunikationstechnik; wissenschaftlich Tätige in Forschung und Industrie (Industrielle Bildverarbeitung, Videokommunikation, Medienproduktion).

Hinweis: Kein Buch ist perfekt. Falls Sie Fehler finden, bin ich um jeden Hinweis dankbar. Bitte senden Sie eine email an Oliver Schreer.

Lectures, Awards, ...

Lectures, Awards, ...

Lectures

O. Schreer, "Challenges and Solutions for Real-Time Immersive Video Communication", University of Genova, Italy, Biophysical and Electronic Engineering Dept., Prof. Carlo Regazzoni, duration 10 hours, 13-15 April 2005.

O. Schreer, "Stereoanalysis and View Synthesis in 3D Video Communication", University of Verona, Italy; Vision, Image Processing and Sound Laboratory; Dept. of Computer Science, Prof. Andrea Fusiello, 7th VIPS Advanced School on Computer Vision, Pattern Recognition and Image Processing, duration 16 hours, 13-16 March 2006.

Awards

Advanced Imaging Society (AIS) Technology Award 2017, Ingo Feldmann, Dr. Oliver Schreer, Peter Kauff, Christian Weissig, Danny Tatzelt, Thomas Ebner, Sylvain Renault, "3D Human Body Reconstruction"; Los Angeles, CA, USA, January 16, 2018.

Nomination for the Berlin Brandenburg Innovation Price 2017 Oliver Schreer. Ingo Feldmann, Thomas Ebner, Sylvain Renault, Peter, Kauff, D. Brückner (UFA Lab), E. Feiler (UFA Lab), F. Mrongowius (UFA Lab), F. Govaere (UFA Lab), "Volumetrisches Video - Schlüsseltechnologien für den begehbaren Film (Volumetric video - key technology for the walkable movie)"; 10 selecetd nominations out of 134 submissions, Berlin, Germany, December 1, 2017.

Distinguished Paper Award of SID Symposium Digest of Technical Papers 2017 to Thomas Ebner, Ingo Feldmann, Sylvain Renault, and Oliver Schreer for their paper "Dynamic Real World Objects in Augmented and Virtual Reality Applications" published at SID Symposium Digest of Technical Papers, Los Angeles, USA, May 2017.

Lumiére Best Paper Award of the International 3D & Advanced Imaging Society 2014 to S. Ebel, W. Waizenegger, M. Reinhardt, O. Schreer and I. Feldmann for their paper “Visibility-driven Patch Group Generation,” published at IEEE International Conference on 3D Imaging (IC3D), Liege, Belgium, December 2014.

EURASIP - Bi-Annual Best Paper Award 2012 to P. Kauff, N. Atzpadin, C. Fehn, M. Mueller, O. Schreer, A. Smolic, and R. Tanger, for their paper “Depth map creation and image-based rendering for advanced 3DTV services providing interoperability and scalability,” published in Signal Processing: Image Communication. Vol. 22, pp. 217–234, 2007.

President's Award for Best Technical Paper at International Broadcast Conference 2001 (IBC) to C. Fehn, P. Kauff, O. Schreer and Ralf Schäfer for their paper "Interactive Virtual View Video for Immersive TV Applications", published at proceedings of International Broadcast Conference (IBC 2001), Amsterdam, Netherlands, pp. 53-61, September 2001.

Committees

Chair of Special Session “Interactive and Immersive Entertainment and Communication ”, 18th International Conference on MultiMedia Modeling (MMM 2012), January 4-6, 2012, Klagenfurt, Austria

Program Chair, 12th International Workshop on Image Analysis for Multimedia Interactive Services (WIAMIS), May 13-15, 2011, Delft, Netherlands

General Chair, 1st International Workshop on 3D Video Processing (3DVP), in conjunction with ACM Multimedia 2010, Florence, Italy, 29th October 2010.

Chair of Special Session “Real-time high definition depth estimation”, 3DTV-CONFERENCE, June 7-9, 2010, Tampere, Finland.

Chair of Special Session “Rushes - Multimedia Indexing and Retrieval of Unedited Audio-Visual Footage”, 9th International Workshop on Image Analysis for Multimedia Interactive Services (WIAMIS), May 7-9, 2008, Klagenfurt, Austria.

Demonstrations

O. Schreer, "Real-time Gesture Recognition and Avatar Animation System”, Int. Conf. on Image Analysis and Processing (ICIAP), Modena, Italy, September 2007.

O. Schreer, P. Eisert, P. Kauff, R. Tanger, R. Englert, "GestAvatar - Real-Time Animation of Avatars", 9th European Conf. on Computer Vision (ECCV), Graz, Austria, May 2006.

An Artist's Impression by Emanuele Trucco

An Artist's Impression by Emanuele Trucco

Emanuele Trucco is not only an enthusiastic researcher in computer vision, but also an outstanding artist. He kindly offered me a set of introductory drawings for my lecture book on stereo image processing and view synthesis at Springer.

All about his scientific work at School of Computing, University of Dundee, Scotland, can be found here.