17. Juni 2022
Die IEEE/CVF Computer Vision and Pattern Recognition (CVPR 2022) hat ein Paper von Forschern der Abteilung „Vision and Imaging Technologies” des Fraunhofer Heinrich-Hertz-Instituts (HHI) angenommen. Die Veröffentlichung von Markus Worchel, Rodrigo Diaz, Weiwen Hu, Oliver Schreer, Ingo Feldmann und Peter Eisert wurde im Rahmen des EU-Projektes INVICTUS verfasst. Sie behandelt die hochgenaue und performante 3D-Rekonstruktion von Objekten.
Im digitalen Zeitalter sind Avatare allgegenwärtig geworden. Angesichts des riesigen Marktes für Avatar-basierte digitale Unterhaltung entwickelt das EU-finanzierte Projekt INVICTUS (Innovative Volumetric Capture and Editing Tools for Ubiquitous Storytelling) digitale Design-Tools zur Erzeugung animierbarer volumetrischer Videos. Mit diesen Tools können dynamische 3D Repräsentationen von virtuellen Menschen in hoher Qualität erstellt, bearbeitet und neu animiert werden. Das Fraunhofer HHI konzentriert sich dabei auf die Entwicklung neuer und effizienter Technologien für die volumetrische Erfassung, Nachbearbeitungswerkzeuge für volumetrische Videos und die realistische Synthese neuer 3D Sequenzen über neuronales Rendering.
Die in diesem Rahmen entstandene Forschungsarbeit von Mitarbeitenden des Fraunhofer HHI, „Multi-View Mesh Reconstruction with Neural Deferred Shading”, beschäftigt sich mit der Erzeugung hochqualitativer 3D-Modelle von Objekten und Personen aus Bildern. Durch die Verwendung von differentiellen Renderern sowie durch die KI-gestützte Analyse von Reflexionseigenschaften der Oberflächen können feinste Details rekonstruiert und Materialeigenschaften der virtuellen Objekte verändert werden. Die in dem Paper vorgestellten Methoden finden Anwendung in der verbesserten Erzeugung von volumetrischen Videos und in der Generierung von 3D-Assets für virtuelle Umgebungen.
Das Paper wird auf der diesjährigen IEEE/CVF CVPR vorgestellt, die im Juni in New Orleans, USA, stattfindet. Die IEEE/CVF CVPR ist die wichtigste jährliche Veranstaltung zum Thema Computer Vision und umfasst die Hauptkonferenz sowie mehrere parallel stattfindende Workshops und Kurse.