Die Abteilung Videokommunikation und Applikationen (Video Communication and Applications, VCA) des Fraunhofer Heinrich-Hertz-Institut (HHI) wurde vergangene Woche beim diesjährigen Picture Coding Symposium (PCS 2025) in Aachen ausgezeichnet. Das Paper „UNNIP: Memory Optimized Universal Neural Network Intra-Prediction for Custom On-Chip Hardware-Architectures“ erreichte den 2. Platz bei der Verleihung des Best Paper Awards.
Doktorand Viktor Herrmann, Mitarbeiter der Arbeitsgruppe Embedded Systems, geleitet von Prof. Dr. Benno Stabernack, beschäftigt sich im Rahmen seiner Forschungstätigkeit mit speziellen Hardwarearchitekturen für ML-basierte Videocodierung. In diesem Kontext hat Viktor Herrmann einen innovativen Ansatz erarbeitet, der theoretische Grundlagen neuronaler Netze gezielt mit hardware-naher Optimierung verbindet.
Die Arbeit adressiert ein zentrales Problem ML-gestützter Videocodierung: Den hohen Speicherbedarf neuronaler Netze, der deren Einsatz in energie- und Chip-flächenbeschränkten Hardware-Architekturen bislang stark eingeschränkt hat. Durch den Einsatz eines universellen Feature-Extraction-Backbones und gezielt optimierter Machine-Learning-Verfahren konnte der erforderliche Speicherbedarf auf etwa ein Zehntel gegenüber konventionellen Ansätzen reduziert werden.
Forschungsschwerpunkt: Speicheroptimierte ML für Videocodierung
Durch ein universelles Feature-Extraction-Backbone wird der Speicherbedarf deutlich reduziert – ein entscheidender Schritt für die praktische Einsetzbarkeit von ML-gestützter Videocodierung. Ein FPGA-basierter Prototyp, also eine Vorab-Version des späteren Chips, der allerdings nur einen Teil der späteren Funktionen zeigt, demonstriert, dass die Architektur auch unter Echtzeitbedingungen für Full-HD-Video bei 30 FPS funktioniert.
Impuls für zukünftige Videocodierungsstandards
Die Arbeit zeigt, wie sich ML-gestützte Verfahren effizient in Videocodierungs-Frameworks integrieren lassen. Damit leistet das Team einen wichtigen Beitrag zur Weiterentwicklung zukünftiger Standards und zur praxisnahen Umsetzung leistungsfähiger Encoder- und Decoder-Hardware.
Mit dem 2. Platz beim Best Paper Award unterstreicht die Abteilung VCA des Fraunhofer HHI in Zusammenarbeit mit der Universität Potsdam ihre führende Rolle in der internationalen Forschungsgemeinschaft und setzt ein starkes Zeichen für die Innovationskraft des Instituts.
Weitere Informationen zum Symposium finden Sie hier.
