24. Juli 2019
Eines der Schwerpunktthemen in der Forschungsarbeit des Fraunhofer Heinrich-Hertz-Instituts HHI ist die effiziente Kompression von neuronalen Netzen. Auf dem letzten Standardisierungstreffen der Moving Picture Experts Group (MPEG) wurde die von Forschenden des Instituts entwickelte Kompressionsmethode DeepCABAC (context-adaptive binary arithmetic coding for deep neural network compression) als grundlegendes Basismodell zur Standardisierung für die Kompression und Repräsentation von neuronalen Netzen ausgewählt.
Neuronale Netze prägen bereits heute den Alltag, denn sie bilden die Basis für viele aktuelle Ansätze zur Künstlichen Intelligenz (KI). KI-Systeme sind ein wesentlicher Bestandteil von zukunftsorientierten Technologien wie autonomes Fahren und spielen auch beim Mobilfunkstandard der nächsten Generation – 5G – eine wichtige Rolle. Allerdings benötigen sie durch ihre hohe Anzahl an Parametern (Gewichte) aktuell noch viel Rechenkapazität und Arbeitsspeicher, sodass sie ohne eine starke Kompression beispielsweise nur schwer in Mobiltelefone integrierbar sind.
Zur Lösung dieses Problems haben Forschende des Fraunhofer HHI eine Kompressionsmethode für neuronale Netze entwickelt: DeepCABAC. Für die Entwicklung von DeepCABAC arbeiten im Institut Forschende aus den zwei Bereichen Videokodierung und Maschinelles Lernen eng zusammen. Durch den Wissens- und Erfahrungsaustausch konnte die langjährige Expertise auf dem Feld der Videokodierung auch für die Kompression von neuronalen Netzen genutzt werden. So wurde für die verlustlose Kompression der ausgedünnten und quantisierten Gewichte auf das im Fraunhofer HHI entwickelte Verfahren CABAC aufgebaut. CABAC ist Bestandteil der weltweit dominierenden Videokodierstandards H.264/AVC und H.265/HEVC. Jedes zweite Bit im Internet wird heute auf Basis der CABAC-Technologie erzeugt.
Durch seine adaptive, kontextbasierte Ratenmodellierung erlaubt DeepCABAC eine optimale Quantisierung und Kodierung der Gewichtsmatrizen des neuronalen Netzes und somit eine sehr starke Kompression ohne Performanzverluste. Häufig kann eine Kompression auf weniger als fünf Prozent der ursprünglichen Größe des neuronalen Netzes ohne nennenswerte Beeinträchtigung der Prädiktionsgüte („Intelligenz“) des Netzes erzielt werden.
Bereits auf dem vorletzten MPEG-Meeting im März 2019 wurden neun Vorschläge zur Entwicklung eines internationalen Standards zur Kompression neuronaler Netzwerke eingereicht, darunter auch der DeepCABAC-Vorschlag des Fraunhofer HHI. Nach umfangreichen Core-Experimenten und Evaluierungen aller eingereichten Vorschläge wurde auf dem letzten MPEG-Meeting schließlich ein erstes Testmodell für den zukünftigen Standard spezifiziert. Dabei wurde DeepCABAC als grundlegende Kompressionstechnologie für zwei der drei wesentlichen technologischen Komponenten in der Kompressions-Pipeline für neuronale Netze ausgewählt. Damit ist der Vorschlag des Fraunhofer HHI federführend für die weitere Entwicklung des neuen Kompressionsstandards. Der finale Entwurf des internationalen Standards soll im April 2021 fertiggestellt werden.