2. Juli 2019
Beim „International Conference on Machine Learning (ICML) 2019 Workshop – Joint Workshop on On-Device Machine Learning & Compact Deep Neural Network Representations“ erhielt das Fraunhofer HHI den „Best Paper Award“ zum Thema: „DeepCABAC: Context-adaptive binary arithmetic coding for deep neural network compression“. Durch seine adaptive, kontextbasierte Ratenmodellierung erlaubt DeepCABAC eine optimale Quantisierung und Kodierung der Gewichtsmatrizen des neuronalen Netzes und somit eine sehr starke Kompression ohne Performanzverluste.
Für die Kompression von hochkomplexen neuronalen Netzen gibt es viele Gründe. Vor allem bei praktischen Anwendungen spielt die effiziente Ausführung eine große Rolle, um beispielweise den Akku und den Speicherplatz des Handys zu schonen. Beim diesjährigen ICML Workshop kamen daher Forscher, Entwickler und Praktiker zusammen, um ihre Ergebnisse zu präsentieren und gemeinsame Lösungsansätze zu entwickeln.
Für die Entwicklung von DeepCABAC arbeiten im Fraunhofer HHI Forschende aus den zwei Bereichen Videokodierung und Maschinelles Lernen eng zusammen. Durch den Wissens- und Erfahrungsaustausch konnte die langjährige Expertise auf dem Feld der Videokodierung jetzt auch für die Kompression von neuronalen Netzen angewandt werden. Damit wurde gezeigt, dass nicht nur Maschinelles Lernen in der Videokodierung erfolgreich eingesetzt wird, sondern auch umgekehrt Maschinelles Lernen von der Videokodierung profitieren kann.
Bei der Komprimierung von neuronalen Netzen geht es besonders um die Vermeidung von Performanceverlusten. Die entwickelte Kompressionsmethode des Fraunhofer HHI konnte das VGG16 Netzwerk von 553 MB auf 8,7 MB komprimieren. Ohne Performanceverlust erfolgt also eine Komprimierung auf bis zu 1,5 Prozent der Ursprungsgröße. Das ist bisher das beste Kompressionsergebnis für dieses Netzwerk.
Momentan beschäftigt sich auch die MPEG mit der Kompression und Repräsentation von neuronalen Netzen und arbeitet an einem international gültigen Standard. Das Fraunhofer HHI ist an diesem Vorhaben beteiligt und konnte mit DeepCABAC bereits sehr gute Ergebnisse erzielen.