3. Dezember 2021
Der Medienkonzern Thomson Reuters hat zwei wissenschaftliche Paper der Abteilung „Künstliche Intelligenz“ des Fraunhofer Heinrich-Hertz-Instituts (HHI) als herausragend ausgezeichnet. Die Auszeichnungen „highly cited“ und „hot paper“ wurden in den Bereichen „Engineering“ und „Computer Science“ vergeben. Die prämierten Publikationen setzen sich mit dem Einsatz von Künstlicher Intelligenz (KI) bei der Detektion von Anomalien und der Kommunikationsoptimierung föderierter Lernsysteme auseinander.
Thomson Reuters, hervorgegangen aus der Nachrichtenagentur Reuters und dem Medienunternehmen The Thomson Corporation, hat jetzt die Liste „Essential Science Indicators' (ESI) Highly Cited Papers“ veröffentlicht. Diese zeigt das Ranking der innerhalb des vergangenen Jahres am häufigsten zitierten wissenschaftlichen Arbeiten auf. Als „highly cited“ werden jene Arbeiten einzelner Themenbereiche hervorgehoben, die zum Top-Prozent der am häufigsten zitierten Publikationen liegen.
Lukas Ruff, Jacob R. Kauffmann, Robert A. Vandermeulen, Grégoire Montavon, Wojciech Samek, Marius Kloft, Thomas G. Dietterich und Klaus-Robert Müller:
A Unifying Review of Deep and Shallow Anomaly Detection
Machine-Learning (ML) Ansätze zur Detektion von Anomalien (AD) haben in jüngster Zeit den Forschungsstand zur Untersuchung komplexer Datensätze, z. B. großer Bild- oder Textansammlungen, verbessert. Diese Erfolge haben das Interesse an der AD-Problematik erneut geweckt und zu einer großen Bandbreite neuer Methoden geführt. Mit dem Aufkommen zahlreicher neuer Methoden, u. a. basierend auf generativen Modellen, Ein-Klassen-Klassifikation und Rekonstruktion, kam es zu einem wachsenden Interesse an einer einheitlichen Übersicht.
Im genannten Paper präsentieren die Forschenden eine systematische Darstellung der gemeinsamen Grundprinzipien verschiedener AD-Methoden. Dabei arbeiten sie die mathematischen Annahmen heraus, die implizit zugrunde liegen. Sie stellen Verbindungen zwischen klassischen „nicht-tiefen" und neuartigen „tiefen“ Ansätzen her und zeigen, wie sich diese Beziehung gegenseitig befruchten oder in beide Richtungen erweitern kann. Darüber hinaus liefern die Autoren eine empirische Bewertung der wichtigsten vorhandenen Methoden, die durch den Einsatz neuer Erklärbarkeitstechniken bereichert werden können. Abschließend stellen sie Praxisbeispiele mit konkreten Ratschlägen vor.
Das Paper wurde bei Proceedings of IEEE publiziert, einer wissenschaftlichen Zeitschrift mit einem Impact Factor von 15.15. Die dort veröffentlichten Papers werden ausgewählt, weil sie ein Teilforschungsgebiet aller Interessengebiete zusammenfassen. Das genannte Paper wurde innerhalb von zwei Monaten so häufig zitiert, dass es im Vergleich mit anderen Arbeiten auf dem Forschungsgebiet „Engineering“ unter dem Top-Prozent liegt.
Felix Sattler, Simon Wiedemann, Klaus-Robert Müller und Wojciech Samek:
Robust and Communication-Efficient Federated Learning from Non-IID Data
Mit Federated Learning können mehrere Akteure ein ML-Modell auf Grundlage ihrer kombinierten Daten gemeinsam trainieren, ohne dass die Beteiligten ihre lokalen Daten an einen zentralen Server weitergeben müssen. Diese Form des datenschutzfreundlichen kooperativen Lernens geht jedoch mit einem erheblichen Kommunikationsaufwand während des Trainings einher. Um dieses Problem zu lösen, schlagen die Forschenden in ihrem ausgezeichneten Paper die sogenannte Sparse Ternary Compression (STC) vor. Dies ist ein neues Kompressionsverfahren, das speziell auf die Anforderungen dieser Lernumgebung zugeschnitten ist. Darin werden verschiedene Techniken (Sparsifizierung, Quantisierung und Encoding) kombiniert und somit state-of-the-art Resultate erzielt.
Um die Technik zu testen, haben die Forschenden umfangreiche, systematische Experimente durchgeführt, die verschiedene Szenarien und Effekte analysieren. Die Experimente zeigen, dass STC die föderierte Mittelwertbildung in gängigen föderierten Lernszenarien deutlich übertrifft. Die Ergebnisse deuten einen Paradigmenwechsel in der föderierten Optimierung hin zu einer hochfrequenten Kommunikation mit geringer Bitbreite, insbesondere in bandbreitenbeschränkten Lernumgebungen, an. Eine Besonderheit des Papers ist zudem die kritische Fehleranalyse im Kapitel „Lessons Learned“. Dort fassen die Forschenden genau zusammen, welche Kombination von Kompressionsmethoden bestmöglich funktioniert.
Das Paper wurde in IEEE Transactions on Neural Networks and Learning Systems publiziert, einer Zeitschrift mit einem Impact Factor von 10.451. Zusätzlich zu „highly cited“ erhielt diese Arbeit die Auszeichnung „hot paper”. Diese Prämierung bekommen Paper, die innerhalb der letzten zwei Jahre veröffentlicht wurden und anschließend schnell zitiert wurden. Das Paper der Fraunhofer HHI-Forschenden ist innerhalb von zwei Monaten so häufig zitiert worden, dass es im Vergleich zu anderen Arbeiten auf dem Forschungsgebiet „Computer Science“ unter den Top 0,1 Prozent liegt.
Die Auszeichnungen „highly cited“ und „hot paper“ gelten als Indikatoren für wissenschaftlich herausragende Paper.