Am 14. August 2025 erscheint im renommierten Fachjournal Nature Machine Intelligence ein Artikel des Fraunhofer Heinrich-Hertz-Instituts (HHI), der die neu entwickelte Methode SemanticLens vorstellt – ein bedeutender Durchbruch in der Erklärbarkeit und Validierung großer KI-Modelle. Das Paper wurde verfasst von einem Team um Dr. Sebastian Lapuschkin, Gruppenleiter Erklärbare Künstliche Intelligenz, und Prof. Dr. rer. nat. Wojciech Samek, Leiter der Abteilung für Künstliche Intelligenz und Leiter der Gruppe Erklärbare Künstliche Intelligenz am Fraunhofer HHI.
SemanticLens: Transparenz für neuronale Netze
SemanticLens zielt darauf ab große KI-Modelle zu entschlüsseln, d.h. die Semantik und Funktionsweise jedes einzelnes Neurons im Modell zu verstehen. Dazu überträgt es das in einzelnen Modellkomponenten verborgene Wissen in den semantisch strukturierten, multimodalen Raum eines Foundation-Modells wie CLIP (Contrastive Language-Image Pre-Training). Das verborgene Wissen eines Neurons (d.h. das Konzept) wird mit Hilfe von Beispielen (d.h. Bildern aus dem Trainings- oder Testdatensatz) dargestellt. Und zwar von solchen Beispielbildern, die das Konzept im Bild beinhalten (z.B. rote Nase, Hundeohren, Autoreifen). Dazu werden zunächst Beispiele für Konzepte gesammelt, die von einer Komponente codiert wurden, und anschließend in den semantischen Raum eingebettet. So lassen sich Komponenten, sprich einzelne Neuronen des KI-Modells, inhaltlich beschreiben, gezielt durchsuchen und mit relevanten Trainingsdaten sowie Modellvorhersagen verknüpfen.
Mit der (nachfolgend aufgeführten) Analyse-Methode adressiert SemanticLens damit die fehlende Transparenz moderner KI-Modelle, erleichtert Fehlersuche und Validierung und trägt zur Schließung der „Vertrauenslücke“ zwischen KI und klassischen, gut verstandenen technischen Systemen bei.
Neue Analysepotenziale für KI-Systeme
SemanticLens ermöglicht eine Reihe bislang unerreichter Analysen:
- Konzeptbasierte Suche nach Modellkomponenten über Text oder andere Modalitäten
- Systematische Wissensbeschreibung, inklusive Erkennung fehlender oder fehlerhafter Konzepte
- Vergleiche zwischen Modellen auf Konzeptebene
- Audits zur Konzeptausrichtung mit menschlich definierten Anforderungen
- Metriken zur Interpretierbarkeit wie Klarheit, Polysemie und Redundanz
Vertrauenswürdige KI durch semantische Transparenz
Mit SemanticLens wird ein bisher fehlendes Bindeglied zwischen der komplexen Innenstruktur moderner KI-Modelle und einer für Menschen verständlichen Wissensdarstellung geschaffen.
Der Durchbruch liegt darin, dass SemanticLens erstmals eine direkte semantische Repräsentation einzelner Modellkomponenten schafft, die gleichzeitig skalierbar, multimodal und ohne menschlichen Eingriff funktioniert – ein Novum in der XAI-Forschung. Man kann das Prinzip vielleicht am treffendsten mit einem hochkomplexen technischen System wie dem Airbus A340-600 veranschaulichen: Dieses Flugzeug besteht aus über vier Millionen Einzelteilen, deren Funktion und Zuverlässigkeit von Ingenieur*innen präzise verstanden und dokumentiert werden müssen, um die Gesamtleistung sicher zu gewährleisten. Im Gegensatz dazu bleibt die spezifische Rolle einzelner Neuronen in heutigen KI-Modellen weitgehend im Dunkeln – was automatisierte Prüfverfahren und belastbare Zuverlässigkeitsanalysen erheblich erschwert. Mit dieser Methodik lässt sich die hochdimensionale, schwer interpretierbare Struktur moderner Modelle in eine für Menschen nachvollziehbare und gezielt durchsuchbare Wissensform überführen – ein wesentlicher Schritt hin zu ganzheitlicher, komponentengenauer Erklärbarkeit und Überprüfbarkeit.
Der Beitrag im Nature Machine Intelligence Fachjournal ist hier abrufbar.
Weitere Informationen zur Technologie und Anwendung von SemanticLens finden Sie auf der Projektseite des Fraunhofer HHI.
Die Autoren des Beitrags sind: Maximilian Dreyer, Jim Berend, Tobias Labarta, Johanna Vielhaben, Thomas Wiegand, Sebastian Lapuschkin, and Wojciech Samek. “Mechanistic understanding and validation of large AI models with SemanticLens”. In: Computer Research Repository (Jan. 9, 2025). ISSN: 2331-8422. DOI: 10.48550/arXiv.2501.05398. arXiv: 2501.05398 [cs.AI].