Benchmarking und Evaluierung
Benchmarking und Evaluierungen sind wesentliche Bestandteile der Bewertung quantitativer Aspekte vertrauenswürdiger Künstlicher Intelligenz. Diese Aktivitäten dienen als Grundlage für einen verantwortungsvollen Einsatz von KI-Anwendungen. Angesichts der rasanten Methodenentwicklung und der vielfältigen Implementierungen in der modernen KI-Landschaft konzentriert sich die Forschung am Fraunhofer HHI sowohl auf spezifische Evaluierungen auf Anwendungsebene als auch auf generisch anwendbare Bewertungsrahmen. Unsere Aktivitäten konzentrieren sich vorrangig auf die Anforderungen der Konformitätsbewertungen für Hochrisikoanwendungen gemäß der europäischen KI-Verordnung (EU AI Act), insbesondere im Gesundheitswesen.
Menschzentrierte Künstliche Intelligenz
Um KI-Anwendungen erfolgreich einzusetzen, braucht es mehr als gute Algorithmen. Entscheidend ist, dass bei der Entwicklung die Anforderungen der Menschen berücksichtigt werden, die mit ihnen arbeiten. Genau hier setzt menschzentrierte Künstliche Intelligenz an: Sie untersucht die Bedürfnisse der Nutzer:innen und passt darauf aufbauend KI-Systeme so an, dass sie verständlich, verlässlich und vertrauenswürdig sind. Gemeinsam mit Partnern aus Industrie, Gesundheitswesen und öffentlichem Sektor entwickeln wir benutzerfreundliche, interaktive KI-Lösungen, die den Anforderungen der Praxis standhalten.
Methodische Trennung verschiedener Unsicherheitsarten
Für den vertrauenswürdigen Einsatz von KI ist es entscheidend, Unsicherheiten in Vorhersagen transparent zu machen. Unsere Applied Machine Learning Group erforscht erfolgreich Methoden zur Quantifizierung und Entflechtung verschiedener Unsicherheitsquellen, etwa zwischen aleatorischer (datenbedingter) und epistemischer (modellbedingter) Unsicherheit. Diese Unterscheidung ermöglicht es, Risiken besser einzuschätzen und KI-Systeme verlässlicher und praxistauglicher zu gestalten. Dadurch tragen wir dazu bei, dass KI-Anwendungen nicht nur leistungsstark, sondern auch nachvollziehbar und robust in realen Szenarien eingesetzt werden können.
Veröffentlichungen
- Labarta, T., Hoang, N., Weitz, K., Samek, W., Lapuschkin, S., & Weber, L. (2025). See What I Mean? CUE: A Cognitive Model of Understanding Explanations. arXiv preprint arXiv:2506.14775. https://arxiv.org/abs/2506.14775
- Klein, S., Prajod, P., Weitz, K., Lavit Nicora, M., Tsovaltzi, D., & André, E. (2025). Communicating Through Avatars in Industry 5.0: A Focus Group Study on Human-Robot Collaboration. In Adjunct Proceedings of the 4th Annual Symposium on Human-Computer Interaction for Work (pp. 1-8). https://doi.org/10.1145/3707640.3731923
- Ma, J., Weicken, E., Pahde, F., Weitz, K., Lapuschkin, S., Samek, W., & Wiegand, T. (2025). Künstliche Intelligenz auf dem Prüfstand: Anforderungen, Qualitätskriterien und Prüfwerkzeuge für medizinische Anwendungen. Bundesgesundheitsblatt-Gesundheitsforschung-Gesundheitsschutz, 1-9. https://dx.doi.org/10.1007/s00103-025-04101-w
- Baur, S., Samek, W., & Ma, J. (2025, September). Benchmarking Uncertainty and its Disentanglement in multi-label Chest X-Ray Classification. In International Workshop on Uncertainty for Safe Utilization of Machine Learning in Medical Imaging (pp. 193-203). Cham: Springer Nature Switzerland. https://www.arxiv.org/abs/2508.04457
- Mertes, S., Huber, T., Karle, C., Weitz, K., Schlagowski, R., Conati, C., & André, E. (2024). Relevant irrelevance: generating alterfactual explanations for image classifiers. arXiv preprint arXiv:2405.05295. https://arxiv.org/abs/2405.05295