In der KI-Abteilung des Fraunhofer Heinrich-Hertz-Instituts (HHI) entwickeln unsere Forscher neueste Methoden des maschinellen Lernens, um verschiedene medizinische Herausforderungen anzugehen. Unsere Arbeit umfasst die Analyse medizinischer Bilder, Zeitreihen, Texte und biomedizinischer Sequenzen, sowie multimodale Gesundheitsdaten.
Medizinische Bildgebung
Die medizinische Bildgebung ermöglicht die Darstellung biologischer Strukturen im Körper mithilfe von Mikroskopen, Röntgengeräten, Magnetresonanztomographie (MRT), Dermatoskopen oder Kameras. Unsere KI-Methoden unterstützen die Bildrekonstruktion und die automatische Pathologiedetektion und bieten Ärztinnen und Ärzten genaue und verlässliche Einblicke. Wir legen besonderen Wert auf erklärbare KI, um Transparenz und Sicherheit in medizinischen Anwendungen zu gewährleisten.
Quelle: Wagner et al. (2023). Semantic modeling of cell damage prediction: a machine learning approach at human-level performance in dermatology. Sci Rep 13. https://doi.org/10.1038/s41598-023-35370-7.
Lizenz: https://creativecommons.org/licenses/by/4.0/
Medizinische Zeitreihen
Medizinische Zeitreihendaten – einschließlich Elektrokardiographie (EKG), elektrischer Impedanztomographie (EIT), Elektroenzephalographie (EEG), Ganganalyse sowie Infektionsdaten aus der Epidemiologie – liefern wertvolle Informationen für die Patientenversorgung, die öffentliche Gesundheit und die Forschung. Wir entwickeln interpretierbare Algorithmen zur Analyse dieser Datentypen, um ein tieferes Verständnis und verbesserte Entscheidungsfindung in der klinischen Praxis zu ermöglichen.
Medizinische Texte
Große Sprachmodelle verändern das Gesundheitswesen durch neue Anwendungen, wie die Überprüfung der Leitlinienkonformität und die Klassifizierung klinischer Dokumente. Wir sind spezialisiert auf das Finetuning, die Evaluierung und Interpretation dieser Modelle für den Einsatz im Krankenhaus und in verwandten Bereichen, um sicherzustellen, dass sie die hohen Anforderungen medizinischer Umgebungen erfüllen.
Biomedizinische Sequenzen
Die molekulare Sprache des Lebens ist in Sequenzen von Nukleinsäuren und Aminosäuren kodiert. Das Verständnis der Eigenschaften von Proteinen und Peptiden ist sowohl für die Grundlagenforschung als auch für medizinische Anwendungen, wie etwa die Immunologie, essenziell. Da nur ein kleiner Teil der Proteine experimentell charakterisiert wurde, konzentriert sich unsere Forschung auf die Vorhersage ihrer Eigenschaften anhand der Primärsequenz. Wir nutzen aktuelle Fortschritte im Bereich der natürlichen Sprachverarbeitung, um die technische Entwicklung auf diesem Gebiet voranzubringen.
Projekte
- G-TERM-AI: Generatives Testbed zur Verbesserung der geräte- und protokollagnostischen Zuverlässigkeit multimodaler medizinischer KI.
- AI/AR Microscope: Assistive Werkzeuge auf Basis Künstlicher Intelligenz und Augmented Reality für die mikroskopische Diagnostik in der Dermatologie und die mikrochirurgische Praxis.
- TEF-Health: Test- und Experimentiereinrichtung für KI und Robotik im Gesundheitswesen.
- DAKI-FWS: Daten- und KI-gestütztes Frühwarnsystem.
- SyReal: Synthese realistischer Datenvariationen für zuverlässiges medizinisches maschinelles Lernen im großen Maßstab.
- iToBoS: Intelligenter Ganzkörper-Scanner.
- Patho234: Maschinelles Lernen zur multidimensionalen Bildanalyse reaktiver und neoplastischer Lymphknoten.
- TraMeExCo: Transparenter medizinischer Expertenbegleiter.
- FG-AI4H: ITU/WHO-Fokusgruppe für Künstliche Intelligenz im Gesundheitswesen.
Publikationen
Medizinische Bildgebung
- Automated segment-level coronary artery calcium scoring on non-contrast CT: a multi-task deep-learning approach, Insights into Imaging, 2024
- A protocol for annotation of total body photography for machine learning to analyze skin phenotype and lesion classification, Frontiers in Medicine, 2024
- From modern CNNs to vision transformers: Assessing the performance, robustness, and classification strategies of deep learning models in histopathology, Medical Image Analysis, 2023
- Evaluating deep transfer learning for whole-brain cognitive decoding, Journal of the Franklin Institute, 2023
- Semantic modeling of cell damage prediction: A machine learning approach at human-level performance in dermatology, Scientific Reports, 2023
- A deep-learning algorithm to classify skin lesions from mpox virus infection, Nature Medicine, 2023
- Imaging bridges pathology and radiology?, Journal of Pathology Informatics, 2023
- Towards the Interpretability of Deep Learning Models for Multi-Modal Neuroimaging: Finding Structural Changes of the Ageing Brain, NeuroImage, 2022
- New Definitions of Human Lymphoid and Follicular Cell Entities in Lymphatic Tissue by Machine Learning, Scientific Reports, 2022
- To Pretrain or Not? A Systematic Analysis of the Benefits of Pretraining in Diabetic Retinopathy, PLOS ONE, 2022
- Active Multi-Task Learning with Uncertainty Weighted Loss for Coronary Calcium Scoring, Medical Physics, 2022
- Detecting Failure Modes in Image Reconstructions with Interval Neural Network Uncertainty, International Journal of Computer Assisted Radiology and Surgery, 2021
- Multiparametric MRI for characterization of the basal ganglia and the midbrain, Frontiers in Neuroscience, 2021
- Resolving Challenges in Deep Learning-Based Analyses of Histopathological Images using Explanation Methods, Scientific Reports, 2020
- Analyzing Neuroimaging Data Through Recurrent Deep Learning Models, Frontiers in Neuroscience, 2019
- A Recurrent Convolutional Neural Network Approach for Sensorless Force Estimation in Robotic Surgery, Biomedical Signal Processing and Control, 2019
- Learning The Invisible: A Hybrid Deep Learning–Shearlet Framework for Limited Angle Computed Tomography, Inverse Problems, 2019
Medizinische Zeitreihen
- Explaining Machine Learning Models for Clinical Gait Analysis, ACM Transactions on Computing for Healthcare, 2022
- Deep Learning for ECG Analysis: Benchmarks and Insights from PTB-XL, IEEE Journal of Biomedical and Health Informatics, 2021
- Inferring respiratory and circulatory parameters from electrical impedance tomography with deep recurrent models, IEEE Journal of Biomedical and Health Informatics, 2021
- Revealing the unique features of each individual's muscle activation signatures, Journal of the Royal Society Interface, 2021
- PTB-XL: A Large Publicly Available Electrocardiography Dataset, Scientific Data, 2020
- Explaining automated gender classification of human gait, Gait & Posture, 2020
- Explaining the Unique Nature of Individual Gait Patterns with Deep Learning, Scientific Reports, 2019
- Detecting and interpreting myocardial infarction using fully convolutional neural networks, Physiological Measurement, 2019
- Interpretable Deep Neural Networks for Single-Trial EEG Classification, Journal of Neuroscience Methods, 2016
Biomedizinische Sequenzen
- Insights into the inner workings of transformer models for protein function prediction, Bioinformatics, 2024
- UDSMProt: Universal Deep Sequence Models for Protein Classification, Bioinformatics, 2020
- USMPep: Universal Sequence Models for Major Histocompatibility Complex Binding Affinity Prediction, BMC Bioinformatics, 2020
Verschiedene Themen
- Ensuring Medical AI Safety: Explainable AI-Driven Detection and Mitigation of Spurious Model Behavior and Associated Data, Machine Learning, 2025
- Künstliche Intelligenz auf dem Prüfstand: Anforderungen, Qualitätskriterien und Prüfwerkzeuge für medizinische Anwendungen, Bundesgesundheitsblatt, 2025
- FUTURE-AI: international consensus guideline for trustworthy and deployable artificial intelligence in healthcare, BMJ, 2025
- Could transparent model cards with layered accessible information drive trust and safety in health AI?, npj Digital Medicine, 2025
- Rethinking global digital health and AI-for-health innovation challenges, PLOS Global Public Health, 2023
- Von der Blackbox zur erklärbaren und vertrauenswürdigen KI, Quintessenz Zahnmedizin, 2022
- Federated Learning in Dentistry: Chances and Challenges, Journal of Dental Research, 2022
- Towards Trustworthy AI in Dentistry, Journal of Dental Research, 2022
- Causes of Outcome Learning: A causal inference-inspired machine learning approach, International Journal of Epidemiology, 2022
- Information Fusion as an Integrative Cross-Cutting Enabler to Achieve Robust, Explainable, and Trustworthy Medical AI, Information Fusion, 2022
- Machine Learning for Health: Algorithm Auditing & Quality Control, Journal of Medical Systems, 2021
- Evaluation framework to guide implementation of AI systems into healthcare settings, BMJ Health & Care Informatics, 2021
- Artificial Intelligence in Dentistry: Chances and Challenges, Journal of Dental Research, 2020
- Risk Estimation of SARS-CoV-2 Transmission from Bluetooth Low Energy Measurements, npj Digital Medicine, 2020
- Toward Global Validation Standards for Health AI, IEEE Communications Standards Magazine, 2020