Bildgebung und Bildverarbeitung
Die medizinische Versorgung geht einher mit der Analyse und Verwendung einer sehr großen und stetig wachsenden Menge an medizinischen Daten. Die Bildgebende Diagnostik ist zum Beispiel eine der beiden Hauptsäulen bei der Detektion und der Diagnose von Krankheiten. Die Aufgabe der Radiologen ist zunächst die Erstellung medizinischer Bilder mithilfe von MRT, CT und co. Anschließend werden die Bilder je nach Fragestellung entweder auf Auffälligkeiten untersucht (Detektion) oder das sich darstellende Krankheitsbild charakterisiert (Diagnose). Dieser Prozess der Befundung ist in Anbetracht großer Datenmengen zeitraubend und ermüdend. Auch für die Planung und Führung von minimalinvasiven Eingriffen in der Therapie sind häufig sehr zeitaufwändige und komplexe Verfahren der Bildverarbeitung notwendig.
Das Forschungsfeld der medizinischen Bildverarbeitung wird daher seit einigen Jahren dominiert von Themen des maschinellen Lernens, speziell mithilfe tiefer neuronaler Netze (Deep Learning).
Ausgewählte Projekte
NeuroTEST
Ansprechpartner: Prof. Dr. Stefanie Remmele
Laufzeit: 2021-2023 (2 Jahre)
Förderung: ZIM
Partner: deepc GmbH, München
Assoziierte Partner: LAKUMED Krankenhaus Landshut-Achdorf, Prof. Dr. Tobias Schäffter (PTB Berlin, TU Berlin)
Wissenschaftliche Mitarbeiterin: Christiane Posselt
Hiwi-/Projekt-/Abschlussarbeiten: E. Gramotke, J. Fischer, S. Khajarian, A. Paulik, M. Kaiser, I. Marchl, Y. Mündler, N. Erl, M. Bischof, B. Rechenmacher, F. Kollmannsberger, M. Kottermair
Methoden des maschinellen Lernens, insbesondere unter Nutzung tiefer neuronaler Netze feiern immer neue Erfolge bei der Analyse und Klassifizierung medizinischer Bilder. Klar ist, in vielen Anwendungen erreichen die Algorithmen bereits mindestens menschenähnliche Entscheidungsgenauigkeiten. Unklar ist allerdings noch, wie sich Netze, trainiert auf einer bestimmten Datensituation, in einer anderen Datensituation verhalten. Z.B. wenn sich Aufnahmehardware oder Bildgebungsparameter von Radiologie zu Radiologie unterscheiden.
Im BMWi geförderten ZIM Projekt NeuroTEST entwickelt die Forschungsgruppe Medizintechnik (Projektleitung Prof. Remmele) zusammen mit dem Münchner Startup deepc Methoden zur systematischen Validierung von neuronalen Netzen (Anwendungsfall Segmentierung von MS Läsionen). Dazu werden Methoden der statistischen Versuchsplanung erforscht, wobei KI-Algorithmen systematisch auf Daten unterschiedlicher Aufnahmeprotokolle getestet werden. Im Zentrum des Projekts an der HAW steht die Simulation und Synthese dieser Daten, um für die Stresstests beliebige Datendomänen bereitstellen zu können (mehr).
Christiane Posselt, Mehmet Yigit Avci, Mehmet Yiğitsoy, Stefanie Remmele, "Novel concept for systematic testing of AI models for MRI acquisition shifts with simulated data", Proceedings Volume 12467, Medical Imaging 2023, 124671B (2023) https://doi.org/10.1117/12.2653883
Christiane Posselt, Edith Gramotke, Abhijeet Parida, Mehmet Yiğitsoy, Patrick Schüncke, Christoph Kolbitsch, Tobias Schäffter, Stefanie Remmele, Simulation of acquisition shifts in T2 Flair MR images to stress test AI segmentation networks, submitted to SPIE Journal of Medical Imaging (https://doi.org/10.48550/arXiv.2311.01894)
AIAR Liver
Ansprechpartner: Prof. Dr. Stefanie Remmele (Bildverarbeitung, Datensynthetisierung und-Simulation)
Laufzeit: 2021-2024 (3 Jahre)
Assoziierter Partner: LAKUMED Krankenhaus Landshut-Achdorf, Prof. Dr. Johannes Schmidt
Professoren
Prof. Dr. Stefanie Remmele (Bildverarbeitung & -synthese)
Prof. Dr. Christopher Auer (Mixed Reality)
Prof. Dr. Eduard Kromer (AI Algorithms)
Prof. Dr. Norbert Babel (3D Druck)
Prof. Dr. Aida Anetsberger (Medical support)
Wissenschaftlicher Mitarbeiter: Serouj Khajarian
Masterstudent of Applied Research: Michael Schwimmbeck
„Insbesondere wenn mehrere Lebertumore vorhanden sind, ist die Zuordnung zu den großen Lebergefäßen bei einer Operation schwierig“, berichtet Prof. Dr. Johannes Schmidt, Chefarzt und medizinischer Vorstand der LAKUMED Kliniken, der die HAW u.a. als Mitglied im Hochschulrat und im Fachbeirat für Medizintechnik und Gesundheitsmanagement unterstützt. Je nach Position und Anzahl von Läsionen stellt das eine große Herausforderung dar, da man den optimalen Zugang und die Lage des Tumors / der Tumore von außen nur schätzen kann. Nur ca. 8 % der Lebertumore können getastet werden. Um die Blutungen während eines Lebereingriffes zu reduzieren, kann man zwar das Organ für ca. 15 min von der Durchblutung abklemmen. Ein sicheres Auffinden der Gefäße würde aber dieses leberschädliche Vorgehen nicht mehr erforderlich machen. In der Medizintechnik werden dazu bereits Methoden erforscht, die die reale OP Ansicht des Chirurgen mit virtuellen Modellen der Anatomie überlagern (Augmented Reality, AR). Auch existieren Verfahren des maschinellen Lernens, um virtuelle Modelle aus medizinischen MR oder CT Bildern zu erstellen (Segmentierung) oder richtig in der realen Welt zu positionieren (Registrierung). Doch Lösungen zur Anwendung dieser Methoden in AR-Applikationen sucht man fast vergeblich.
Jetzt nimmt sich die Forschungsgruppe Medizintechnik des Problems in Zusammenarbeit mit dem LAKUMED KH an. In das Projekt bringen sich Professor*innen aus den Fakultäten ETWI, Informatik und Maschinenbau mit Projekt- und Abschlussarbeiten ein, um so den Grundstein für gemeinsame Förderanträge und Drittmittelprojekte zu legen.
Deep learning for segmentation and object detection
Ansprechpartner: Prof. Dr. Eduard Kromer
Partner: Fraunhofer Institut für Verfahrenstechnik und Verpackung IVV (Dr. Thilo Bauer, Satnam Singh), precipoint GmbH (Ludwig Wildner)
Bachelorarbeiten: Katharina Bauer (BMT), Lena Kinzel (BMT) in 2021
In verschiedenen Projekten, auch in Zusammenarbeit mit industriellen Partnern, untersucht und entwickelt die Hochschule Deep Learning Modelle für Regression, semantische Segmentierung und Objektdetektion zur Verarbeitung von zwei- und dreidimensionalen medizinischen Bilddaten. Hierbei stehen Nachvollziehbarkeit der Ergebnisse, Art und Ausführlichkeit der Ausgabe und Generalisierbarkeit der Modelle (auch auf nicht-medizinsche Daten) im Vordergrund.
Visualisierungsmethoden zur Validierung von tiefen Faltungsnetzen
Ansprechpartner: Prof. Dr. Stefanie Remmele
Bachelorarbeit: Jakob Dexl (2018)
Im Sommersemester 2018 wurden verschiedene Visualisierungsansätze für die CNNs implementiert. Diese sollen die Entscheidungsfindung des Netzes nachvollziehbar machen, und so u.a. helfen, Schwachstellen der Algorithmen zu identifizieren und die Methoden zu optimieren sowie langfristig die Aufmerksamkeit bei der Befundung auf die detektierten Auffälligkeiten lenken. Die Arbeit ist 2019 mit dem VDE-Preis in der Kategorie Wissenschaft ausgezeichnet worden.