Der Mangel an Trainingsdaten stellt eine große Herausforderung bei der Entwicklung von KI-Algorithmen für medizinische Anwendungen dar. Michael Schwimmbeck, Studierender im Masterstudiengang Applied Research in Engineering Sciences, löste das Problem für KI-Algorithmen zur Unterstützung von Operationen und stellte die Ergebnisse aus dem ersten Studienprojekt zuletzt einem renommierten Fachpublikum vor.
Virtuelle Bilder zeigen Ziel der Operation und Risikostrukturen auf
Im Projekt INMOTION und dem Vorgängerprojekt AIARLiver arbeitet die Forschungsgruppe Medizintechnik an KI-Methoden zur Führung von Operationen z.B. an der Leber mittels Augmented Reality (
mehr zum Forschungsprojekt). Eine große technische Herausforderung besteht darin, das Organ, an dem operiert wird, mithilfe der Kamerabilder des AR-Headsets zu verfolgen, um das virtuelle Bild in Echtzeit an die richtige Stelle des Patienten zu projizieren. Diese virtuellen Bilder zeigen Ärzten während der OP an, wo sich das Ziel der Operation und Risikostrukturen befinden. Zwar gibt es heute sehr leistungsfähige maschinell lernende Algorithmen für das Verfolgen von Objekten in Echtzeit (Tracking), jedoch benötigen sie für diese Aufgabe eine große Menge an Trainingsdaten, welche im Bereich der offenen Leberchirurgie nicht verfügbar sind.
Michael Schwimmbeck entwickelte bereits in seiner Bachelorarbeit eine erste Methode, um mithilfe von Lebern aus dem 3D Drucker und Sensordaten einer Augmented Reality Brille künstliche Trainingsdaten zu erzeugen. Diese können mithilfe von KI-basierten Bildsynthesemethoden in eine realistische Gestalt gebracht werden, sodass die Bilder im besten Fall von einer echten OP-Aufnahme nicht zu unterscheiden sind. Hierbei hat der Absolvent der Biomedizinischen Technik verschiedene KI-Ansätze auf das Problem hin optimiert und mit echten Aufnahmen quantitativ verglichen. Die Arbeit wurde von Prof. Dr. Stefanie Remmele betreut und im November 2023 mit dem VDE Bayern Award in der Kategorie Wissenschaft ausgezeichnet.
Alle wichtigen deutschen Arbeitsgruppen im Bereich der medizinischen Bildverarbeitung bei Vortrag zugegen
In seinem ersten Studienprojekt im Master „Applied Research in Engineering Sciences” hat Michael Schwimmbeck ein Deep Learning Modell für die Verfolgung der Leber in den Bildern mit seinen Daten trainiert und für die Anwendung evaluiert. Er konnte zeigen, dass die Verwendung der Daten die Performanz des Systems verbessert. Das Ergebnis durfte er jetzt auf dem Workshop „Bildverarbeitung in der Medizin 2024“ (BVM) am 11. und 12.03.2024 in Erlangen präsentieren. Der BVM Workshop ist eine jährlich stattfindende, renommierte Fachtagung, die alle wichtigen deutschen Arbeitsgruppen im Bereich der medizinischen Bildverarbeitung versammelt. Die Arbeit wurde außerdem als Konferenzbeitrag
Foto: Hochschule Landshut
