Zum Hauptinhalt springen

Augmented Reality und KI im OP

Zwei Doktoranden der Hochschule Landshut stellen Forschungsergebnisse auf der BVM-Konferenz 2026 vor

Medizinische Bildverarbeitung ist die Schlüsseltechnologie zur modernen bildgestützten Diagnostik und Operationsunterstützung. Eine wichtige Plattform für dieses Thema stellt die Konferenz „Bildverarbeitung für die Medizin (BVM)“ dar. Hier treffen sich jedes Jahr Wissenschaftler und Wissenschaftlerinnen, um ihre aktuellen Forschungsergebnisse aus dem Bereich der KI- und AR-gestützten Chirurgie zu präsentieren und diese im Austausch mit der Fachcommunity weiterzuentwickeln. Auf der diesjährigen Veranstaltung im März 2026 in Lübeck war die Hochschule Landshut mit zwei Nachwuchswissenschaftler des Forschungsschwerpunkts Medizin vertreten.

Forschungsschwerpunkt realisiert ersten Live-Demonstrator

Seit 2021 erforscht der Forschungsschwerpunkt Medizintechnik der Hochschule Landshut zusammen mit dem La-Regio Klinikverbund in Landshut computer-unterstützte Operationsmethoden. Auch heute schon werden zur Planung von Operationen, z.B. zur Entfernung von Tumoren im Bauchraum, im Vorfeld Aufnahmen aus dem Körperinneren gemacht. Diese stammen normalerweise aus volumetrischen Computer- oder Magnetresonanztomographieaufnahmen.  In diesen ist zu erkennen, welche Organe befallen sind oder wo ein Eingriff zu erfolgen hat. Das Team in Landshut versucht, diese präoperativen Bilddaten nun zur Führung des Eingriffs direkt während der Operation einzusetzen. Dazu werden Informationen aus den Bildern, also die Position und Lage von Tumoren oder Blutgefäßen, wie eine Landkarte eines Navigationssystems auf den Patienten projiziert. Die Projektion erfolgt dabei mithilfe von  AR-Visualisierungen (Augmented Reality) entweder auf speziellen Brillen oder Bildschirmen. In den letzten Jahren ist es dem Landshuter Team gelungen, einen der ersten Live-Demonstratoren zu realisieren, der mittels dieser Methoden die Leber im offenen Bauchraum der OP in Echtzeit verfolgt und das Blickfeld des Chirurgen auf Brille oder Bildschirm ebenfalls in Echtzeit mit den inneren Strukturen wie Blutgefäßen und Metastasen anreichert. 

Projekt IMOTION befasst sich mit visueller Erkennung in Echtzeit

Auf der aktuellen BVM-Konferenz stellten gleich zwei Doktoranden des Forschungsschwerpunkts Medizintechnik ihre aktuellen Forschungsergebnisse vor. So präsentierte Serouj Khajarian im Rahmen des Projekts INMOTION einen Posterbeitrag, in dem er darstellt, wie die Leber als Zielorgan in Echtzeit im Blickfeld des Chirurgen erkannt wird, um die Strukturen an der richtigen Stelle einzublenden. Hierbei spielen Algorithmen der Künstlichen Intelligenz (KI) eine wichtige Rolle, um die Abgrenzung des Organs in Videokamerabildern zu automatisieren und damit die Grundlage für die AR-Visualisierung zu schaffen. Die Arbeit wurde bereits im vergangenen Jahr in der Fachzeitschrift International Journal of Computer Assisted Radiology and Surgery veröffentlicht. Das Projekt wird finanziert vom Bayrischen Staatsministerium für Wissenschaft und Kunst.

Projekt AIARConcepts untersucht Vorhersage von Organdeformationen

Im Rahmen des Projekts AIARConcepts stellte Michael Schwimmbeck in einem wissenschaftlichen Vortrag seine neuesten Ergebnisse zur Vorhersage von Organdeformationen vor. Während eines chirurgischen Eingriffs verformt sich die Leber kontinuierlich, wodurch die präzise Projektion präoperativer Bilddaten auf das Organ erheblich erschwert wird. Die in seiner Arbeit entwickelten Methoden ermöglichen es, diese Veränderungen gezielt zu modellieren und so die Genauigkeit chirurgischer Navigation zu verbessern und perspektivisch auch in Weichgeweben positionsgenau einzusetzen.

Die Arbeiten erfolgen in Zusammenarbeit mit den Partnern:
- PD Dr. Thomas Wittenberg, FAU Erlangen-Nürnberg, Fraunhofer IIS 
- Prof. Dr. med. Johannes Schmidt, MHBA und Prof. Dr. Konstantin Holzapfel, LA-Regio Kliniken Landshut
- Prof. Dr. Oliver Amft, Universität Freiburg, Hahn-Schickard Freiburg

 

Fotos: Hochschule Landshut
(Frei zur Verwendung bei Angabe der Quelle)

Bildunterschriften:

Bild 1: Michael Schwimmbeck forscht in seiner Doktorarbeit an Konzepten, wie sich die KI-unterstützte AR-Navigation im OP gewinnbringend umsetzen lässt.

Bild 2: Der Forschungsschwerpunkt arbeitet an KI-Algorithmen, die in der Lage sind, das Zielorgan der Operation (hier die Leber) in Echtzeit zu finden und einzugrenzen.

Bild 3: Über Augmented Reality Visualisierungen auf Brillen oder Bildschirmen werden die inneren Strukturen zur Führung der Operation eingeblendet.

Bild 4: Serouj Khajarian ist Doktorand an der HAW Landshut und forscht an tiefen neuronalen Netzen für die Bildverarbeitung in der AR-Navigation.

Bild 5: Über die Vorhersage von Organdeformationen lassen sich die virtuellen Einblendungen auch auf Weichgewebsorganen vornehmen, die während der Operation starken Verformungen unterliegen.