Fusion of medical video images and tomographic volumes

Language
en
Document Type
Doctoral Thesis
Issue Date
2004-07-22
Issue Year
2003
Authors
Scheuering, Michael
Editor
Abstract

Minimally invasive surgery has advanced rapidly in the last years because of the accelerated convalescence of the patient. However, such interventions demand a lot of experience due to limited access to the field of operation. In particular, the trocar placement and the orientation within the patient’s body are hampered. Through the invention of navigation hardware, the tracking of the surgical tools and cameras became possible, which revolutionized intra-operative image-guided surgery generally. Nowadays, there are a variety of applications that allow the navigation and guidance of tools with high accuracy, ranging from neurosurgical interventions to osseous applications. In the case of minimally invasive liver surgery, one possibility for intervention assistance is the fusion of laparoscopic video images and tomographic volumes at operation time in order to present orientational aids based on navigation hardware. In this doctoral thesis, different fundamental techniques are presented in order to merge video images and tomographic volumes with a focus on high interactivity. Therefore, new techniques and capabilities of modern graphics adapters are exploited. One application for fusion are augmented reality systems (ARS) which directly project pre-operative information onto the surgeon’s view, according to the pose of the surgical camera. In this context, real-time hardware-accelerated direct volume rendering based on fragment shader techniques is applied for augmentation of the laparoscopic video images. Liver parenchyma, hepatic vessels and vascular territories are overlaid for oncologic resection. Furthermore, fiducial markers are used for rigid registration. The system has been evaluated within real interventions. Alternatively, laparoscopic video images can be applied in order to perform real-time scene exploration of the visceral space. A basic algorithm that utilizes hardware-acceleration for advanced view-dependent object texturing is presented herein. Furthermore, this thesis introduces a very fundamental and new technique for fast intensity-based 2D/3D non-rigid registration of multiple-view video images and deformable volume renderings using mutual information as a voxel similarity metric. This algorithm requires a very fast and flexible volume rendering approach that is based on interactive volume deformation. Therefore, two possibilities are presented which are based on advanced hardware acceleration techniques including pixel shaders and dependent texture reads as a supplement to 3D texture approaches. While image-guided intra-operative assistance is essential, pre-operative planning tools are necessary in order to become familiar with the individual patient’s anatomy. In the case of osseous applications, this work presents a tool for semi-automatic repositioning of bone fracture segments, based on C-arm modality, whereby the physician roughly positions the fragments. An exact alignment, however, is achieved through an optimization procedure.

Abstract

Die minimal-invasive Chirurgie hat in den letzten Jahren enorme Fortschritte gemacht, was vor allem durch die enorm verkürzte Genesungszeiten der Patienten bedingt ist. Diese Eingriffe erfordern jedoch viel chirurgische Erfahrung, da der sichtbare Operationsbereich stark begrenzt ist. Zudem wird besonders die Trokarplatzierung und die Orientierung im Körper des Patienten erschwert. Durch die Erfindung von Navigationsgeräten wurde jedoch das Tracking von chirurgischen Instrumenten und Kameras ermöglicht, was die intra-operative bildgeführte Chirurgie im Allgemeinen enorm revolutioniert hat. Heutzutage gibt es eine Fülle von Applikationen, die das Navigieren und Führen von Werkzeugen mit hoher Präzision gestatten. Diese finden ein breites Einsatzgebiet von der Neuro- bis hin zur Knochenchirurgie. Im Bereich der minimal-invasiven Leberchirurgie bietet die Fusion von laparoskopischen Videobildern mit tomographischen Volumina eine Möglichkeit, intra-operative Eingriffe durch Orientierungshilfen, die auf Navigationshardware basieren, zu unterstützen. In dieser Dissertation werden verschiedene Möglichkeiten zur Fusion von Videobildern und tomographischen Volumina präsentiert. Der Schwerpunkt liegt dabei auf hoher Interaktivität, weshalb neue Techniken und Fähigkeiten moderner Graphikkarten ausgenutzt werden. Eine Möglichkeit zur Fusion bieten Augmented Reality Systeme (ARS), die gemäß der Positionierung der chirurgischen Kamera prä-operativ gewonnene Information direkt in das Sichtfeld des Chirurgen einblenden. Dabei wird zur Erweiterung der Realität ein echtzeitfähiges direktes Volume-Rendering-System eingesetzt, das die Graphikhardware und deren Fragment-Shader-Techniken nutzt. Damit können das Leberparenchym, Lebergefäße und Segmente für die onkologische Resektion mittels Bild Überlagerung visualisiert werden. Zudem werden künstliche Landmarken und eine rigide Registrierung verwendet. Das System wurde in realen Eingriffen erprobt. Alternativ zum genannten Verfahren können die laparoskopischen Videobilder dazu verwendet werden, um den viszeralen Körperbereich mit Echtzeitbildraten zu erkunden. Hierzu wird ein grundlegender Algorithmus vorgestellt, der die Hardwarebeschleunigung zur augpunktabhänigen Texturierung ausnutzt. Weiterhin wird ein fundamentaler und neuer Algorithmus zur schnellen, grauwertbasierten und nichtrigiden 2D/3D-Registrierung eingeführt. Dieser Algorithmus verwendet Videobilder von mehreren Objektansichten, deformierbares Volume-Rendering und Mutual-Information als Ähnlichkeitsmaß. Das Verfahren benötigt dazu ein schnelles und flexibles Modul zum Volume-Rendering, das interaktive Volumendeformation erlaubt. Deshalb werden zwei Möglichkeiten vorgestellt, die ergänzend zu 3D-Texturen die Graphikhardware in fortgeschrittenem Maß ausnutzen. Hierzu gehören Pixel-Shader-Techniken und 3D-Dependent-Textures. Obwohl die bildgeführte intra-operative Unterstützung von großer Wichtigkeit ist, sind prä-operative Planungsprogramme gleichermaßen von Bedeutung, um mit der individuellen Anatomie des Patienten im Vorfeld der Operation vertraut zu werden. Hierzu wird eine Knochenapplikation vorgestellt, die es gestattet, Knochenfrakturelemente aus C-Bogen-Volumina semi-automatisch zusammenzufügen. Dabei werden die Fragmente zunächst grob vorpositioniert und anschließend mittels einer Optimierung exakt angepasst.

DOI
Document's Licence
Faculties & Collections
Zugehörige ORCIDs