Machine Learning-based Workflow Enhancements in Magnetic Resonance Imaging

Language
en
Document Type
Doctoral Thesis
Issue Date
2023-01-02
Issue Year
2022
Authors
Denck, Jonas
Editor
Abstract

Magnetic Resonance Imaging (MRI) is a tomographic imaging technique that allows radiation-free, three-dimensional visualization of human tissue and organs. MRI exams are time-consuming and involve a complex, multi-step workflow that is important for the delivery of optimal care. Along this clinical workflow, machine learning (ML) can be utilized for a variety of applications in order to assist the clinical staff and the radiologists. This can reduce costs and free, e. g., radiologists’ resources, which then can be spent on a more profound interaction with patients and other clinicians. However, the complexity and variability of different MRI exams entail different problems for adopting machine and deep learning applications in the clinical practice. Therefore, MRI complexity and variability must be incorporated during the development of ML applications for MRI. In this thesis, novel ML approaches to improve the workflow for MRI exams are presented. In this scope, the complexity and variability of MRI exams in the clinical practice are assessed and associated challenges for the development and deployment of ML applications in MRI are described. First, a machine learning pipeline for automated procedure coding for MRI exams from MRI log data is presented. Based on a curated ground truth test dataset, the proposed automated procedure coding approach has demonstrated similar performance as manual coding. Therefore, the proposed approach can enhance the clinical workflow in, e. g., semi-automated setting by proposing valid procedure codes that the responsible technologist can then confirm or reject. Moreover, automated protocoling offers another promising opportunity for ML-based workflow automation and is therefore investigated. Approaches for automated protocoling of MRI exams are evaluated with respect to their clinical applicability, workflow integration, and robustness. Recent publications are reviewed in a literature study, limitations are outlined, and solutions to these limitations are proposed. Furthermore, the variation of sequence parameterizations from a large clinical dataset is assessed and utilized to develop a generative adversarial network (GAN)-based application for the synthesis of magnetic resonance (MR) images with adjustable image contrast. The approach is able to produce high-quality MR images and is evaluated in a visual Turing test with two experts. This work can support radiologists and technologists during the parameterization of MR sequences by previewing the yielded MR contrast, can serve as a valuable radiology training tool, and can be used for customized data generation to support ML training. Building on the GAN-based image synthesis approach, the method is extended to enable MR contrast-aware image-to-image translations. A U-Net is adapted as the generator’s architecture and is trained on paired MR images as well as the input and target acquisition parameters. The acquisition parameters are injected into the encoder and decoder part of the generator through adaptive instance normalization (AdaIN) layers. This approach is inspired by style-transfer deep learning (DL) tasks, whereas the style is understood here in the context of MR image contrast and is given explicitly through echo time (TE) and repetition time (TR) values. The method outperforms a benchmark pix2pix approach on fat-saturated image synthesis from non-fat-saturated MR images and is thoroughly evaluated in an ablation study. This approach enables the target MR contrast to be adapted continuously through the definition of the acquisition parameters and therefore provides higher flexibility than existing MR image-to-image translation approaches. The thesis is concluded with an outlook towards ML-based workflow enhancements in MRI. While most ML approaches in radiology and MRI are naturally imagebased, ML applications outside the image data domain to support the radiological workflow also offer great potential for future works.

Abstract

Die Magnetresonanztomographie (MRT) ist ein tomographisches Bildgebungsverfahren, das eine strahlungsfreie, dreidimensionale Visualisierung von menschlichem Gewebe und Organen ermöglicht. MRT-Untersuchungen sind zeitaufwändig und beinhalten komplexe, mehrstufige Arbeitsschritte, die für eine optimale und effiziente Untersuchung essentiell sind. Entlang dieses klinischen Arbeitsablaufs kann maschinelles Lernen (ML) für eine Vielzahl von Anwendungen eingesetzt werden, um das klinische Personal und Radiologen zu unterstützen. Dadurch können Kosten gesenkt und frei werdende Ressourcen, z. B. von Radiologen, zielgerichteter für eine intensivere Interaktion mit Patienten und Ärzten genutzt werden. Die Komplexität und Variabilität unterschiedlicher MRT-Untersuchungen bringt jedoch verschiedene Probleme für den Einsatz von Anwendungen des maschinellen und tiefen Lernens (eng. deep learning) in der klinischen Praxis mit sich. Daher müssen die Komplexität und Variabilität von MRT-Untersuchungen bei der Entwicklung von ML-Anwendungen für die MRT berücksichtigt werden. In dieser Arbeit werden verschiedene ML-Ansätze zur Verbesserung des Arbeitsablaufs bei MRT-Untersuchungen vorgestellt. In diesem Rahmen werden die Komplexität und Variabilität von MRT-Untersuchungen in der klinischen Praxis untersucht und die damit verbundenen Herausforderungen für die Entwicklung und den Einsatz von ML-Anwendungen in der MRT beschrieben. Zunächst wird eine Anwendung des maschinellen Lernens zur automatischen Prozedurenkodierung für MRT Untersuchungen aus MRT-Logdaten vorgestellt. Basierend auf einem kuratierten Testdatensatz erzielt die Anwendung zur automatischen Prozedurenkodierung eine ähnliche Genauigkeit wie die manuelle Kodierung. Daher kann die vorgeschlagene Methode den klinischen Arbeitsablauf verbessern - z. B. im halbautomatischen Einsatz, indem Prozedurenkodes vorschlagen werden, die der/die zuständige medizinisch-technische Assistent/in dann bestätigen oder ablehnen kann. Darüber hinaus bietet die automatische Protokollierung von MRT-Untersuchungen eine weitere vielversprechende Möglichkeit für eine ML-basierte Unterstützung des Arbeitsablaufs in der MRT und wird daher genauer untersucht. Ansätze zur automatischen Protokollierung von MRT-Untersuchungen werden hinsichtlich ihrer klinischen Anwendbarkeit, Integration und Robustheit bewertet. Die neusten Veröffentlichungen werden in einer Literaturstudie eingeordnet, die Anwendungsgrenzen der aktuellen Ansätze werden aufgezeigt und Lösungen für diese vorgeschlagen. Darüber hinaus wird die Variation von Sequenzparametrisierungen aus einem großen klinischen Datensatz untersucht und zur Entwicklung einer auf einem generierendem gegnerischen Netzwerk (eng. generative adversarial network, GAN) basierenden Anwendung für die Synthese von MR-Bildern mit einstellbarem Bildkontrast genutzt. Die Methode ist in der Lage, qualitativ hochwertige, synthetische MR-Bilder zu erzeugen und die Qualität der erzeugten Bilder wird in einem visuellen Turing-Test mit zwei Experten bewertet. Diese Arbeit kann Radiologen und medizinisch-technische Assistenten bei der Parametrisierung von MR-Sequenzen unterstützen, indem sie eine Vorschau des MR-Kontrasts ermöglicht, kann als wertvolles Werkzeug für die Ausbildung in der Radiologie dienen und für die anwendungsspezifische Datengenerierung zur Unterstützung von ML-Trainings verwendet werden. Aufbauend auf der GAN-basierten Bildsynthese wird der Ansatz für MR-Kontrastspezifische Bild-zu-Bild Translationen erweitert. Ein U-Netz wird als Architektur des Generators angepasst und mit gepaarten MR-Bildern sowie den Eingabe- und Zielaufnahmeparametern trainiert. Die Aufnahmeparameter werden über adaptive Instanznormalisierungsschichten (AdaIN) in den Kodier- und Dekoderteil des Generators eingespeist. Dieser Ansatz ist inspiriert von Stil-Transfer Deep Learning Aufgaben, wobei der Stil hier im Kontext des MR-Bildkontrasts verstanden wird und explizit durch Werte für Echozeit (TE) und Repetitionszeit (TR) definiert werden kann. Die Methode verbessert eine Vergleichs-Methode auf Basis des pix2pix Netzwerks bei der Synthese fettgesättigter Bilder aus nicht fettgesättigten MR-Bildern und wird in einer Ablationsstudie evaluiert. Der entwickelte Ansatz ermöglicht eine kontinuierliche Anpassung des MR-Kontrasts durch die Aufnahmeparameter und bietet daher eine höhere Flexibilität als bestehende MR-Bild-zu-Bild Translationsansätze. Die Arbeit wird mit einem Ausblick auf ML-basierte Workflow-Verbesserungen in der MRT abgeschlossen. Während die meisten ML-Ansätze in der Radiologie und MRT naturgemäß bildbasiert sind, bieten ML-Anwendungen außerhalb des Bilddatenbereichs zur Unterstützung des radiologischen Arbeitsablaufs ebenfalls großes Potenzial für zukünftige Arbeiten.

DOI
Faculties & Collections
Zugehörige ORCIDs