Multimodale Bildsegmentierung gering strukturierter Umgebungen für die Navigation am Beispiel eines Assistenzsystems für sehbeeinträchtigte Personen

Files
Sessner_Diss_MB_431.pdf (9.1 MB)
Diss. Reihe Maschinenbau, Band 431

Language
de
Document Type
Doctoral Thesis
Granting Institution
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU), Technische Fakultät
Issue Date
2023
Authors
Seßner, Julian
Editor
Franke, Jörg
Hanenkamp, Nico
Hausotte, Tino
Merklein, Marion
Müller, Sebastian
Schmidt, Michael
Wartzack, Sandro
Publisher
FAU University Press
ISBN
978-3-96147-698-5
Abstract

Beeinträchtigungen der optischen Wahrnehmung führen bei Menschen zu großen Herausforderungen der alltäglichen Mobilität. Konventionelle Mobilitätshilfen wie der Blindenlangstock liefern in unbekannten oder unstrukturierten Umgebungen häufig keine ausreichende Unterstützung, sodass die Assistenz sehender Personen benötigt wird. Um dennoch ein erhöhtes Maß an Selbstständigkeit zu ermöglichen, werden im Rahmen dieser Dissertation Methoden des maschinellen Lernens für die Assistenz untersucht. Dabei werden Daten einer 3D-Kamera mittels faltender neuronaler Netze semantisch segmentiert, um Wegverläufe und Hindernisse in gering strukturierter Umgebung zu kartieren. Des Weiteren werden ergänzende Sensormodalitäten zur Erfassung der Umgebung untersucht. Die gewonnenen Informationen können in Umgebungskarten überführt und durch die Berechnung eines sicheren Pfades für die Navigation genutzt werden. Die Navigationsanweisungen können schließlich über akustische und vibrotaktile Schnittstellen an die nutzende Person intuitiv übermittelt werden. Mittels eines Demonstrators in Form eines Rucksacks werden die Methoden werden im Rahmen von Labor- und Feldtests bewertet. Die Nutzerfreundlichkeit und Intuitivität werden im Rahmen von Probandenstudien untersucht.

Abstract

Impairments in visual perception lead to major challenges in everyday mobility for people. Conventional mobility aids such as white canes do often do not provide sufficient support in unknown or unstructured unfamiliar or unstructured environments, so the assistance of sighted persons is needed. In order to enable an increased level of autonomy anyway, machine learning methods for assistance are investigated in the context of this dissertation. In this approach, data from a 3D camera are semantically segmented using convolutional neural networks to map pathways and obstacles in low-structured environments. Furthermore, complementary sensor modalities for sensing the environment are investigated. The acquired information can be transformed into environment maps and used for navigation by computing a safe path. Finally, the navigation instructions can be intuitively transmitted to the user via acoustic and vibrotactile interfaces. Using a demonstrator in the form of a backpack, the methods are evaluated in laboratory and field tests. User-friendliness and intuitiveness are examined within the scope of subject studies.

Series
FAU Studien aus dem Maschinenbau
Series Nr.
431
Citation
mb.fau.de/diss
Description
Parallel erschienen als Druckausgabe bei FAU University Press, ISBN: 978-3-96147-697-8
DOI
URN
Faculties & Collections
Zugehörige ORCIDs