Obstacle Fusion and Scene Interpretation for Autonomous Driving with Occupancy Grids

dc.contributorHornegger, Joachim
dc.contributorKaup, André
dc.contributor.advisorHornegger, Joachim
dc.contributor.authorSeeger, Christoph
dc.date.accessioned2023-01-23
dc.date.available2023-01-20
dc.date.created2023
dc.date.issued2023-01-23
dc.description.abstractAutonomous driving is, besides electrification, currently one of the most competitive areas in the automotive industry. A substantially challenging part of autonomous vehicles is the reliable perception of the driving environment. This dissertation is concerned with improving the sensor-based perception and classification of the static driving environment. In particular, it focuses on recognizing road boundaries and obstacles on the road, which is indispensable for collision-free automated driving. Moreover, an exact perception of static road infrastructure is essential for accurate localization in a priorly built highly precise navigation map, which is currently commonly used to extend the environment model beyond the limited range of sensors. The first contribution is concerned with environment sensors with a narrow vertical field of view, which frequently fail to detect obstacles with a small vertical extent from close range. As an inverse beam sensor model infers free space if there is no measurement, those obstacles are deleted from an occupancy grid even though they have been observed in past measurements. The approach presented here explicitly models those errors using multiple hypotheses in an evidential grid mapping framework that neither requires a classification nor a height of obstacles. Furthermore, the grid mapping framework, which usually assumes mutually independent cells, is extended to information from neighboring cells. The evaluation in several freeway scenarios and a challenging scene with a boom barrier shows that the proposed method is superior to evidential grid mapping with an inverse beam sensor model. In the second contribution, a common shortcoming of occupancy grid mapping is approached. Multi-sensor fusion algorithms, such as a Kalman filter, usually perform obstacle association and gating to improve the obstacle position if multiple sensors detected it. However, this strategy is not common in occupancy grid fusion. In this dissertation, an efficient method to associate obstacles across sensor grids is proposed. Imprecise sensors are discounted locally in cells where a more accurate sensor detected the same obstacle and derived free space. The quantitative evaluation with an exact navigation map shows an increased obstacle position accuracy compared to standard evidential occupancy grid mapping. Whereas the first two contributions were concerned with multi-sensor fusion approaches for collision avoidance, the third uses occupancy grids for situation interpretation. In particular, this work proposes to use occupancy maps to classify the driving environment into the categories freeway, country or rural road, parking area, and city street. Identifying the current road type is essential for autonomous driving systems designed for limited environment types. Inspired by the success of deep learning approaches in image classification, end-to-end Convolutional Neural Networks are compared to Support Vector Machines trained on hand-crafted features. Two novel CNN architectures for occupancy-grid-based situation classification, designed for embedded applications with limited computing power are proposed. Furthermore, the occupancy-grid-based classification is fused with camera-image-based classification, and the road type probabilities are recursively estimated over time with a Bayes filter. The evaluation of the approaches on an extensive data set yielded accuracies of up to 99 %.en
dc.description.abstractNeben der Elektrifizierung ist automatisiertes Fahren derzeit eines der Entwicklungsfelder in der Automobilindustrie, in dem ein hoher Wettbewerbsdruck herrscht. Hierbei stellt die zuverlässige Erkennung der Umgebung eines der anspruchsvollsten Forschungsgebiete autonomer Fahrzeuge dar. Diese Dissertation beschäftigt sich mit der Verbesserung der sensor-basierten Wahrnehmung statischer Elemente in der Umgebung. Der Fokus dieser Arbeit liegt auf der Erkennung von Straßenbegrenzungen und Hindernissen, welche für kollisionsfreies automatisiertes Fahren essenziell sind. Darüber hinaus ist eine genaue Erkennung der Straßeninfrastruktur unabdinglich, um eine präzise Lokalisierung in einer hochgenauen digitalen Navigationskarte zu ermöglichen. Diese wird aktuell verwendet, um die Reichweite des Umfeldmodells jenseits der Sensorreichweite zu erweitern. In dieser Arbeit wird eine Fusionsmethode für Sensoren vorgeschlagen, die einen kleinen vertikalen Öffnungswinkel aufweisen, durch welchen sie häufig Hindernisse mit geringem vertikalen Ausmaß aus nächster Nähe nicht detektieren. Da ein inverses Strahlensensormodell Freiraum entlang des Strahls bis zur ersten Messung ableitet, werden bereits erkannte Hindernisse wieder aus der Karte gelöscht. Der in dieser Dissertation vorgestellte Ansatz modelliert diese Fehler anhand mehrerer Hypothesen. Eine Auswertung mit mehreren Autobahnszenarien sowie einer Szene mit einer Schranke zeigt, dass die vorgeschlagene Methode bessere Ergebnisse als normale evidenzbasierte Belegungskarten erzielt. Des Weiteren wird mit dieser Arbeit ein bisher unzureichend erforschtes Themenfeld im Zusammenhang mit Belegungskarten untersucht. In der Regel führen Fusionsalgorithmen, wie z.B. ein Kalman-Filter, eine Zuordnung verschiedener Messungen durch, um die Positionsschätzung eines Hindernisses zu verbessern. Diese Strategie wird bei der Fusion in Belegungskarten jedoch bisher kaum angewendet. In dieser Dissertation wird eine Methode vorgeschlagen, um die erkannten Hindernisse von mehreren Sensoren abzugleichen und dadurch die Messgenauigkeit zu erhöhen. Belegungswahrscheinlichkeiten in Zellen von ungenauen Sensoren werden nach erfolgreicher Zuordung zu präziseren Sensoren lokal herabgesetzt, wenn der genauere Sensor in dieser Zelle Freiraum erkannt hat. Die quantitative Auswertung mit einer hochgenauen digitalen Navigationskarte als Referenz zeigt eine erhöhte Hindernispositionsgenauigkeit im Vergleich zu üblichen Belegungskarten, welche diese Methodik nicht anwenden. Die im Verlauf der Arbeit entstandenen Belegungskarten werden schließlich für die Situationserkennung herangezogen. Diese Arbeit schlägt vor, Belegungskarten für die Klassifikation der Straßentypen ‘Autobahn’, ‘Landstraße’, ‘Parkplatz’, und ‘Stadtstraße’ zu verwenden. Gerade für autonome Fahrfunktionen, deren Nutzbarkeit auf bestimmte Umgebungstypen begrenzt ist, ist die korrekte Umfeldzuordnung von signifikanter Bedeutung. Hierzu werden zwei neuartige tiefe neuronale Netze vorgeschlagen, welche speziell für die begrenzte Rechenleistung von eingebetteten Systemen ausgelegt sind. Darüber hinaus wird die belegungskartenbasierte Klassifikation mit einer bildbasierten Klassifikation fusioniert und zusätzlich die Straßentypwahrscheinlichkeiten rekursiv über die Zeit geschätzt. Die Auswertung der Ansätze auf einem umfangreichen Datensatz ergab Genauigkeiten von bis zu 99 %.de
dc.identifier.opus-id21351
dc.identifier.urihttps://open.fau.de/handle/openfau/21351
dc.identifier.urnurn:nbn:de:bvb:29-opus4-213510
dc.language.isoen
dc.rights.urihttps://creativecommons.org/licenses/by/4.0/deed.de
dc.subjectgrid
dc.subjectfusion
dc.subjectoccupancy
dc.subjectmapping
dc.subjectbayes
dc.subjectdempster-shafer
dc.subjectevidential
dc.subjectsituation classification
dc.subjectroad classification
dc.subjectsituation interpretation
dc.subjectscene interpretation
dc.subjectautonomous driving
dc.subjectcar
dc.subjectrobotics
dc.subjectneural network
dc.subjectCNN
dc.subjectconvolutional
dc.subjectDNN
dc.subjectdeep network
dc.subjectdeep
dc.subjectlearning
dc.subjectroad type
dc.subjectclassification
dc.subject.ddcDDC Classification::0 Informatik, Informationswissenschaft, allgemeine Werke :: 00 Informatik, Wissen, Systeme :: 006 Spezielle Computerverfahren
dc.titleObstacle Fusion and Scene Interpretation for Autonomous Driving with Occupancy Gridsen
dc.titleHindernisfusion und Szeneninterpretation für das autonome Fahren mit Belegungskartende
dc.typedoctoralthesis
dcterms.publisherFriedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
local.date.accepted2022-12-22
local.sendToDnbfree*
local.subject.fakultaetTechnische Fakultät / Department Informatik
local.thesis.grantorFriedrich-Alexander-Universität Erlangen-Nürnberg (FAU) Technische Fakultät
Files
Original bundle
Now showing 1 - 1 of 1
Loading...
Thumbnail Image
Name:
21351_ChristophSeegerDissertation.pdf
Size:
8.98 MB
Format:
Adobe Portable Document Format
Description:
Faculties & Collections