Compressed Sensing based Image Acquisition Methodologies for Constrained Autonomous Exploration Systems with Single Pixel Cameras

Language
en
Document Type
Doctoral Thesis
Issue Date
2021-05-10
Issue Year
2021
Authors
Bhattacharjee, Protim
Editor
Abstract

Scientific exploration of extraterrestrial worlds are carried out by robotic systems. Being far away from Earth, such robotic platforms require certain autonomy in their operation. They may be required to adapt to changing mission requirements or execute pre-planned mission objectives on their own. Moreover, they are constrained in the amount of electrical power available for various tasks. Thus fully autonomous scientific exploration requires acquisition strategies which can recognise informative regions in the instrument's field-of-view and make on-the fly decisions of acquiring the regions with respect to resource constraints. This thesis addresses the problem of autonomous acquisition of Regions of Interest (RoIs) in an exploration scenario. The exploration scenario is modelled by a limited measurement budget constraint.

Mechanical vibrations and stress of launching and landing the robotic platforms make moving parts susceptible to damage and malfunction. Such mechanical systems are more common for long wavelength (mid-IR, deep-IR, THz) imaging that use single pixel detectors or radiometers for image acquisition. The single pixel camera, which replaces the mechanical scanning radiometer with a Spatial Light Modulator (SLM), is studied as the imaging instrument in this thesis.

An image acquisition methodology is developed for the single pixel imaging system with limited measurement budget that includes coarse sampling, region detection and segmentation, and compressed sensing. The basic acquisition algorithm arising from this methodology is named Measurement-Constrained Sampling (MCS). Compressed sensing is deployed in a multi-level manner with random macro pixels with different macro pixel sizes and multi-level sampling of the Walsh transform. To introduce autonomy in the order of acquisition of the detected RoIs, two methods for RoI prioritisation are discussed. First, an empirical method based on the size of the detected RoI is considered. Second, a more nuanced method based on estimation of information change across spatial scales in the detected RoIs is developed. The estimator is evaluated for each RoI and is called the Refinement Indicator. The acquisition algorithm with the refinement indicator is named RoI Prioritised Measurement-Constrained Sampling (RP-MCS). The performance of the RP-MCS algorithm with multi-level sampling of the Walsh transform was found to be better than random macro pixel sampling at the considered measurement rates.

A flexible approach to designing multi-level sampling patterns is proposed that enables better control over the choice of spatial frequency sub-bands and also the number of measurements in each of the sub-bands. To study the effect of the proposed acquisition methodology on the complete imaging pipeline, a plug-and-play framework for the instrument module of a remote exploration system is developed based on ESA guidelines. Influence of sampling parameters, noise, quantization and SLM damage on the complete imaging pipeline is studied and various trade-offs with respect to mission guidelines are discussed.

Abstract

Die wissenschaftliche Erforschung extraterrestrischer Welten wird von Robotersystemen durchgeführt. Außerhalb der Erde erfordern solche Roboterplattformen eine gewisse Autonomie in ihrem Betrieb. Sie müssen sich an sich ändernde Missionsanforderungen anpassen und vorgeplante Missionsziele selbstständig erreichen. Darüber hinaus gibt es für die verschiedenen Missionsaufgaben eine Reihe von Einschränkungen der verfügbaren Ressourcen, z.B. die Menge an elektrischer Energie. Die vollständig autonome wissenschaftliche Erforschung erfordert daher Akquisitionsstrategien, die interessante Regionen im Sichtfeld des Instruments erkennen und vor dem Hintergrund der Ressourcenbeschränkungen bestmögliche on-the-fly - Entscheidungen bzgl. der Sensordatenerfassung treffen können. Die Dissertation befasst sich mit dem Problem der autonomen Erfassung von Regionen von Interesse (RoIs) in einem Explorationsszenario mittels Compressed Sensing. Das Explorationsszenario wird durch ein begrenztes Messbudget modelliert.

Mechanische Vibrationen und Belastungen beim Starten und Landen der Roboterplattformen machen bewegliche Teile anfällig für Beschädigungen und Fehlfunktionen. Mechanische Komponenten sind üblich bei der Abbildung des langwelligen (mittleres IR, tiefes IR, THz) elektromagnetischen Spektrums mittels Einzelpixeldetektoren und Radiometern. Eine Einzelpixelkamera, die anstelle eines Abtastradiometers einen Spatial Light Modulator (SLM) verwendet, wird als optisch abbildendes Instrument in dieser Arbeit untersucht.

Eine Bilderfassungsmethode für ein Einzelpixel-Bildgebungssystem mit begrenztem Messbudget wird entwickelt, die Grobabtastung, Bereichserkennung und -segmentierung sowie Compressed Sensing umfasst. Der grundlegende Erfassungsalgorithmus, der sich aus dieser Methodik ergibt, wird als Measurement-Constrained Sampling (MCS) bezeichnet. Die komprimierte Erfassung erfolgt in mehreren Schritten mit zufälligen Makropixeln, unterschiedlichen Makropixelgrößen und mehrstufigem Sampling der Walsh-Transformation. Um Autonomie bei der Abtastung detektierter RoI herzustellen, werden zwei Methoden zur RoI-Priorisierung diskutiert. Erstens wird eine empirische Methode basierend auf der Größe des erkannten RoI berücksichtigt. Zweitens wird eine nuanciertere Methode, basierend auf einer Schätzung der Informationsänderung in den erkannten RoI über räumliche Skalen hinweg, entwickelt. Der Schätzer wird für jedes RoI bewertet und als Verfeinerungsindikator bezeichnet. Der Algorithmus mit dem Verfeinerungsindikator heißt RoI Prioritized Measurement-Constrained Sampling (RP-MCS). Der RP-MCS-Algorithmus mit mehrstufiger Abtastung der Walsh-Transformation erwies sich in den untersuchten Messreihen als leistungsfähiger als die zufällige Makropixel- Abtastung.

Es wird ein flexibler Ansatz für mehrstufige Abtastmuster vorgeschlagen, der eine bessere Kontrolle über die Auswahl der Raumfrequenz-Teilbänder und auch über die Anzahl der Messungen in jedem der Teilbänder ermöglicht. Um die Wirkung der vorgeschlagenen Akquisitionsmethode auf die gesamte Imaging-Pipeline zu untersuchen, wurde ein Plug-and-Play-Framework für das Instrumentenmodul eines Fernerkundungssystems auf der Grundlage der ESA-Richtlinien entwickelt. Der Einfluss von Abtastparametern, Rauschen, Quantisierung und SLM-Schäden auf die gesamte Bildgebungspipeline wurde untersucht und verschiedene Kompromisse in Bezug auf Missionsrichtlinien diskutiert.

DOI
Faculties & Collections
Zugehörige ORCIDs