Hyperspectral Image Analysis using Limited Data

Language
en
Document Type
Doctoral Thesis
Issue Date
2022-02-28
Issue Year
2022
Authors
Davari, Amirabbas
Editor
Abstract

This thesis studies the use case of hyperspectral images in two applications, namely remote sensing and art history. The common challenge that is present in both these applications is the limited availability of labeled data. This limitation is caused by the tedious, time-consuming, and expensive manual data labeling process by the experts in each respective field. At the same time, hyperspectral images and their feature vectors are typically significantly high dimensional. Combination of these two challenge the supervised machine learning algorithms. In order to tackle this problem, this work proposes to either adapt the limited data to the classifier, or adapt the classifier to the limited training data.

Any discrete data can be assumed samples from an unknown distribution which is not accessible. Having access to this underlying distribution enables drawing infinite number of data points. Motivated by this idea, this work takes advantage of Gaussian mixture model (GMM) to estimate the underlying distribution of each class in the dataset. Considering the limited available data, in order to limit the number of parameters, GMMs are constrained to have diagonal covariance matrix. Both on phantom data and the real hyperspectral images, it has been shown that adding only a few synthetic training samples significantly improves the untuned classifier's performance. Further, it has been observed that the untuned classifiers reinforced with the synthesized training samples outperform the tuned classifier's performance on the original training set. The latter suggests that the synthetic samples can replace the expensive parameter tuning process in classifiers.

In a different approach, this work proposes to adapt the classifier to the limited data. Traditional classifiers with high capacity often overfit on extremely small training data sets. The Bayesian learning regime has a hardcoded regularization property in its formulation. This property motivates the idea of using Bayesian neural networks to remedy the overfitting problem of the normal (frequentist) convolutional neural networks (CNNs). The experimental results demonstrate that for the same convolutional network architecture, the Bayesian variant outperforms the frequentist version. Using ensemble learning on the sample networks drawn from the Bayesian network further improves the classification performance. Moreover, studying the evolution of the train and validation loss plots for both the Bayesian and the frequentist CNN clearly shows that the Bayesian CNN is significantly more robust against overfitting in the case of extremely limited training data and has higher generalization capability in this situation.

For the second application, i.e., the layer separation in the old master drawings, this work studies the effectiveness of hyperspectral images, introduces to use the extended multi-attribute profiles (EMAPs) and hyper-hue features, and compares them against the other state-of-the-art features, using synthesized and real data. The results show that the EMAPs and hyper-hue are more informative and representative feature spaces. Mapping the HS images to these spaces resulted in more accurate color pigment layer segmentation.

Abstract

Diese Dissertation untersucht den Anwendungsfall von Hyperspektralbildern in zwei Bereichen, nämlich der Fernerkundung und der Kunstgeschichte. Die gemeinsame Herausforderung, die in beiden Bereichen besteht, ist die begrenzte Verfügbarkeit von beschrifteten Daten. Diese Einschränkung wird durch den mühsamen, zeitaufwendigen und teuren manuellen Datenbeschriftungsprozess durch die Experten des jeweiligen Fachgebiets verursacht. Gleichzeitig sind Hyperspektralbilder und ihre Merkmalsvektoren typischerweise sehr hochdimensional. Die Kombination dieser beiden Faktoren stellt eine Herausforderung für die Algorithmen des überwachten maschinellen Lernens dar. Um dieses Problem anzugehen, schlägt diese Arbeit vor, entweder die begrenzten Daten an den Klassifikator anzupassen, oder den Klassifikator an die begrenzten Trainingsdaten.

Bei allen diskreten Daten kann davon ausgegangen werden, dass sie aus einer unbekannten Verteilung abgetastet werden, die nicht zugänglich ist. Der Zugriff auf diese zugrunde liegende Verteilung ermöglicht das Ziehen einer unendlichen Anzahl von Datenpunkten. Motiviert durch diese Idee, nutzt diese Arbeit die Vorteile des Gaußschen Mischungsmodells (GMM), um die zugrundeliegende Verteilung jeder Klasse im Datensatz zu schätzen. In Anbetracht der begrenzten verfügbaren Daten werden GMMs auf diagonale Kovarianzmatrizen beschränkt, um die Anzahl der Parameter zu begrenzen. Sowohl bei Phantomdaten als auch bei realen Hyperspektralbildern hat sich gezeigt, dass das Hinzufügen von nur wenigen synthetischen Trainingsproben die Leistung des unoptimierten Klassifikators deutlich verbessert. Weiterhin wurde beobachtet, dass die unoptimierten Klassifikatoren, die mit den synthetischen Trainingsmustern verbessert wurden, die optimierten Klassifikatoren auf dem ursprünglichen Trainingssatz übertreffen. Letzteres deutet darauf hin, dass die synthetischen Proben den teuren Parameteroptimierungsprozess in Klassifikatoren ersetzen können.

In einem anderen Ansatz wird in dieser Arbeit vorgeschlagen, den Klassifikator an die begrenzten Daten anzupassen. Traditionelle Klassifikatoren mit hoher Kapazität passen sich bei kleinen Trainingssätzen oft zu stark an. Das Bayes'sche Lernverfahren hat in seiner Formulierung eine fest einkodierte Regularisierungseigenschaft. Diese Eigenschaft motiviert die Idee, Bayes'sche neuronale Netze zu verwenden, um das Overfitting-Problem der normalen (frequentistischen) Convolutional Neural Networks (CNN, faltendes neuronales Netzwerk) zu beheben. Die experimentellen Ergebnisse zeigen, dass für die gleiche Netzwerkarchitektur die Bayes'sche Variante die frequentistische Version übertrifft. Die Verwendung von Ensemble-Lernen auf den aus dem Bayes'schen Netzwerk gezogenen Beispielnetzwerken verbessert die Klassifikationsleistung weiter. Darüber hinaus zeigt die Untersuchung der Entwicklung der Trainings- und Validierungsverlustdiagramme sowohl für das Bayes'sche als auch für das frequentistische CNN deutlich, dass das Bayes'sche CNN im Fall von extrem begrenzten Trainingsdaten deutlich robuster gegen Overfitting ist und in dieser Situation eine höhere Generalisierungsfähigkeit aufweist.

Für die zweite Anwendung, d. h. die Schichtentrennung in den alten Meisterzeichnungen, untersucht diese Arbeit die Effektivität von Hyperspektralbildern, führt die Verwendung der erweiterten Multi-Attribut-Profile (EMAPs) und der Hyper-Farbton-Merkmale ein und vergleicht sie mit den anderen State-of-the-Art-Merkmalen, wobei synthetisierte und reale Daten verwendet werden. Die Ergebnisse zeigen, dass die EMAPs und der Hyper-Farbton sehr repräsentative und effektive Merkmalsräume sind. Das Mappen der HS-Bilder auf diese Merkmalsräume führt zu einer genaueren Segmentierung der Farbpigmentschicht.

DOI
Faculties & Collections
Zugehörige ORCIDs