Optimal Control and Machine Learning in Biomechanics: Hybrid Models for Inertial Sensor-based Gait Analysis and Virtual Footwear Testing

Language
en
Document Type
Doctoral Thesis
Issue Date
2023-01-23
Issue Year
2023
Authors
Dorschky, Eva
Editor
Abstract

In the medical technology and sports industry, wearable devices, such as exoskeletons and running shoes, are developed to improve mobility and enhance performance. To ensure this, experimental studies are conducted in motion laboratories, where extensive measurements enable biomechanical movement and performance analysis. In a lab environment, however, natural movements can only be captured to a limited extent. Furthermore, recordings are cost- and time-intensive and an isolated consideration of all degrees of freedom in the design is practically impossible. Therefore, this thesis aims to bring human movement studies outside the lab in two ways. In order to enable studies in natural environments, novel methods for biomechanical gait analysis using Inertial Measurement Units (IMUs) are presented [Dor+19a; Dor+20]. In order to perform virtual studies for prediction of human-product interactions, a simulation framework is developed and evaluated for a use case in running shoe design [Dor+19a].

This cumulative thesis is built around three publications. In the first publication [Dor+19a], I showed with my co-authors that we can accurately estimate two-dimensional gait biomechanics from IMU data by solving a single optimal control problem. The advantage of this approach is that a dynamically consistent simulation of a musculoskeletal model is obtained, while sensor noise and drift are suppressed. In the second publication [Dor+20], we estimated two-dimensional gait biomechanics from IMU data using Convolutional Neural Networks (CNNs), which reduced computation time while achieving higher accuracy of kinetics compared to [Dor+19a]. We also showed that the generalization of CNNs can be improved for kinematics by augmenting the training dataset using optimal control simulation of musculoskeletal models. In the third publication [Dor+19b], my co-authors and I found that optimal control simulation of musculoskeletal models can predict differences in energy cost in running between two midsole materials, which were modeled with non-linear regression models using mechanical test data. This highlights the ability for studies in the virtual environment, which can further be used to answer “what if” questions in footwear design [Nit+21]. Additionally, the thesis contains an original literature review and a discussion of the contributed publications in the overarching context of this literature analysis.

In conclusion, this thesis shows that combining musculoskeletal optimal control with machine learning is a valuable approach for IMU-based biomechanical analysis of human gait and for predicting human responses. Follow-up work can extend these methods for three-dimensional movement studies [Nit+20], and further explore the combination of physics-based with machine learning models. This work contributes to the improvement of sports and medical products by enabling future analysis of human motion in natural environments and prediction of human-product interactions in a virtual testing environment.

Abstract

In der Medizintechnik und Sportindustrie werden Produkte, wie beispielsweise Exoskelette and Laufschuhe, entwickelt, welche die Mobilität verbessern und die Leistung steigern sollen. Um dies zu gewährleisten, werden experimentelle Studien in Bewegungslaboren durchgeführt, wo umfangreiche Messungen eine biomechanische Analyse und Leistungsdiagnostik ermöglichen. In einer Laborumgebung können natürliche Bewegungen allerdings nur eingeschränkt erfasst werden. Außerdem sind Aufnahmen kosten- und zeitintensiv und eine isolierte Betrachtung sämtlicher Freiheitsgrade im Design praktisch unmöglich. Daher zielt diese Arbeit darauf ab, Bewegungsstudien außerhalb des Labors in zweierlei Hinsicht zu ermöglichen. Um Bewegungen in natürlicher Umgebung untersuchen zu können, werden neuartige Methoden zur biomechanischen Ganganalyse mit Inertialsensoren (IMUs) vorgestellt [Dor+19a; Dor+20]. Um virtuelle Studien zur Vorhersage von Mensch-Produkt-Interaktionen durchführen zu können, wird eine Simulationsumgebung entwickelt und für einen Anwendungsfall im Laufschuhdesign evaluiert [Dor+19b].

Diese kumulative Dissertation umfasst drei Veröffentlichungen. In der ersten Publikation [Dor+19b] zeige ich mit meinen Koautoren, dass durch optimale Steuerung eines zweidimensionalen Muskel-Skelett-Modells die Biomechanik des Gangs durch Nachführen von IMU-Daten genau geschätzt werden kann. Der Vorteil dieser Methode ist, dass man eine dynamisch konsistente Simulation erhält und Bewegungsartefakte, Sensorrauschen und Drift unterdrückt werden. In der zweiten Publikation [Dor+20] schlagen wir Convolutional Neural Networks (CNNs) für eine zweidimensionale biomechanische Ganganalyse basierend auf IMU-Daten vor, wodurch eine Verringerung der Rechenzeit in der Anwendung und gleichzeitig eine höhere Genauigkeit der Kinetik im Vergleich zu [Dor+19a] erreicht wird. Wir präsentieren außerdem eine neue Methode zur Erweiterung des Trainingsdatensatzes durch Optimalsteuerungssimulation von Muskel-Skelett-Modellen, welche die Generalisierung von CNNs für die Kinematik verbessert. In der dritten Publikation [Dor+19b] haben wir herausgefunden, dass die Optimalsteuerungssimulation von Muskel-Skelett-Modellen Unterschiede in den Energiekosten beim Laufen zwischen zwei Schuhsohlenmaterialien vorhersagen kann. Dies unterstreicht das Potenzial von Studien in der virtuellen Umgebung, die zur Beantwortung von “Was-wäre-wenn”-Fragen beim Schuhdesign genutzt werden können [Nit+21]. Zusätzlich beinhaltet diese Arbeit eine unveröffentlichte Literaturübersicht und eine Diskussion der Publikationen im übergreifenden Kontext dieser Literaturanalyse.

Zusammenfassend zeigt diese Arbeit, dass die Kombination von muskuloskelettaler Optimalsteuerung und maschinellem Lernen ein geeigneter Lösungsansatz für eine IMU-basierte biomechanische Analyse des menschlichen Gangs und die Vorhersage menschlicher Reaktionen ist. Anschließende Arbeiten können die Methoden für dreidimensionale Bewegungsstudien erweitern [Nit+20], und hybride physikalische und datengetriebene Modellierung weiter erforschen. Diese Arbeit trägt zur Verbesserung von Sport- und Medizinprodukten bei, da in Zukunft Bewegungen in natürlicher Umgebung analysiert und Mensch-Produkt-Interaktion in virtuellen Testumgebungen vorhergesagt werden können.

DOI
Faculties & Collections
Zugehörige ORCIDs