Quantum control has recently been a problem of great relevance and is gaining even more traction. In many fields, including quantum technologies, quantum metrology, and quantum computing, control of a system is essential.

In physics, quantum control has been studied both from the theoretical and the experimental point of view. Its tasks include purification of quantum states, optimal control, quantum feedback, and quantum state preparation. Each task is essential for studying and developing scalable and reliable quantum systems.

While quantum control was only approached through theoretical analytical solutions and gradient-based techniques in the past, in recent years, there has been considerable interest in applying machine learning (ML) techniques to such problems. One of the most promising branches of ML to do so is called Reinforcement Learning (RL).

RL was applied successfully to solve complex problems that required finding control strategies in computer games and robotics. Reinforcement learning is a very general technique, and its framework can be applied with little effort to various tasks, so physicists saw it as a powerful tool for their quantum control tasks. Among the most notable applications of reinforcement learning in quantum control are state preparation, state transfer, parameter estimation, gate and circuit design, and quantum error correction.

This thesis will define the main concepts of machine learning and display the general framework of Reinforcement Learning and a few state-of-the-art algorithms. Several essential concepts of quantum control will also be presented, focusing on two RL applications in the field.

One of the applications is a deep reinforcement learning scheme used for preparing and stabilizing quantum Fock states and superpositions. The studied system is a cavity subject to quantum-non-demolition detection of photon number and controlled by only a simple linear drive, with RL reaching high fidelities in a multitude of tasks without any prior knowledge of the physical system. This work was inspired on an experimental application of Prof. Benjamin Huard’s experimental group at ENS Lyon, who also collaborated on the manuscript.

The second application showcases an extension of the popular GRAPE algorithm. GRAPE is a gradient-based technique primarily used to optimize quantum systems’ control sequences. Our implementation incorporates discrete and continuous strong stochastic measurements into an RL-inspired approach This powerful technique is illustrated on a Jaynes-Cummings model with feedback. The strategies found by RL can prepare states and stabilize them in the presence of noise and are also human-interpretable. All of the work in this thesis has been conducted under the supervision of Prof. Dr. Florian Marquardt at the Max Planck Institute for the Science of Light from January 2019 to March 2022.

Die Quantenkontrolle ist in letzter Zeit ein Problem von großer Relevanz gewesen und gewinnt sogar immer mehr an Bedeutung. In vielen Gebieten, einschließlich der Quantentechnologie, \-metrologie und -computing, ist die Kontrolle eines Systems unerlässlich.

Die Quantenkontrolle wurde in der Physik sowohl aus theoretischer als auch aus experimenteller Sicht untersucht. Ihre Aufgaben beinhalten die Reinigung von Quantenzuständen, die optimale Kontrolle, die Quantenrückkopplung und die Vorbereitung von Quantenzuständen. Jede dieser Aufgaben ist wesentlich für die Erforschung und Entwicklung skalierbarer und zuverlässiger Quantensysteme.

Während die Quantenkontrolle in der Vergangenheit nur durch theoretische analytische Lösungen und gradientenbasierte Techniken angegangen wurde, entstand in den letzten Jahren ein erhebliches Interesse an der Anwendung von Techniken des Maschinellen Lernens (ML) für solche Probleme. Einer der vielversprechendsten Zweige des ML hierfür stellt das sogenannte Bestärkende Lernen (BL) dar.

BL wurde erfolgreich zur Lösung komplexer Probleme angewendet, die das Finden von Kontrollstrategien in Computerspielen und in der Robotik benötigten. Da das BL eine sehr allgemeine Technik darstellt, welche mit geringem Aufwand für verschiedene Aufgaben eingesetzt werden kann, sahen Physiker darin ein wirksames Mittel für ihre Quantensteuerungsaufgaben. \Zu den bemerkenswertesten Anwendungen des BLs in der Quantenkontrolle zählen die Zustandsvorbereitung und -übertragung, die Parameterschätzung, die Konstruktion von Gattern und Schaltkreisen sowie die Quantenfehlerkorrektur.

In dieser Arbeit werden die wichtigsten Konzepte des MLs definiert und der allgemeine Rahmen des BLs sowie einige hochmoderne Algorithmen vorgestellt. Zusätzlich werden mehrere wesentliche Konzepte der Quantensteuerung präsentiert, wobei der Schwerpunkt auf zwei Anwendungen des BLs in diesem Bereich liegt. Bei einer der Anwendungen handelt es sich um ein Verfahren des tiefen BLs, das zur Vorbereitung und Stabilisierung von Quanten-Fock-Zuständen und Superpositionen eingesetzt wird. Das untersuchte System besteht aus einem Hohlraumresonator, der die zerstörungsfreie Quantenmessung der Photonenzahl ermöglicht und nur durch einen einfachen linearen Antrieb gesteuert wird. Hierbei erreicht das BL eine hohe Fidelität bei einer Vielzahl von Aufgaben, ohne vorherige Kenntnisse des physikalischen Systems zu haben. \Diese Arbeit basiert auf einer experimentellen Anwendung der Arbeitsgruppe von Prof. Benjamin Huard an der ENS Lyon, der auch am Manuskript mitgearbeitet hat.

Die zweite Anwendung stellt eine Erweiterung des bekannten GRAPE-Algorithmus dar. GRAPE ist ein gradientenbasiertes Verfahren, das in erster Linie zur Optimierung der Kontrollsequenzen von Quantensystemen eingesetzt wird. Diese Implementierung integriert diskrete und kontinuierliche starke stochastische Messungen in einen BL-inspirierten Ansatz. Diese wirksame Technik wird anhand eines Jaynes-Cummings-Modells mit Rückkopplung veranschaulicht. Die durch BL gefundenen Strategien ermöglichen die Vorbereitung und Stabilisierung von Zuständen in Anwesenheit von Rauschen, und beschreiben zusätzlich erklärbares Maschinenlernen. Die gesamte Arbeit dieser Dissertation wurde unter der Betreuung von Prof. Dr. Florian Marquardt am Max-Planck-Institut für die Physik des Lichts von Januar 2019 bis März 2022 durchgeführt.