As new machine learning technologies are conceived, endless possibilities for breakthrough applications in science open up. We wonder how far we are from developing an artificial scientist that acts like a human one. It would be capable of making observations, analyzing data, building a model, deriving hypotheses, and designing experiments to falsify them. After an overview of common machine learning techniques, we review recent work that attempts to achieve some of these goals. We then present the main ideas that we believe are necessary for future artificial scientific discovery. In particular, we take the perspective of a physicist, and show examples from physical domains that could benefit from the presented approaches. We develop these ideas in various works. First, we focus on learning to make a high-level description of a physical system, e.g. by extracting collective variables. Therefore, we present the idea of using information theory to describe them and introduce the concept of “Renormalized Mutual Information”. Second, we study the problem of experimental design and investigate how an artificial scientist should choose which experiments to perform. We show applications of a deep learning approximation technique to quantum many-body systems. We then generalize our discussion to the problem of scientific exploration, diving into reinforcement learning techniques for intrinsic motivation as a framework for creating “curious” artificial scientists. Furthermore, we imagine ways in which an algorithm could learn concepts from experience and reuse them in different settings. We adopt the program synthesis approach and explore applications to the synthesis of quantum circuits given the associated unitary matrix. Finally, we discuss additional proof-of-concept examples and future developments in the field.

Mit der Entwicklung neuer Technologien zum Maschinellen Lernen werden unzählige Anwendungen möglich, die früher undenkbar waren . Es stellt sich die Frage, wie weit wir von der Entwicklung eines künstlichen Wissenschaftlers entfernt sind, der wie ein Mensch selbst Beobachtungen machen, Daten analysieren, Modelle konstruieren, Hypothese aufstellen und Experimente entwickeln kann, umdiese Hypothesen zu falsifizieren. Wir fragen uns auch, wie ein solcher künstlicher Wissenschaftler aussehen würde. Nach einer kurzen Zusammenfassung der Techniken für Maschinelles Lernen und einem Überblick über existierende Arbeiten, die versuchen, zumindest eines der oben genannten Ziele zu erreichen, untersuchen und entwickeln wir Ideen, die für zukünftige künstliche wissenschaftliche Entdeckungen notwendig sein könnten. Insbesondere behalten wir die Perspektive eines Physikers bei und zeigen Beispiele aus der Physik, die von den vorgestellten Methoden stark profitieren könnten. Zuerst konzentrieren wir uns auf die Beschreibung eines physikalischen Systems auf hohem Niveau, z.B. durch die Identifizierung kollektiver Variablen. Wir stellen daher die Idee vor, die Informationstheorie für diesen Zweck zu nutzen, und führen das Konzept der renornmalisierten gegenseitigen Information ein. Anschließend untersuchen wir, wie ein künstlicher Wissenschaftler seine Experimente aufbauen sollte. Wir zeigen Anwendungen von einer Deep Learning Approximationstechnik auf quantenmechanische Vielkörpersysteme. Danach erweitern wir unsere Diskussion auf das allgemeinere Problem der wissenschaftlichen Forschung und nutzen Ideen des bestärkenden Lernen und der intrinsischen Motivation, um “neugierigen” künstliche Wissenschaftler zu entwickeln. Außerdem stellen wir auch vor, wie man aus Erfahrung neue Konzepte erschaffen und diese dann auf neue Probleme anwenden kann. Wir verwenden Programmsynthese und erforschen mögliche Anwendungen für die Erzeugung von Quantenschaltungen gegeben der entsprechenden unitären Matrix. Am Ende besprechen wir weitere prototypische Beispiele und diskutieren mögliche zukünftige Entwicklungen in diesem Forschungsfeld.