Learning flow functions of continuous-time control systems is considered in this thesis. The flow function is the operator mapping initial states and control inputs to the state trajectories, and the problem is to find a suitable neural network architecture to learn this infinite-dimensional operator from measurements of state trajectories. The main motivation is the construction of continuous-time simulation models for such systems. The contribution is threefold.

We first study the design of neural network architectures for this problem, when the control inputs have a certain discrete-time structure, inspired by the classes of control inputs commonly used in applications. We provide a mathematical formulation of the problem and show that, under the considered input class, the flow function can be represented exactly in discrete time. Based on this representation, we propose a discrete-time recurrent neural network architecture. We evaluate the architecture experimentally on data from models of two nonlinear oscillators, namely the Van der Pol oscillator and the FitzHugh-Nagumo oscillator. In both cases, we show that we can train models which closely reproduce the trajectories of the two systems.

Secondly, we consider an application to spiking systems. Conductance-based models of biological neurons are the prototypical examples of this type of system. Because of their multi-timescale dynamics and high-frequency response, continuous-time representations which are efficient to simulate are desirable. We formulate a framework for surrogate modelling of spiking systems from trajectory data, based on learning the flow function of the system. The framework is demonstrated on data from models of a single biological neuron and of the interconnection of two neurons. The results show that we are able to accurately replicate the spiking behaviour.

Finally, we prove an universal approximation theorem for the proposed recurrent neural network architecture. First, general conditions are given on the flow function and the control inputs which guarantee that the architecture is able to approximate the flow function of any control system with arbitrary accuracy. Then, we specialise to systems with dynamics given by a controlled ordinary differential equation, showing that the conditions are satisfied whenever the equation has a continuously differentiable right-hand side, for the control input classes of interest.

Denna avhandling studerar maskininlärningsmetoder för tidskontinuerliga reglersystem. Vi utgår från en abstrakt systemrepresentation med en lösningsoperator, som avbildar systemets initialtillstånd och insignal på motsvarande tillståndstrajektorian. Målet är att undersöka inlärning av tidskontinuerliga simuleringsmodeller utifrån tillståndsmätningar. Avhandlingen består av tre huvudbidrag.

Vi undersöker först arkitekturer baserade på neurala nätverk, för klasser av insignaler som är brukliga i tillämpningar och har en viss tidsdiskret struktur. Vi formulerar problemet matematiskt, och visar att lösningsoperatorn kan representeras exakt av ett tidsdiskret system. Detta leder till en arkitektur baserad på ett återkopplande neuralt nätverk (RNN), som vi utförligt beskriver, analyserar och validerar med hjälp av data från två modeller av icke-linjära oscillatorer, nämligen Van der Pol oscillatorn och FitzHugh-Nagumo oscillatorn. I båda fall visar vi att vi kan träna modeller som noggrant reproducerar systemens lösningsbanor.

Därefter studerar vi en tillämpning på system vars tillståndstrajektorier kännetecknas av förekomsten av snabba oscillationer i form av impulser, såsom modeller av biologiska neuroner. Denna klass av system karakteriseras av ett flerskaligt och högfrekvent tidssvar, vilket gör det önskvärt att ta fram tidskontinuerliga modeller som är lätta att simulera. Vi lägger fram ett ramverk för inlärning av surrogatmodeller av sådana system från data. Ramverket demonstreras med hjälp av data från en modell av en biologisk neuron och en modell av två kopplade biologiska neuroner, och resultaten visar att våra modeller noggrant reproducerar systemens beteende.

Slutligen tar vi fram ett bevis för ett approximationsteorem för inlärning av lösningsoperatorer av tidskontinuerliga system. Vi visar att den RNN- arkitektur som vi har tagit fram kan approximera godtyckliga reglersystem under vissa villkor som vi först formulerar abstrakt. Sedan bevisar att reglersystem som beskrivs av ordinära differentialekvationer uppfyller dessa villkor, vilket betyder att de kan approximeras av den studerade arkitekturen.