kth.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Learning flow functions: architectures, universal approximation and applications to spiking systems
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Reglerteknik.ORCID-id: 0009-0006-0657-4103
2024 (Engelska)Licentiatavhandling, monografi (Övrigt vetenskapligt)
Abstract [en]

Learning flow functions of continuous-time control systems is considered in this thesis. The flow function is the operator mapping initial states and control inputs to the state trajectories, and the problem is to find a suitable neural network architecture to learn this infinite-dimensional operator from measurements of state trajectories. The main motivation is the construction of continuous-time simulation models for such systems. The contribution is threefold.

We first study the design of neural network architectures for this problem, when the control inputs have a certain discrete-time structure, inspired by the classes of control inputs commonly used in applications. We provide a mathematical formulation of the problem and show that, under the considered input class, the flow function can be represented exactly in discrete time. Based on this representation, we propose a discrete-time recurrent neural network architecture. We evaluate the architecture experimentally on data from models of two nonlinear oscillators, namely the Van der Pol oscillator and the FitzHugh-Nagumo oscillator. In both cases, we show that we can train models which closely reproduce the trajectories of the two systems.

Secondly, we consider an application to spiking systems. Conductance-based models of biological neurons are the prototypical examples of this type of system. Because of their multi-timescale dynamics and high-frequency response, continuous-time representations which are efficient to simulate are desirable. We formulate a framework for surrogate modelling of spiking systems from trajectory data, based on learning the flow function of the system. The framework is demonstrated on data from models of a single biological neuron and of the interconnection of two neurons. The results show that we are able to accurately replicate the spiking behaviour.

Finally, we prove an universal approximation theorem for the proposed recurrent neural network architecture. First, general conditions are given on the flow function and the control inputs which guarantee that the architecture is able to approximate the flow function of any control system with arbitrary accuracy. Then, we specialise to systems with dynamics given by a controlled ordinary differential equation, showing that the conditions are satisfied whenever the equation has a continuously differentiable right-hand side, for the control input classes of interest.

Abstract [sv]

Denna avhandling studerar maskininlärningsmetoder för tidskontinuerliga reglersystem. Vi utgår från en abstrakt systemrepresentation med en lösningsoperator, som avbildar systemets initialtillstånd och insignal på motsvarande tillståndstrajektorian. Målet är att undersöka inlärning av tidskontinuerliga simuleringsmodeller utifrån tillståndsmätningar. Avhandlingen består av tre huvudbidrag.

Vi undersöker först arkitekturer baserade på neurala nätverk, för klasser av insignaler som är brukliga i tillämpningar och har en viss tidsdiskret struktur. Vi formulerar problemet matematiskt, och visar att lösningsoperatorn kan representeras exakt av ett tidsdiskret system. Detta leder till en arkitektur baserad på ett återkopplande neuralt nätverk (RNN), som vi utförligt beskriver, analyserar och validerar med hjälp av data från två modeller av icke-linjära oscillatorer, nämligen Van der Pol oscillatorn och FitzHugh-Nagumo oscillatorn. I båda fall visar vi att vi kan träna modeller som noggrant reproducerar systemens lösningsbanor.

Därefter studerar vi en tillämpning på system vars tillståndstrajektorier kännetecknas av förekomsten av snabba oscillationer i form av impulser, såsom modeller av biologiska neuroner. Denna klass av system karakteriseras av ett flerskaligt och högfrekvent tidssvar, vilket gör det önskvärt att ta fram tidskontinuerliga modeller som är lätta att simulera. Vi lägger fram ett ramverk för inlärning av surrogatmodeller av sådana system från data. Ramverket demonstreras med hjälp av data från en modell av en biologisk neuron och en modell av två kopplade biologiska neuroner, och resultaten visar att våra modeller noggrant reproducerar systemens beteende.

Slutligen tar vi fram ett bevis för ett approximationsteorem för inlärning av lösningsoperatorer av tidskontinuerliga system. Vi visar att den RNN- arkitektur som vi har tagit fram kan approximera godtyckliga reglersystem under vissa villkor som vi först formulerar abstrakt. Sedan bevisar att reglersystem som beskrivs av ordinära differentialekvationer uppfyller dessa villkor, vilket betyder att de kan approximeras av den studerade arkitekturen.

Ort, förlag, år, upplaga, sidor
Stockholm: KTH Royal Institute of Technology, 2024. , s. 80
Serie
TRITA-EECS-AVL ; 2024:20
Nationell ämneskategori
Reglerteknik
Forskningsämne
Elektro- och systemteknik
Identifikatorer
URN: urn:nbn:se:kth:diva-343571ISBN: 978-91-8040-852-3 (tryckt)OAI: oai:DiVA.org:kth-343571DiVA, id: diva2:1839190
Presentation
2024-03-15, D3, Lindstedtsvägen 9, Join Zoom Meeting https://kth-se.zoom.us/j/62682986918?pwd=NTFxcVovZnY2MkUrbWFaYjB6MXNudz09 Meeting ID: 626 8298 6918 Password: 462187, Stockholm, 10:00 (Engelska)
Opponent
Handledare
Anmärkning

QC 20240220

Tillgänglig från: 2024-02-20 Skapad: 2024-02-20 Senast uppdaterad: 2024-03-12Bibliografiskt granskad

Open Access i DiVA

fulltext(17138 kB)214 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 17138 kBChecksumma SHA-512
1c23a1881e74e63a9012ab958914dc7669d264f5ef8a4890cc0e6d78444ad26a8a79fd70146de7df5777adca0ce3033a8a7c3eb2c8535bff22b69114c6f98244
Typ fulltextMimetyp application/pdf

Person

Aguiar, Miguel

Sök vidare i DiVA

Av författaren/redaktören
Aguiar, Miguel
Av organisationen
Reglerteknik
Reglerteknik

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 215 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

isbn
urn-nbn

Altmetricpoäng

isbn
urn-nbn
Totalt: 973 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf