kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Learning in the Loop: On Neural Network-based Model Predictive Control and Cooperative System Identification
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Decision and Control Systems (Automatic Control).
2023 (English)Licentiate thesis, monograph (Other academic)
Abstract [sv]

Inom reglerteknik har integrationen av maskininlärningsmetoder framträtt som en central strategi för att förbättra prestanda och adaptivitet hos styrsystem. Betydande framsteg har gjorts inom flera viktiga aspekter av reglerkretsen, såsom inlärningsbaserade metoder för systemidentifiering och parameterskattning, filtrering och brusreducering samt reglersyntes. Denna avhandling fördjupar sig i området inlärning för reglerteknik med särskild betoning på inlärningsbaserade regulatorer och identifieringsmetoder. 

Avhandlingens första del behandlar undersökningen av neuronnätsbaserad Modellprediktiv Reglering (MPC). Olika nätstrukturer studeras, både generella black box-nät och nät som väver in MPC-specifik information i sin struktur. Dessa nät jämförs och utvärderas med avseende på två prestandamått genom experiment på realistiska två- och fyrdimensionella system. Den huvudsakliga nyskapande aspekten är inkluderingen av gradientdata i träningsprocessen, vilket visar sig förbättra noggrannheten av de genererade styrsignalerna. Vidare påvisar de experimentella resultaten att en MPC-informerad nätstruktur leder till förbättrad prestanda när mängden träningsdata är begränsad. 

Med insikt om vikten av noggranna matematiska modeller av styrsystemet, riktar den andra delen av avhandlingen sitt fokus mot inlärningsbaserade identifieringsmetoder. Denna forskningsgren behandlar karakterisering och modellering av dynamiska system med hjälp av maskininlärning. Avhandlingen bidrar till området genom att introducera kooperativa systemidentifieringsmetoder för att förbättra parameterskattningen. Specifikt utnyttjas verktyg från Optimal Transport för att introducera en ny och mer generell formulering av ramverket Correctional Learning. Detta ramverk är baserat på en mästare-lärlingsmodell, där en expertagent (mästare) observerar och modifierar den insamlade data som används av en lärande agent (lärling), med syftet att förbättra lärlingens skattningsprocess. Genom att formulera correctional learning som ett optimal transport-problem erhålls ett mer flexibelt ramverk, bättre lämpat för skattning av komplexa systemegenskaper samt anpassning till alternativa handlingsstrategier. 

Abstract [en]

In the context of control systems, the integration of machine learning mechanisms has emerged as a key approach for improving performance and adaptability. Notable progress has been made across several aspects of the control loop, including learning-based techniques for system identification and estimation, filtering and denoising, and controller design. This thesis delves into the rapidly expanding domain of learning in control, with a particular focus placed on learning-based controllers and learning-based identification methods.

The first part of this thesis is devoted to the investigation of Neural Network approximations of Model Predictive Control (MPC). Model-agnostic neural network structures are compared to networks employing MPC-specific information, and evaluated in terms of two performance metrics. The main novel aspect lies in the incorporation of gradient data in the training process, which is shown to enhance the accuracy of the network generated control inputs. Furthermore, experimental results reveal that MPC-informed networks outperform the agnostic counterparts in scenarios when training data is limited.

In acknowledgement of the crucial role accurate system models play in in the control loop, the second part of this thesis lends its focus to learning-based identification methods. This line of work addresses the important task of characterizing and modeling dynamical systems, by introducing cooperative system identification techniques to enhance estimation performance. Specifically, it presents a novel and generalized formulation of the Correctional Learning framework, leveraging tools from Optimal Transport. The correctional learning framework centers around a teacher-student model, where an expert agent (teacher) modifies the sampled data used by the learner agent (student), to improve the student's estimation process. By formulating correctional learning as an optimal transport problem, a more adaptable framework is achieved, better suited for estimating complex system characteristics and accommodating alternative intervention strategies.

 

Place, publisher, year, edition, pages
KTH Royal Institute of Technology, 2023. , p. 99
Series
TRITA-EECS-AVL ; 2023:63
Keywords [en]
Learning, Model Predictive Control, System Identification, Optimal Transport
Keywords [sv]
Inlärning, Modellprediktiv reglering, Systemidentifiering, Optimal transport
National Category
Control Engineering
Research subject
Electrical Engineering
Identifiers
URN: urn:nbn:se:kth:diva-338827ISBN: 978-91-8040-710-6 (print)OAI: oai:DiVA.org:kth-338827DiVA, id: diva2:1807657
Presentation
2023-11-22, https://kth-se.zoom.us/j/61342606211, Q2, Malvinas väg 10, KTH Campus, Stockholm, 13:00 (English)
Opponent
Supervisors
Projects
VR 2018-03438 projekt 3224
Funder
Wallenberg AI, Autonomous Systems and Software Program (WASP)Available from: 2023-10-27 Created: 2023-10-27 Last updated: 2023-10-30Bibliographically approved

Open Access in DiVA

rebecka_winqvist_licentiate(23249 kB)936 downloads
File information
File name FULLTEXT01.pdfFile size 23249 kBChecksum SHA-512
dcccac0560ef3e2b3a9d652f90afed6e99900c9890d9e743f472a559c282f4ee6fa03b5f6cc15742025a6a115d7431e0168e47868b4702314a5e310d145fc664
Type fulltextMimetype application/pdf

Authority records

Winqvist, Rebecka

Search in DiVA

By author/editor
Winqvist, Rebecka
By organisation
Decision and Control Systems (Automatic Control)
Control Engineering

Search outside of DiVA

GoogleGoogle Scholar
Total: 936 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

isbn
urn-nbn

Altmetric score

isbn
urn-nbn
Total: 912 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf