kth.sePublications
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Parameter Estimation: Towards Data-Driven and Privacy Preserving Approaches
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Decision and Control Systems (Automatic Control).ORCID iD: 0009-0008-4893-0473
2024 (English)Licentiate thesis, monograph (Other academic)
Abstract [en]

Parameter estimation is a pivotal task across various domains such as system identification, statistics, and machine learning. The literature presents numerous estimation procedures, many of which are backed by well-studied asymptotic properties. In the contemporary landscape, highly advanced digital twins (DTs) offer the capability to faithfully replicate real systems through proper tuning. Leveraging these DTs, data-driven estimators can alleviate challenges inherent in traditional methods, notably their computational cost and sensitivity to initializations. Furthermore, traditional estimators often rely on sensitive data, necessitating protective measures.

In this thesis, we consider data-driven and privacy-preserving approaches to parameter estimation that overcome many of these challenges.

The first part of the thesis delves into an exploration of modern data-driven estimation techniques, focusing on the two-stage (TS) approach. Operating under the paradigm of inverse supervised learning, the TS approach simulates numerous samples across parameter variations and employs supervised learning methods to predict parameter values. Divided into two stages, the approach involves compressing data into a smaller set of samples and the second stage utilizes these samples to predict parameter values. The simplicity of the TS estimator underscores its interpretability, necessitating theoretical justification, which forms the core motivation for this thesis. We establish statistical frameworks for the TS estimator, yielding its Bayes and minimax versions, alongside developing an improved minimax TS variant that excels in computational efficiency and robustness to distributional shifts. Finally, we conduct an asymptotic analysis of the TS estimator.

The second part of the thesis introduces an application of data-driven estimation methods, that includes the TS and neural network based approaches, in the design of tuning rules for PI controllers. Leveraging synthetic datasets generated from DTs, we train machine learning algorithms to meta-learn tuning rules, streamlining the calibration process without manual intervention.

In the final part of the thesis, we tackle scenarios where estimation procedures must handle sensitive data. Here, we introduce differential privacy constraints into the Bayes point estimation problem to protect sensitive information. Proposing a unified approach, we integrate the estimation problem and differential privacy constraints into a single convex optimization objective, thereby optimizing the accuracy-privacy trade-off. In cases where both observations and parameter spaces are finite, this approach reduces to a tractable linear program which is solvable using off-the-shelf solvers.

In essence, this thesis endeavors to address computational and privacy concerns within the realm of parameter estimation.

Abstract [sv]

Skattning av parametrar utgör en fundamental uppgift inom en mängd fält, såsom systemidentifiering, statistik och maskininlärning. I litteraturen finns otaliga skattningsmetoder, utav vilka många understödjs av välstuderade asymptotiska egenskaper. Inom dagens forskning erbjuder noggrant kalibrerade digital twins (DTs) möjligheten att naturtroget återskapa verkliga system. Genom att utnyttja dessa DTs kan data-drivna skattningsmetoder minska problem som vanligtvis drabbar traditionella skattningsmetoder, i synnerhet problem med beräkningsbörda och känslighet för initialiseringvillkor. Traditionella skattningsmetoder kräver dessutom ofta känslig data, vilket leder till ett behov av skyddsåtgärder.

I den här uppsatsen, undersöker vi data-drivna och integritetsbevarande parameterskattningmetoder som övervinner många av de nämnda problemen. 

Första delen av uppsatsen är en undersökning av moderna data-drivna skattningtekniker, med fokus på två-stegs-metoden (TS). Som metod inom omvänd övervakad maskininlärning, simulerar TS en stor mängd data med ett stort urval av parametrar och tillämpar sedan metoder från övervakad inlärning för att förutsäga parametervärden. De två stegen innefattar datakomprimering till en mindre mängd, varefter den mindre mängden data används för parameterskattning. Tack vare sin enkelhet och tydbarhet lämpar sig två-stegs-metoden väl för teoretisk analys, vilket är uppsatsens motivering.

Vi utvecklar ett statistiskt ramverk för två-stegsmetoden, vilket ger Bayes och minimax-varianterna, samtidigt som vi vidareutvecklar minimax-TS genom en variant med hög beräkningseffektivitet och robusthet gentemot skiftade fördelningar. Slutligen analyserar vi två-stegs-metodens asymptotiska egenskaper. 

Andra delen av uppsatsen introducerar en tillämpning av data-drivna skattningsmetoder, vilket innefattar TS och neurala nätverk, i designen och kalibreringen av PI-regulatorer. Med hjälp av syntetisk data från DTs tränar vi maskininlärningsalgoritmer att meta-lära sig regler för kalibrering, vilket effektiverar kalibreringsprocessen utan manuellt ingripande. 

I sista delen av uppsatsen behandlar vi scenarion då skattningsprocessen innefattar känslig data. Vi introducerar differential-privacy-begränsningar i Bayes-punktskattningsproblemet för att skydda känslig information. Vi kombinerar skattningsproblemet och differential-privacy-begränsningarna i en gemensam konvex målfunktion, och optimerar således avvägningen mellan noggrannhet och integritet. Ifall både observations- och parameterrummen är ändliga, så reduceras problemet till ett lätthanterligt linjärt optimeringsproblem, vilket löses utan vidare med välkända metoder. 

Sammanfattningsvis behandlar uppsatsen beräkningsmässiga och integritets-angelägenheter inom ramen för parameterskattning.

Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2024. , p. xvi, 99
Series
TRITA-EECS-AVL ; 2024:22
Keywords [en]
Parameter estimation, System identification
National Category
Control Engineering
Identifiers
URN: urn:nbn:se:kth:diva-344159ISBN: 978-91-8040-863-9 (print)OAI: oai:DiVA.org:kth-344159DiVA, id: diva2:1842838
Presentation
2024-04-03, https://kth-se.zoom.us/j/61854930060, Q2, Malvinas väg 10, Stockholm, 10:00 (English)
Opponent
Supervisors
Note

QC 20240306

Available from: 2024-03-06 Created: 2024-03-06 Last updated: 2024-03-25Bibliographically approved

Open Access in DiVA

lic_BL(24679 kB)72 downloads
File information
File name FULLTEXT01.pdfFile size 24679 kBChecksum SHA-512
763d16a0796d60afd38a71ac807c6713424b276ea1ec8af75969d8c66026f2465529128c817127ffcd2fbebdeeeb84987c263898c5a4e5d9ff49a7d8f16607f4
Type fulltextMimetype application/pdf
Errata(125 kB)18 downloads
File information
File name FULLTEXT06.pdfFile size 125 kBChecksum SHA-512
5f23682d81f629d4493e830e4e76fced7e7273029ae3257de6944750423445797c653c75e9cdf725f723a44fe3af8c1cda3c0c2312e16bd5e274a7f7bf8d97af
Type fulltextMimetype application/pdf

Authority records

Lakshminarayanan, Braghadeesh

Search in DiVA

By author/editor
Lakshminarayanan, Braghadeesh
By organisation
Decision and Control Systems (Automatic Control)
Control Engineering

Search outside of DiVA

GoogleGoogle Scholar
Total: 90 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

isbn
urn-nbn

Altmetric score

isbn
urn-nbn
Total: 545 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf