Parameter estimation is a pivotal task across various domains such as system identification, statistics, and machine learning. The literature presents numerous estimation procedures, many of which are backed by well-studied asymptotic properties. In the contemporary landscape, highly advanced digital twins (DTs) offer the capability to faithfully replicate real systems through proper tuning. Leveraging these DTs, data-driven estimators can alleviate challenges inherent in traditional methods, notably their computational cost and sensitivity to initializations. Furthermore, traditional estimators often rely on sensitive data, necessitating protective measures.

In this thesis, we consider data-driven and privacy-preserving approaches to parameter estimation that overcome many of these challenges.

The first part of the thesis delves into an exploration of modern data-driven estimation techniques, focusing on the two-stage (TS) approach. Operating under the paradigm of inverse supervised learning, the TS approach simulates numerous samples across parameter variations and employs supervised learning methods to predict parameter values. Divided into two stages, the approach involves compressing data into a smaller set of samples and the second stage utilizes these samples to predict parameter values. The simplicity of the TS estimator underscores its interpretability, necessitating theoretical justification, which forms the core motivation for this thesis. We establish statistical frameworks for the TS estimator, yielding its Bayes and minimax versions, alongside developing an improved minimax TS variant that excels in computational efficiency and robustness to distributional shifts. Finally, we conduct an asymptotic analysis of the TS estimator.

The second part of the thesis introduces an application of data-driven estimation methods, that includes the TS and neural network based approaches, in the design of tuning rules for PI controllers. Leveraging synthetic datasets generated from DTs, we train machine learning algorithms to meta-learn tuning rules, streamlining the calibration process without manual intervention.

In the final part of the thesis, we tackle scenarios where estimation procedures must handle sensitive data. Here, we introduce differential privacy constraints into the Bayes point estimation problem to protect sensitive information. Proposing a unified approach, we integrate the estimation problem and differential privacy constraints into a single convex optimization objective, thereby optimizing the accuracy-privacy trade-off. In cases where both observations and parameter spaces are finite, this approach reduces to a tractable linear program which is solvable using off-the-shelf solvers.

In essence, this thesis endeavors to address computational and privacy concerns within the realm of parameter estimation.

Skattning av parametrar utgör en fundamental uppgift inom en mängd fält, såsom systemidentifiering, statistik och maskininlärning. I litteraturen finns otaliga skattningsmetoder, utav vilka många understödjs av välstuderade asymptotiska egenskaper. Inom dagens forskning erbjuder noggrant kalibrerade digital twins (DTs) möjligheten att naturtroget återskapa verkliga system. Genom att utnyttja dessa DTs kan data-drivna skattningsmetoder minska problem som vanligtvis drabbar traditionella skattningsmetoder, i synnerhet problem med beräkningsbörda och känslighet för initialiseringvillkor. Traditionella skattningsmetoder kräver dessutom ofta känslig data, vilket leder till ett behov av skyddsåtgärder.

I den här uppsatsen, undersöker vi data-drivna och integritetsbevarande parameterskattningmetoder som övervinner många av de nämnda problemen. 

Första delen av uppsatsen är en undersökning av moderna data-drivna skattningtekniker, med fokus på två-stegs-metoden (TS). Som metod inom omvänd övervakad maskininlärning, simulerar TS en stor mängd data med ett stort urval av parametrar och tillämpar sedan metoder från övervakad inlärning för att förutsäga parametervärden. De två stegen innefattar datakomprimering till en mindre mängd, varefter den mindre mängden data används för parameterskattning. Tack vare sin enkelhet och tydbarhet lämpar sig två-stegs-metoden väl för teoretisk analys, vilket är uppsatsens motivering.

Vi utvecklar ett statistiskt ramverk för två-stegsmetoden, vilket ger Bayes och minimax-varianterna, samtidigt som vi vidareutvecklar minimax-TS genom en variant med hög beräkningseffektivitet och robusthet gentemot skiftade fördelningar. Slutligen analyserar vi två-stegs-metodens asymptotiska egenskaper. 

Andra delen av uppsatsen introducerar en tillämpning av data-drivna skattningsmetoder, vilket innefattar TS och neurala nätverk, i designen och kalibreringen av PI-regulatorer. Med hjälp av syntetisk data från DTs tränar vi maskininlärningsalgoritmer att meta-lära sig regler för kalibrering, vilket effektiverar kalibreringsprocessen utan manuellt ingripande. 

I sista delen av uppsatsen behandlar vi scenarion då skattningsprocessen innefattar känslig data. Vi introducerar differential-privacy-begränsningar i Bayes-punktskattningsproblemet för att skydda känslig information. Vi kombinerar skattningsproblemet och differential-privacy-begränsningarna i en gemensam konvex målfunktion, och optimerar således avvägningen mellan noggrannhet och integritet. Ifall både observations- och parameterrummen är ändliga, så reduceras problemet till ett lätthanterligt linjärt optimeringsproblem, vilket löses utan vidare med välkända metoder. 

Sammanfattningsvis behandlar uppsatsen beräkningsmässiga och integritets-angelägenheter inom ramen för parameterskattning.