Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Identification of Stochastic Nonlinear Dynamical Models Using Estimating Functions
KTH, Skolan för elektroteknik och datavetenskap (EECS), Reglerteknik. KTH Royal Institute of Technology. (System Identification)ORCID-id: 0000-0001-5474-7060
2019 (Engelska)Doktorsavhandling, monografi (Övrigt vetenskapligt)
Abstract [en]

Data-driven modeling of stochastic nonlinear systems is recognized as a very challenging problem, even when reduced to a parameter estimation problem. A main difficulty is the intractability of the likelihood function, which renders favored estimation methods, such as the maximum likelihood method, analytically intractable. During the last decade, several numerical methods have been developed to approximately solve the maximum likelihood problem. A class of algorithms that attracted considerable attention is based on sequential Monte Carlo algorithms (also known as particle filters/smoothers) and particle Markov chain Monte Carlo algorithms. These algorithms were able to obtain impressive results on several challenging benchmark problems; however, their application is so far limited to cases where fundamental limitations, such as the sample impoverishment and path degeneracy problems, can be avoided.

This thesis introduces relatively simple alternative parameter estimation methods that may be used for fairly general stochastic nonlinear dynamical models. They are based on one-step-ahead predictors that are linear in the observed outputs and do not require the computations of the likelihood function. Therefore, the resulting estimators are relatively easy to compute and may be highly competitive in this regard: they are in fact defined by analytically tractable objective functions in several relevant cases. In cases where the predictors are analytically intractable due to the complexity of the model, it is possible to resort to {plain} Monte Carlo approximations. Under certain assumptions on the data and some conditions on the model, the convergence and consistency of the estimators can be established. Several numerical simulation examples and a recent real-data benchmark problem demonstrate a good performance of the proposed method, in several cases that are considered challenging, with a considerable reduction in computational time in comparison with state-of-the-art sequential Monte Carlo implementations of the ML estimator.

Moreover, we provide some insight into the asymptotic properties of the proposed methods. We show that the accuracy of the estimators depends on the model parameterization and the shape of the unknown distribution of the outputs (via the third and fourth moments). In particular, it is shown that when the model is non-Gaussian, a prediction error method based on the Gaussian assumption is not necessarily more accurate than one based on an optimally weighted parameter-independent quadratic norm. Therefore, it is generally not obvious which method should be used. This result comes in contrast to a current belief in some of the literature on the subject. 

Furthermore, we introduce the estimating functions approach, which was mainly developed in the statistics literature, as a generalization of the maximum likelihood and prediction error methods. We show how it may be used to systematically define optimal estimators, within a predefined class, using only a partial specification of the probabilistic model. Unless the model is Gaussian, this leads to estimators that are asymptotically uniformly more accurate than linear prediction error methods when quadratic criteria are used. Convergence and consistency are established under standard regularity and identifiability assumptions akin to those of prediction error methods.

Finally, we consider the problem of closed-loop identification when the system is stochastic and nonlinear. A couple of scenarios given by the assumptions on the disturbances, the measurement noise and the knowledge of the feedback mechanism are considered. They include a challenging case where the feedback mechanism is completely unknown to the user. Our methods can be regarded as generalizations of some classical closed-loop identification approaches for the linear time-invariant case. We provide an asymptotic analysis of the methods, and demonstrate their properties in a simulation example.

Abstract [sv]

Det är välkänt att datadriven modellering av icke-linjära stokastiska system är ett utmanande problem, även i fallen där det kan reduceras till ren parameterskattning. Den huvudsakliga svårigheten är att likelihoodfunktionen inte är analytiskt hanterbar, vilket medför problem vid tillämpning av standardmetoder såsom maximum likelihood. Under det senaste decenniet har numeriska algoritmer baserade på sekventiell Monte Carlo (partikelfilter) rönt stort intresse. Dessa algoritmer har imponerande prestanda på en rad benchmarkproblem; dock så är deras praktiska tillämpning än så länge begränsad till specialfall där fundamentala begränsningar kan undvikas.

Den här avhandlingen introducerar nya metoder som kan användas för parameterestimering i en stor klass av icke-linjära stokastiska system. Metoderna baseras på enstegsprediktorer som är linjära i systemets observerade utsignal. Våra nya metoder kräver inte att likelihoodfunktionen beräknas; istället använder de, i en rad relevanta fall, analytiskt hanterbara uttryck som gör dem högst attraktiva. I fallen där prediktorerna är analytiskt ohanterbara (på grund av modellens komplexitet) kan man använda vanliga Monte Carlo-approximationer. Vi visar att klassiska resultat från asymptotisk teori kan användas under rimliga antaganden, och via dessa, att våra föreslagna skattare är konsistenta samt asymptotiskt normalfördelade. Skattarnas prestanda utvärderas i numeriska simulationer, samt nyligen föreslagna benchmarkproblem baserade på verklig data, med bra resultat.

Vidare diskuterar vi de föreslagna metodernas asymptotiska egenskaper: deras nogrannhet beror inte enbart på hur modellen har parametriserats, utan även på datans sannolikhetsdistribution (via dess tredje och fjärde ordningens moment). Speciellt visar vi att när modellen inte uppfyller antaganden om normalfördelning, så är en prediktionsfelsmetod baserad på ett normalfördelningsantagande inte nödvändigtvis bättre än en prediktionsfelsmetod baserad på en viktad parameteroberonde kvadratisk norm. Vår slutsats är att det därför inte är uppenbart vilken prediktionsfelsmetod som bör användas. Detta resultat står i kontrast mot den vedertagna uppfattningen som finns i delar av litteraturen.

Avhandlingen introducerar även den så kallade skattningsfunktionsmetoden (främst utvecklad inom statistiklitteraturen) som en generalisering av maximum likelihood- och prediktionsfelsmetoderna. Vi visar hur denna metod kan användas för att systematiskt konstruera optimala skattare, inom en specifierad modellklass, från enbart partiella specifikationer på den underliggande probabilistiska modellen. Detta ger skattare som asymptotiskt är likformigt mer noggrannare än linjära prediktionsfelsmetoder baserade på kvadratiska optimeringsobjektiv. Vi härleder konvergensresultat, såsom konsistens, för dessa skattare under standardantaganden.

Slutligen behandlar vi identifieringsproblemet för återkopplade system som är stokastiska och icke-linjära. Vi behandlar ett par varianter på antaganden om mät- samt processbrus, och på kunskap om hur systemets återkoppling sker. Ett speciellt utmanande fall är när återkopplingsmekanismen är helt okänd. Metoderna vi föreslår kan ses som generaliseringar av klassiska metoder för identifiering av återkopplade system med linjärt tidsvarierande parametrar. Vi utför en asymptotisk analys av metoderna, och demonstrerar deras prestanda i numeriska experiment.

Ort, förlag, år, upplaga, sidor
KTH Royal Institute of Technology, 2019. , s. 234
Serie
TRITA-EECS-AVL ; 2019:63
Nyckelord [en]
Prediction Error Method, Maximum Likelihood, Data-driven, Learning, Stochastic, Nonlinear, Dynamical Models, Non-stationary Linear Predictors, Intractable Likelihood, Latent Variable Models, Estimation, Process Disturbance
Nationell ämneskategori
Teknik och teknologier
Forskningsämne
Elektro- och systemteknik
Identifikatorer
URN: urn:nbn:se:kth:diva-256020ISBN: 978-91-7873-267-8 (tryckt)OAI: oai:DiVA.org:kth-256020DiVA, id: diva2:1343172
Disputation
2019-09-06, F3, Lindstedtvägen 26, Stockholm, 10:00 (Engelska)
Opponent
Handledare
Anmärkning

QC 20190816

Tillgänglig från: 2019-08-16 Skapad: 2019-08-15 Senast uppdaterad: 2019-08-16Bibliografiskt granskad

Open Access i DiVA

fulltext(4725 kB)139 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 4725 kBChecksumma SHA-512
52036e92f8b422b703a2f928085a7e119f0b95d8e816777a957511caedac1bd8caace05bc7705308d6d801be7a37ed2eb321c3d66560bda21cf7ab767a096fbc
Typ fulltextMimetyp application/pdf
Errata(93 kB)28 nedladdningar
Filinformation
Filnamn FULLTEXT02.pdfFilstorlek 93 kBChecksumma SHA-512
a114dd981fca9c10564860e7ee017cdb3520ad4fd37752c2e6646b5fef9e8534e851496f15f82e384efa890f6c8cab786b1003a2540e09c17238c2e5730f4621
Typ fulltextMimetyp application/pdf

Sök vidare i DiVA

Av författaren/redaktören
Abdalmoaty, Mohamed
Av organisationen
Reglerteknik
Teknik och teknologier

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 167 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

isbn
urn-nbn

Altmetricpoäng

isbn
urn-nbn
Totalt: 1380 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf