This thesis is concerned with system identification for non-linear differential-algebraic equations affected by process disturbances. This model class is chosen because it is more general than, e.g., ordinary differential equation models, and in particular, is the underlying type of model for equation-based object-oriented modeling languages, such as Modelica or VHDL-AMS, and is thus suitable for modeling a large family of physical systems. A particular focus is placed on modeling process disturbances and taking them into account during the identification to address issues with biased estimates that can occur when process disturbances are neglected. Furthermore, the methods in this thesis are developed to be computationally tractable and to produce consistent estimators. In particular, approaches to improve the scaling of the methods with the number of unknown parameters are studied. This is important because many conventional identification methods are intractable in complex settings like the one considered in this thesis.

As a first step, a sub-optimal but consistent estimator is proposed for solving the problem, and it is shown how it can be computed using stochastic approximation methods. Forward sensitivity analysis for differential-algebraic equations is studied and applied to compute unbiased gradient estimates of the considered cost function. The tractability of the method is demonstrated through a simulation experiment on a pendulum model, where the benefits of taking process disturbances into account are also shown. To identify the parameters of the disturbance model, access to derivatives of the disturbances with respect to the parameters is required.

Because forward sensitivity analysis can become intractable as the number of unknown parameters grows, adjoint sensitivity methods are investigated as a second step. Adjoint sensitivity analysis for differential-algebraic equations is not applicable to our problem formulation, which is why we extend it so that it can be used to compute unbiased gradient estimates while avoiding unnecessary intermediate computations present in forward sensitivity analysis. The extension is also applicable to identifying parameters of the disturbance model if gradients of the disturbances with respect to their parameters are available. The computational benefits of the adjoint method are demonstrated through a simulation experiment on a delta robot, where we also observe some numerical challenges that can occur when solving differential-algebraic equations.

As a third and final part of the thesis, disturbance models are studied in more detail. In particular, the necessity and challenges of modeling disturbances in continuous time are discussed, and it is shown how derivatives of the disturbances with respect to their parameters can be computed. Insights about stochastic differential equations are used to develop a way to approximate these types of equations by ordinary differential equations, which allows us to apply adjoint sensitivity analysis without computing derivatives of the disturbances with respect to the parameters as an intermediate step. This can improve the efficiency of the adjoint method, especially under some mild assumptions on the poles of the disturbance model. The necessary theory for using larger and more complex disturbance models is thus developed. 

Together, these developments allow for tractable estimation methods that are expected to produce consistent estimators even when the system is affected by process disturbances. As the number of unknown parameters grows, computational tractability still becomes an issue, but the methods presented in this thesis allow us to push the boundary of how many unknown parameters we can handle. This, other future challenges, and further potential research directions are discussed at the end of the thesis.

Denna avhandling handlar om identifiering av icke-linjära differential-algebraiska ekvationer som påverkas av processtörningar. Denna typ av modell är vald eftersom den är mer generell än ordinära differentialekvationer, och särskilt eftersom den är den underliggande modelltypen för objektorienterade ekvations-baserade modelleringsspråk så som Modelica eller VHDL-AMS, och är därför lämplig för att modellera en stor mängd olika fysikaliska system. Avhandlingen fokuserar särskilt på att modellera processtörningar och på att ta hänsyn till dem under identifieringen, för att åtgärda problem med att skattningar kan bli icke-väntevärdesriktiga när störningar annars försummas. Metoderna i denna avhandling är även utvecklade för att vara beräkningsmässigt gångbara och för att producera konsistenta parameterskattningar. Särskilt så undersöks sätt att förbättra metodernas skalbarhet då antalet okända parametrar växer. Detta är viktigt eftersom många konventionella identifieringsmetoder inte är gångbara för komplexa problemställningar så som den som betraktas i denna avhandling.

Som ett första steg så föreslår vi en suboptimal men konsistent skattare för att lösa problemet och visar hur den kan beräknas med hjälp av stokastiska approximationsmetoder. Framåtriktad känslighetsanalys för differential-algebraiska metoder studeras och appliceras för att beräkna väntevärdesriktiga skattningar av gradienten för den betraktade kostnadsfunktionen. Den beräkningsmässiga gångbarheten demonstreras genom ett simuleringsexperiment men en pendelmodell, där vi även visar fördelarna med att ta hänsyn till processtörningar. För att identifiera parametrar för störningsmodellen så krävs det att man har tillgång till derivatan av störningen med avseende på parametrarna.

Som ett andra steg så väljer vi att studera adjunkt känslighetsanalys, eftersom framåtriktad känslighetsanalys kan bli beräkningsmässigt svårhanterligt när antalet okända parametrar växer. Adjunkt känslighetsanalys för differential-algebraiska ekvationer är inte applicerbar till vår problemformulering, vilket är varför vi utökar metoden så att den även kan användas för att beräkna väntevärdesriktiga skattningar av gradienten på ett vis som, till skillnad från framåtriktad känslighetsanalys, undviker att genomföra vissa onödiga mellanliggande beräkningar. Utökningen av metoden kan även appliceras på att identifiera parametrar av störningsmodellen, om man har tillgång till derivator av störningarna med avseende på deras parametrar. De beräkningsmässiga fördelarna med den adjunkta metoden demonstreras genom ett simuleringsexperiment med en deltarobot, där vi även observerar vissa numeriska problem som kan uppstå vid lösningen av differential-algebraiska ekvationer.

I den tredje och sista delen av avhandlingen så studerar vi störningsmodeller mer i detalj. Specifikt så diskuterar vi nödvändigheten av och svårigheterna med att modellera störningar i kontinuerlig tid, och vi visar även hur derivatan av störningarna med avseende på deras parametrar kan beräknas. Vi använder insikter om stokastiska differentialekvationer för att hitta ett sätt att approximera dessa ekvationer med ordinära differentialekvationen. Denna approximation låter oss använda adjunkt känslighetsanalys utan att behöva beräkna derivator av störningarna som ett mellanliggande steg. Detta kan förbättra beräkningshastigheten av den adjunkta metoden, särskilt under ytterligare milda antaganden om störningsmodellens poler. Med detta så kan vi slutföra utvecklingen av den nödvändiga teorin för användningen av större och mer komplexa störningsmodeller. 

Tillsammans så möjliggör dessa utvecklingar för beräkningsmässigt gångbara estimeringsmetoder som förväntas resultera i konsistenta skattare även när systemet påverkas utav processtörningar. När antalet okända parametrar växer så kommer den beräkningsmässiga gångbarheten till slut åter igen att vara ett problem, men metoderna i denna avhandling tillåter oss att tänja på gränserna för hur många okända parametrar som vi kan hantera. Detta, andra kvarstående utmaningar, och vidare möjligheter för fortsatt forskning diskuteras i slutet av avhandlingen.