Sparse parameter estimation is a key aspect of system identification, as it allows for reducing a model's order and because some models inherently exhibit sparsity in their parameters. The accuracy of an estimated sparse model depends directly on the performance of the sparse estimation method. It is well-known that the accuracy of a sparse estimation method is influenced by the correlations between the regressors of the model being estimated. Mutual coherence represents the maximum of these correlations, and when the parameter vector is sparse, accurate estimation requires low mutual coherence.

However, in system identification, a major challenge arises from constructing the regressor based on time series data, which often leads to high mutual coherence. This high coherence hinders accurate sparse estimation. To address this issue, the first part of this thesis introduces novel methods that reduce mutual coherence through linear coordinate transformations. These methods can be integrated with any sparse estimation technique. Our numerical studies show significant improvements in performance compared to state-of-the-art sparse estimation algorithms.

In the second part of the thesis, the focus shifts to optimal input design for linear models in system identification, which aims to achieve maximum model accuracy based on specific criteria. Traditional linear model input design techniques lack coherence constraints between the input sequences, often resulting in high mutual coherence and, consequently, increased sparse estimation errors for sparse linear models. Therefore, the second part of the thesis concentrates on designing optimal inputs for sparse linear models. We formulate the proposed methods and develop numerical algorithms using alternating minimization. Additionally, we compare the performance of our proposed methods with state-of-the-art input design algorithms and provide theoretical analysis of the proposed methods in both parts of the thesis.

In the third part of the thesis, which consists of two sub-parts, we focus on input design for nonlinear models. Firstly, we address the computational complexity required in nonlinear model input design, which involves solving an optimization problem with a large number of free variables, resulting in high computational complexity. We demonstrate that most of these free variables do not impact the optimization problem because they are zero. We then propose a new method to estimate the positions of the non-zero free variables among all variables, significantly reducing computational complexity. This proposed method is evaluated both theoretically and numerically compared to state-of-the-art input design techniques for nonlinear models.Secondly, many nonlinear models, such as Nonlinear Auto Regressive eXogenous (NARX) and Volterra series models, exhibit sparsity in their parameters, meaning mutual coherence directly affects the accuracy of these model estimations. Due to the lack of constraints on the correlation between input sequences in nonlinear model input design, the resulting optimal regressor often exhibits high mutual coherence. To address this challenge, we propose a new method for nonlinear model input design that promotes sparse model estimation. This method aligns the input design objectives with those of standard input design, effectively reducing mutual coherence and improving estimation accuracy. Additionally, we theoretically analyze the cost of adding the coherence constraint to the optimal input design problem and compare the numerical performance of the proposed method to state-of-the-art nonlinear model input design methods.

The last part delves into data informativity in system identification, which determines if the collected data is sufficient for accurate model building. Specifically, this part focuses on the effect of external excitations on data informativity. We propose a method to find the minimum number of external excitations required to uniquely identify linear combinations of elements in transfer function models. This method involves formulating an optimization problem with binary decision variables and applying unitary transformations to reduce excitations. Numerical evaluations demonstrate the proposed method's effectiveness compared to state-of-the-art algorithms, highlighting its potential to minimize the number of excitation sources for data informativity.

Gles parameterestimering är viktigt inom systemidentifiering eftersom vissa modeller har naturligt förekommande gleshet i dess parametrar, men även för att tillåta minskning av ordningen av icke-glesa modeller. Noggrannheten av en skattad gles modell beror direkt på prestandan av de glesa estimeringsmetoderna. Det är välkänt att noggrannheten av en gles estimeringsmetod beror på korrelationer mellan regressorerna av den skattade modellen. Ömsesidig koherens (eng: mutual coherence) representerar maximum av dessa korrelationer. Noggrann estimering kräver låg ömsesidig koherens i de fallen då det är känt att parametervektorn är gles. 

En stor utmaning inom systemidentifiering är att, när en regressor konstrueras av tidsserie-data, så leder detta ofta till hög ömsesidig koherens. Denna konflikt hindrar noggrann gles estimering. För att åtgärda detta problem så introducerar avhandlingens första del nya metoder som minskar den ömsesidiga koherensen genom linjära koordinattransformationer. Dessa metoder är möjliga att kombinera med godtyckliga glesa estimeringsmetoder. Våra numeriska studier visar märkvärdig förbättring av prestanda jämfört med de bästa tillgängliga algoritmerna för gles parameterestimering.  

I avhandlingens andra del så ändrar vi vårt fokus till design utav optimala insignaler för systemidentifiering, där målet är att uppnå maximal noggrannhet i en modell, baserat på specifika kriterier. De ursprungliga metoderna för design av insignaler saknar bivillkor för ömsesidig koherens mellan insignalssekvenserna, vilket ofta resulterar i hög ömsesidig koherens och därmed också högre estimeringsfel för glesa modeller. Det är därför avhandlingens andra del fokuserar på att designa optimala insignaler för glesa modeller. Vi formulerar de föreslagna metoderna och erbjuder numeriska algoritmer som använder sig utav alternerande minimering. Vi jämför dessutom prestandan av vår metod med de bästa tillgängliga metoderna för design av insignaler, och vi presenterar även teoretisk analys av de föreslagna metoderna i avhandlingens båda delar.

I avhandlingens tredje del, som i sig består av två mindre delar, så fokuserar vi på icke-linjära modeller. För det första så tar vi upp beräkningskomplexiteten för designen av insignaler för icke-linjära modeller. Denna design kräver lösning av optimeringsproblem med ett stort antal fria variabler, vilket orsakar hög beräkningskomplexitet. Vi demonstrerar att de flesta av dessa fria variabler inte påverkar optimeringen eftersom de är lika med noll. Baserat på detta så föreslår vi en ny metod för att skatta positionen av just de nollskilda fria variablerna, vilket väsentligt minskar beräkningskomplexiteten. Den föreslagna metoden evalueras både teoretiskt och numeriskt, samt jämförs med de annars bästa tillgängliga metoderna för design av insignaler för icke-linjära modeller. För det andra så förekommer det i många modeller, så som NARX modeller (eng: Nonlinear Auto Regressive with eXogenous input) eller modeller baserade på Volterra-serier, gleshet i deras parametrar. Detta betyder att den ömsesidiga koherensen direkt påverkar noggrannheten av dessa modell-skattningar. På grund av avsaknaden av bivillkor för korrelationen mellan insignalssekvenser vid design av insignaler för icke-linjära system så brukar den erhållna optimala regressorn ofta ha hög ömsesidig koherens. För att åtgärda detta så föreslår vi en ny metod för design av insignaler för icke-linjära system som främjar skattningen av glesa modeller. Denna metod anpassar målen för designen av insignalerna med målen som används i det vanliga fallet, vilket minskar den ömsesidiga koherensen och på så viss förbättrar noggrannheten av skattningen. Vi analyserar även teoretiskt kostnaden av att lägga till bivillkor för den ömsesidiga koherensen till designen av optimala insignaler och jämför den föreslagna metoden med de bästa tillgängliga utav andra metoder för design av insignaler för icke-linjära modeller.

Avhandlingens sista del behandlar datainformativitet inom systemidentifiering, vilket avgör om den insamlade datan är tillräcklig för att konstruera en noggrann modell. Mer specifikt så fokuserar den här delen på effekten av externa excitationer på datainformativitet. Vi föreslår en metod för att hitta det minsta nödvändiga antalet externa excitationer som behövs för att unikt identifiera linjära kombinationer av parametrar i överföringsfunktion-modeller. Den metoden innefattar formuleringen av ett optimeringsproblem med binära optimeringsvariabel och applicering av unitära transformationer (eng: unitary transformations) för att minska excitationerna. Numeriska evalueringar visar metodens effektivitet jämfört med bästa tillgängliga algoritmer, vilket understryker metodens potential för att minska antalet excitationskällor för att åstadkomma datainformativitet.