Endre søk
RefereraExporteraLink to record
Permanent link

Direct link
Referera
Referensformat
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annet format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annet språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Learning to solve inverse problems using Wasserstein loss
KTH, Skolan för teknikvetenskap (SCI), Matematik (Inst.), Matematik (Avd.). Elekta, Box 7593, 103 93 Stockholm, Sweden.ORCID-id: 0000-0001-9928-3407
KTH, Skolan för teknikvetenskap (SCI), Matematik (Inst.), Optimeringslära och systemteori.ORCID-id: 0000-0002-9778-1426
KTH, Skolan för teknikvetenskap (SCI), Matematik (Inst.), Matematik (Avd.).ORCID-id: 0000-0002-1118-6483
KTH, Skolan för teknikvetenskap (SCI), Matematik (Inst.), Optimeringslära och systemteori.ORCID-id: 0000-0001-5158-9255
(engelsk)Manuskript (preprint) (Annet vitenskapelig)
Abstract [en]

We propose using the Wasserstein loss for training in inverse problems. In particular, we consider a learned primal-dual reconstruction scheme for ill-posed inverse problems using the Wasserstein distance as loss function in the learning. This is motivated by miss-alignments in training data, which when using standard mean squared error loss could severely degrade reconstruction quality. We prove that training with the Wasserstein loss gives a reconstruction operator that correctly compensates for miss-alignments in certain cases, whereas training with the mean squared error gives a smeared reconstruction. Moreover, we demonstrate these effects by training a reconstruction algorithm using both mean squared error and optimal transport loss for a problem in computerized tomography.

HSV kategori
Forskningsprogram
Matematik; Tillämpad matematik och beräkningsmatematik
Identifikatorer
URN: urn:nbn:se:kth:diva-239723OAI: oai:DiVA.org:kth-239723DiVA, id: diva2:1267192
Forskningsfinansiär
Swedish Foundation for Strategic Research , AM13- 0049Swedish Foundation for Strategic Research , ID14-0055Swedish Research Council, 2014-5870
Merknad

QC 20181211

Tilgjengelig fra: 2018-11-30 Laget: 2018-11-30 Sist oppdatert: 2019-10-18bibliografisk kontrollert
Inngår i avhandling
1. Multidimensional inverse problems in imaging and identification using low-complexity models, optimal mass transport, and machine learning
Åpne denne publikasjonen i ny fane eller vindu >>Multidimensional inverse problems in imaging and identification using low-complexity models, optimal mass transport, and machine learning
2018 (engelsk)Doktoravhandling, med artikler (Annet vitenskapelig)
Abstract [en]

This thesis, which mainly consists of six appended papers, primarily considers a number of inverse problems in imaging and system identification.

In particular, the first two papers generalize results for the rational covariance extension problem from one to higher dimensions. The rational covariance extension problem stems from system identification and can be formulated as a trigonometric moment problem, but with a complexity constraint on the sought measure. The papers investigate a solution method based on varia tional regularization and convex optimization. We prove the existence and uniqueness of a solution to the variational problem, both when enforcing exact moment matching and when considering two different versions of approximate moment matching. A number of related questions are also considered, such as well-posedness, and the theory is illustrated with a number of examples.

The third paper considers the maximum delay margin problem in robust control: To find the largest time delay in a feedback loop for a linear dynamical system so that there still exists a single controller that stabilizes the system for all delays smaller than or equal to this time delay. A sufficient condition for robust stabilization is recast as an analytic interpolation problem, which leads to an algorithm for computing a lower bound on the maximum delay margin. The algorithm is based on bisection, where positive semi-definiteness of a Pick matrix is used as selection criteria.

Paper four investigate the use of optimal transport as a regularizing functional to incorporate prior information in variational formulations for image reconstruction. This is done by observing that the so-called Sinkhorn iterations, which are used to solve large scale optimal transport problems, can be seen as coordinate ascent in a dual optimization problem. Using this, we extend the idea of Sinkhorn iterations and derive a iterative algorithm for computing the proximal operator. This allows us to solve large-scale convex optimization problems that include an optimal transport term.

In paper five, optimal transport is used as a loss function in machine learning for inverse problems in imaging. This is motivated by noise in the training data which has a geometrical characteristic. We derive theoretical results that indicate that optimal transport is better at compensating for this type of noise, compared to the standard 2-norm, and the effect is demonstrated in a numerical experiment.

The sixth paper considers using machine learning techniques for solving large-scale convex optimization problems. We first parametrizes a family of algorithms, from which a new optimization algorithm is derived. Then we apply machine learning techniques to learn optimal parameters for given families of optimization problems, while imposing a fixed number of iterations in the scheme. By constraining the parameters appropriately, this gives learned optimization algorithms with provable convergence.

Abstract [sv]

Denna avhandling, som huvudsakligen består av de sex bifogade artiklarna, berör ett antal olika inversa problem med tillämpning inom bildrekonstruktion och systemidentifiering.

The två första artiklarna generaliserar resultat från litteraturen gällande det rationella kovariansutvidgningsproblemet, från det en-dimensionella fallet till det fler-dimensionella fallet. Det rationella kovariansutvidgningsproblemet har sitt ursprung inom systemidentifiering och kan formuleras som ett trigonometriska momentproblem. Momentproblemet är dock av icke-klassisk karaktär, eftersom det sökta måttet har ett bivillkor som begränsar dess komplexitet. Papperna undersöker olika metoder för att lösa problemet, metoder som alla bygger på variationell regularisering och konvex optimering. Vi undersöker både exakt och approximativ kovariansmatchning, och huvudresultaten är bevis av existens och unikhet vad gäller lösning till dessa olika problem. Artiklarna undersöker även ett antal relaterade frågor, så som välställdhet av problemen, och teorin är också illustrerad med ett antal olika exempel och tillämpningar.

Det tredje pappret behandlar ett problem inom robust reglering för linjära system: ett systems tidsfördröjningsmarginal. Tidsfördröjningsmarginalen är den längsta tidsfördröjning ett återkopplat linjärt dynamiskt system kan ha så att det fortfarande finns en enda regulator som stabiliserar systemet för alla tidsfördröjningar som är kortare. Artikeln undersöker ett tillräckligt villkor, och formulerar om detta som ett analytiskt interpolationsproblem. Detta leder till en algoritm för att beräkna en undre gräns för tidsfördröjningsmarginalen. Algoritmen bygger på intervallhalveringsmetoden, och använder Pick-matrisens teckenkaraktär som urvalskriterium.

Artikel fyra undersöker användandet av optimal masstransport som regulariseringsfunktion vid bildrekonstruktion. Idén är att använda optimal masstransport som ett avstånd mellan bilder, och på så vis kunna inkorporera förhandsinformation i rekonstruktionen. Mer specifikt görs detta genom att utvidga de så kallade Sinkhorn-iterationerna, som används för att beräkna lösningen till optimal masstransportsproblemet. Vi åstadkommer denna utvidgning genom att observera att Sinkhorn-iterationerna är ekvivalent med koordinatvis optimering i ett dualt problem. Med hjälp av detta tar vi fram en algoritm för att beräkna proximal-operatorn till optimal masstransportproblemet, vilket gör att vi kan lösa storskaliga optimeringsproblem som innehåller en sådan term.

I femte artikeln använder vi istället optimal masstransport som kostnadsfunktion vid träning av neurala nätverk för att lösa inversa problem inom bildrekonstruktion. Detta motiveras genom tillämpningar där bruset i data är av geometrisk karaktär. Vi presenterar teoretiska resultat som indikerar att optimal masstransport är bättre på att kompensera för denna typ av brus än till exempel 2-normen. Denna effekt demonstreras också i ett numerisk experiment.

Det sjätte pappret undersöker användandet av maskininlärning för att lösa storskaliga optimeringsproblem. Detta görs genom att först parametrisera en familj av algoritmer, ur vilken vi också härleder en ny optimeringsmetod. Vi använder sedan maskininlärning för att ta fram optimala parametrar i denna familj av algoritmer, givet en viss familj av optimeringsproblem samt givet att bara ett fixt antal iterationer får göras i lösningsmetoden. Genom att begränsa sökrymden för algoritmparametrarna kan vi också garantera att den inlärda metoden är en konvergent optimeringsalgoritm.

sted, utgiver, år, opplag, sider
Stockholm, Sweden: KTH Royal Institute of Technology, 2018. s. 60
Serie
TRITA-SCI-FOU ; 2018:53
Emneord
Inverse problems, convex optimization, variational regularization, trigonometric moment problems, optimal mass transport, computed tomography, machine learning, analytic interpolation, delay systems, Inversa problem, konvex optimering, variationell regularisering, trigonometriska momentproblem, optimal masstransport, datortomografi, maskininlärning, analytisk interpolation, system med tidsfördröjning
HSV kategori
Forskningsprogram
Matematik
Identifikatorer
urn:nbn:se:kth:diva-239726 (URN)978-91-7873-050-6 (ISBN)
Disputas
2019-01-17, F3, Lindstedtsvägen 26, Stockholm, 13:00 (engelsk)
Opponent
Veileder
Merknad

QC 20181204

Tilgjengelig fra: 2018-12-04 Laget: 2018-11-30 Sist oppdatert: 2018-12-04bibliografisk kontrollert
2. Data-driven Methods in Inverse Problems
Åpne denne publikasjonen i ny fane eller vindu >>Data-driven Methods in Inverse Problems
2019 (engelsk)Doktoravhandling, med artikler (Annet vitenskapelig)
Abstract [en]

In this thesis on data-driven methods in inverse problems we introduce several new methods to solve inverse problems using recent advancements in machine learning and specifically deep learning. The main goal has been to develop practically applicable methods, scalable to medical applications and with the ability to handle all the complexities associated with them.

In total, the thesis contains six papers. Some of them are focused on more theoretical questions such as characterizing the optimal solutions of reconstruction schemes or extending current methods to new domains, while others have focused on practical applicability. A significant portion of the papers also aim to bringing knowledge from the machine learning community into the imaging community, with considerable effort spent on translating many of the concepts. The papers have been published in a range of venues: machine learning, medical imaging and inverse problems.

The first two papers contribute to a class of methods now called learned iterative reconstruction where we introduce two ways of combining classical model driven reconstruction methods with deep neural networks. The next two papers look forward, aiming to address the question of "what do we want?" by proposing two very different but novel loss functions for training neural networks in inverse problems. The final papers dwelve into the statistical side, one gives a generalization of a class of deep generative models to Banach spaces while the next introduces two ways in which such methods can be used to perform Bayesian inversion at scale.

sted, utgiver, år, opplag, sider
Stockholm: KTH Royal Institute of Technology, 2019. s. 196
Serie
TRITA-SCI-FOU ; 2019;49
Emneord
Inverse Problems, Machine Learning, Tomography
HSV kategori
Identifikatorer
urn:nbn:se:kth:diva-262727 (URN)978-91-7873-334-7 (ISBN)
Disputas
2019-10-31, F3, Lindstedtsvägen26, KTH, Stockholm, 14:00 (engelsk)
Opponent
Veileder
Forskningsfinansiär
Swedish Foundation for Strategic Research
Tilgjengelig fra: 2019-10-21 Laget: 2019-10-18 Sist oppdatert: 2019-10-21bibliografisk kontrollert

Open Access i DiVA

Fulltekst mangler i DiVA

Andre lenker

arXiv preprint

Søk i DiVA

Av forfatter/redaktør
Adler, JonasRingh, AxelÖktem, OzanKarlsson, Johan
Av organisasjonen

Søk utenfor DiVA

GoogleGoogle Scholar

urn-nbn

Altmetric

urn-nbn
Totalt: 2805 treff
RefereraExporteraLink to record
Permanent link

Direct link
Referera
Referensformat
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annet format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annet språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf