kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Line Multiview Ideals
Universität Osnabrück.
University of Washington.
KTH, School of Engineering Sciences (SCI), Mathematics (Dept.).
KTH, School of Engineering Sciences (SCI), Mathematics (Dept.), Mathematics (Div.).ORCID iD: 0000-0003-0300-8115
Show others and affiliations
(English)Manuscript (preprint) (Other academic)
Abstract [en]

We study the following problem in computer vision from the perspective of algebraic geometry: Using m pinhole cameras we take m pictures of a line in P3. This produces m lines in P2 and the question is which m-tuples of lines can arise that way. We are interested in polynomial equations and therefore study the complex Zariski closure of all such tuples of lines. The resulting algebraic variety is a subvariety of (P2)m and is called line multiview variety. In this article, we study its ideal. We show that for generic cameras the ideal is generated by 3×3-minors of a specific matrix. We also compute Gröbner bases and discuss to what extent our results carry over to the non-generic case.

National Category
Mathematics
Identifiers
URN: urn:nbn:se:kth:diva-339742OAI: oai:DiVA.org:kth-339742DiVA, id: diva2:1812634
Note

QC 20231120

Available from: 2023-11-16 Created: 2023-11-16 Last updated: 2024-05-22Bibliographically approved
In thesis
1. Topics in projective algebraic optimization
Open this publication in new window or tab >>Topics in projective algebraic optimization
2023 (English)Doctoral thesis, comprehensive summary (Other academic)
Alternative title[sv]
Ämnen inom projektiv algebraisk optimering
Abstract [en]

This thesis explores optimization challenges within algebraic statistics, employing both topological and geometrical methodologies to derive new insights. The main focus is the optimization degree of nearest point and Gaussian maximum likelihood estimation problems with algebraic constraints. The optimization degree counts the number of complex critical points for an optimization problem. It is interesting as it can aid numerical solvers by providing an upper bound on the number of solutions to a set of equations, without computing them explicitly. The study extends to a parallel research trajectory, complementing and expanding the primary themes by studying relative tangency for critical point loci and characterizing the ideal of the line-multiview variety, inspiring further study of reconstructing 3D objects from 2D images in computer vision. 

Paper A focuses on linear concentration models and critical point counts for the Gaussian log-likelihood function when restricted to a linear space. The paper unveils new Gaussian maximum likelihood degree formulae from line geometry and Segre classes. We also study codimension one models and scenarios with zero maximum likelihood degree in particular.

In Paper B, we extend the inquiry from Paper A by exploring Gaussian likelihood geometry of arbitrary projective varieties. We introduce the maximum likelihood degree of a homogeneous polynomial on a projective variety, delving into quantifying critical points for a rational function. We find geometric characterizations of the maximum likelihood degree in terms of Euler characteristics, dual varieties, and Chern classes.

Paper C advances the investigation into multivariate Gaussian statistical models with rational maximum likelihood estimator (MLE). A correspondence is established between such models and solutions to a nonlinear first-order partial differential equation (PDE). This link sheds light on the problem of classifying Gaussian models with rational MLE, relating it to the open problem of classification of homaloidal polynomials in birational geometry.

Paper D computes the generic, or expected, maximum likelihood degree of a variety as an analog to the known polar class formula for the Euclidean distance degree. Additionally, as a follow-up to paper C, the complex projective curves of maximum likelihood degree 1 are classified in paper D. This allows further work into when a complex curve can be realized as a real statistical models. Both paper C and D connect the maximum likelihood degree as a possible generalization to the Euclidean distance degree for projective varieties.

Paper E intersects algebraic geometry and computer vision, focusing on projected lines from multiple pinhole cameras. The line multiview variety captures these projections as an algebraic variety. The main result establishes the ideal of this variety, generated by 3x3-minors of a matrix derived from projected line equations. The predecessor of the line-multiview variety is the point-multiview variety, with image correction being a driving motivation for introducing the Euclidean distance degree. Notably, Paper E opens the door for studying the Euclidean distance degree of the line-multiview variety and its uses in 3D reconstruction.

Paper F delves into the concept of Euclidean distance estimates within the context of a specific subset of the available data. To contruct a robust foundational theory, this paper introduces the concepts of relative duality and relative characteristic classes. It demonstrates that classical formulas can be equivalently expressed in the relative setting, thereby shedding light on the geometric intricacies inherent to this relative analysis.

Abstract [sv]

Denna avhandling utforskar optimeringsutmaningar inom algebraisk statistik genom att använda både topologiska och geometriska metoder för att nå nya insikter. Kärnuppdraget innefattar att avgöra de förväntade antalet komplexa kritiska punkter till algebraiska optimeringsproblem med bivillkor. Detta utgör en grund för att förstå optimering av log-likelihood funktionen för multivariata normalfördelningar och Euklidiska avståndsfunktionen. Det förväntade antalet lösningar till ett optimeringsproblem med bivillkor är mer allmänt känt som en optimeringsgrad. Optimeringsgraden kan användas för numeriska lösningsmetoder då den räknar antalet lösningar utan att explicit beräkna lösningarna. Optimeringsgraden kompletteras av en parallell forskningsbana som kompletterar och expanderar de primära temana genom att studera det omvända problemet när det finns en kritisk punkt inuti ett speciellt delområde och att förstå multivisa varieteten för linjer i bildkorrigeringssyfte. 

I artikel A utforskas linjära statistiska koncentrationsmodeller av centrerade multivariata gaussiska slumpvariabler. Vårt fokus ligger på att beräkna antalet kritiska punkter för log-likelihoodfunktionen inom ett linjärt rum av symmetriska matriser. Artikeln bidrar med nya formler för Gaussisk maximal sannolikhetsgrad, hämtade från linjegeometri och Segre-klasser i snittteori. Vi tar även upp modeller med codimension ett och scenarier med noll kritiska punkter.

I Artikel B fördjupar vi undersökningen från Artikel A genom att utforska gaussisk likelihood-geometri hos godtyckliga projektiva varieteter. Vi introducerar även maximum likelihoodgraden för ett homogent polynom över en projektiv varietet och går djupare in på att kvantifiera de kritiska punkterna för en rationell funktion. Det hittas olika tillvägagångssätt för att beräkna maximum likelihoodgraden via geometriska karakteriseringarna såsom Euler karakteristik, duala varieteter och Chern-klasser.

Artikel C främjar undersökningen av multivariata gaussiska statistiska modeller med rationella maximum-likelihood-estimator (MLE). En korrespondens etableras mellan dessa modeller och lösningar till en icke-linjär partiell differentialekvation av första ordningen (PDE). Denna koppling belyser klassificeringen av gaussiska modeller med rationell MLE och relaterar den till det öppna problemet inom birationell geometri som omfattar klassificeringen av homaloida polynom.

Artikel D beräknar den generiska maximum likelihoodgraden för en varietet, som en analog till den kända formeln med polära klasser för den euklidiska avståndsgraden. Dessutom klassificeras alla projektiva kurvor av maximum likelihoodgrad 1, som öppnar upp för frågan om de går att realisera som reella statistiska modeller.

Artikel E korsar algebraisk geometri och datorseende, med fokus på projicerade linjer från flera pinhole-kameror. Linjernas multivisa varietet fångar dessa projektioner som en algebraisk varietet. Huvudresultatet fastställer idealet för denna varietet, genererat av 3x3-minorer av en matris som härleds från ekvationerna för de projicerade linjerna. Föregångaren till linje-multivisa varieteten är den punkt-multivisa varieteten, där korrigering av bilder var en drivande motivation för att introducera den Euklidiska avståndsgraden. Märkbart, så kopplar Artikel F den nya multivisa varieteten till begreppet av Euklidisk avståndsgrad och öppnar dörren för att studera linjemultivisa varieteten inom kontexten för 3D rekonstruktion.

I Papper F fördjupade vi oss i begreppet Euklidiska avståndsuppskattningar inom ramen för en specifik delmängd av tillgängliga data. För att konstruera en robust grundteori introducerar detta papper begreppen 'relativ dualitet' och 'relativa karakteristiska klasser.' Det visar att klassiska formler kan uttryckas ekvivalent i en relativ formulering och därmed belysa de geometriska komplexiteter som är inneboende i relativ analys.

Place, publisher, year, edition, pages
Kungliga Tekniska högskolan, 2023
Series
TRITA-SCI-FOU 2023:63
National Category
Mathematics
Identifiers
urn:nbn:se:kth:diva-339744 (URN)978-91-8040-786-1 (ISBN)
Public defence
2023-12-08, F3 (Flodis) Lindstedsvägen 26 & 28, https://kth-se.zoom.us/j/63466474196, Stockholm, 14:00 (English)
Opponent
Supervisors
Note

QC 2023-11-17

Available from: 2023-11-17 Created: 2023-11-17 Last updated: 2023-12-05Bibliographically approved
2. Algebraic Advances in Multiview Geometry
Open this publication in new window or tab >>Algebraic Advances in Multiview Geometry
2024 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

 Computer Vision is the study of how computers can understand and classify images as well as or better than humans, at a fraction of the time. A fundamental problem in this field, Structure-from-Motion, aims to build a 3D model of an object based on 2D images. Applications include self-driving cars, autonomous vehicles and visual media such as movies and video games.  

 The geometry that arises in 3D reconstruction is called Multiview Geometry, and the study of algebraic structures that arise from Multiview Geometry is called Algebraic Vision. The latter is the subject of this thesis. Our focus is on optimization problems, finding polynomials constraints and the construction of new algorithms. A main goal of this thesis is to generalize concepts and ideas in Algebraic Vision to new settings.     

 In Paper A, we investigate a classic question in Computer Vision, namely the compatibility of fundamental matrices. We prove that quadruplewise compatibility implies global compatibility. Given a sextuple of compatible fundamental matrices, there are four possible cases for the geometry of their epipoles. In each case, we provide necessary and sufficient conditions for compatibility in terms of explicit homogeneous polynomials in the fundamental matrices and their epipoles. 

 In Paper B, we build on the theory of Paper A. More precisely, we equivalently express the necessary and sufficient conditions in terms of intuitive geometrical conditions. In the process, we get simpler proofs.

 In Paper C, we consider the problem of how to best identify and filter out outliers from a given data set. A data point is an inlier if its Euclidean distance to the mathematical model is small enough. This distance is expensive to compute. In applied settings, it is efficiently approximated by the Sampson error. We provide theoretical bounds for when the Sampson error is a good approximation of the Euclidean distance, and show, via numerical experiments, new scenarios where it can be applied, such as in three-view geometry. 

 In Paper D, we study the projection of lines in 3-space onto a given set of camera planes. The closure of this projection map is a line multiview variety. Our main theorem is that a line multiview variety is cut out by the condition that the back-projected planes meet in a line if and only if all centers are pairwise distinct and no four centers are collinear. Here, smooth quadrics and their families of lines are important tools. We also study smoothness, multidegrees, and Euclidean distance degrees. 

 In Paper E, we use the theory of Cohen--Macaulay ideals to prove that under sufficient genericity, the ideal described in Paper D is the defining ideal of the line multiview variety. We compute Gröbner bases and discuss to what extent our results carry over to the case of cameras with collinear centers.   In Paper F, we solve the problem of how to do 3D reconstruction such that point and line incidence relations are preserved. In this direction, we introduce anchored multiview varieties. We describe new reconstruction algorithms based on these. On simulated data, we compare the different approaches with individual reconstruction of points and lines. Our approach yields comparable accuracy and a significant speed improvement. This improvement in speed is theoretically supported by our Euclidean distance degree computations. We make use of the observation that these anchored multiview varieties are linearly isomorphic to multiview varieties arising from the projection of points in 2-space and 1-space. 

 In Paper G, we explore the observation above from Paper F in great detail. We start by considering all possible anchored multiview varieties arising from projections of points and lines in 1, 2, and 3-dimensional projective space. We say that two such varieties are ED-equivalent if there is a linear isomorphism between them that preserves ED-critical points. This gives rise to fourteen equivalence classes; a multiview catalogue. In the case of points, we also present a study of all associated resectioning varieties. Finally, we propose conjectures for the Euclidean distance degrees of all varieties appearing in our comprehensive list.

 In Paper H, we present an algebraic study of the projection of plane curves and twisted cubics in space onto multiple images of pinhole cameras. The Zariski closure of the image of the projection of conics is called a conic multiview variety. Extending previous work for point and line multiview varieties, we make use of back-projected cones. For two views, we provide the defining ideals of conic multiview varieties. For any number of views, we state when the simplest possible set-theoretic description is achieved based on the geometry of the camera centers. Finally, we conjecture the Euclidean distance degree for the conic multiview variety given two cameras.  

 In Paper I, we introduce a generalization of multiview varieties as closures of images obtained by projecting subspaces of a given dimension onto several views, from the photographic and geometric points of view. We investigate when the associated projection map is generically injective; an essential requirement for successful triangulation. We give a complete characterization of this property by determining two formulae for the dimensions of these varieties. Similarly, we describe for which center arrangements calibration of camera parameters is possible. We determine precisely when the multiview variety is naturally isomorphic to its associated blowup, in the case of generic centers.

 At the end of this thesis, four additional papers and one extended abstract is attached. As these are not part of the Algebraic Vision story, we do not describe them here. They are included in the thesis as part of the complete collected works of the PhD candidate. 

Abstract [sv]

 Datorseende är vetenskapen kring hur datorer kan förstå och klassificera bilder lika väl eller bättre än människor, på en bråkdel av tiden. Ett fundamentalt problem inom detta område är Struktur-från-Rörelse, vilket ämnar att skapa en 3D-modell av ett objekt utifrån 2D-fotografier. Tillämpningar inkluderar självkörande bilar, autonoma fordon och visuell media så som filmer och datorspel.  

Geometrin som uppstår i 3D-rekonstruktion kallas multivygeometri, och studiet av algebraiska strukturer som uppstår från multivygeometri kallas algebraiskt seende. Det senare är ämnet för denna avhandling. Vårt fokus ligger på optimeringsproblem, att hitta relevanta polynomekvationer och konstruktionen av nya algoritmer. Ett huvudmål med avhandlingen är att generalisera begrepp och idéer inom algebraiskt seende.

I Artikel A undersöker vi en klassisk fråga inom datorseende, nämligen kompatibiliteten hos fundamentala matriser. Vi bevisar att fyrfaldig kompatibilitet implicerar global kompatibilitet. Givet en sexfald av kompatibla fundamentala matriser, finns det fyra möjliga fall för geometrin hos deras epipoler. För varje fall ger vi nödvändiga och tillräckliga villkor för kompatibilitet i termer av explicita homogena polynom i de fundamentala matriserna och deras epipoler.

I Artikel B bygger vi vidare på teorin från Artikel A. Närmare bestämt uttrycker vi nödvändiga och tillräckliga villkor på ett ekvivalent sätt med intuitiva geometriska villkor. Som medföljd får vi enklare bevis.

I Artikel C undersöker vi problemet om hur man bäst identifierar och filtrerar bort avvikande data från en given datamängd. En datapunkt bör behållas om dess euklidiska avstånd till den matematiska modellen är tillräckligt litet. Detta avstånd är dyrt att beräkna. I praktiken skattas det effektivt av Sampsonfelet. Vi ger teoretiska gränser för när Sampsonfelet är en bra skattning av det euklidiska avståndet och visar, via numeriska experiment, nya scenarier där det kan tillämpas, såsom trevygeometri.

I Artikel D studerar vi projektionen av linjer i rummet på en given uppsättning kameraplan. Slutna höljet av denna projektionsavbildning är en linjemultivyvarietet. Vårt huvudteorem är att en linjemultivyvarietet skärs ut av villkoret att de bakprojicerade planen möts i en linje om och endast om alla centra är parvis distinkta och inga fyra centra ligger på en linje. Här är släta kvadratiska ytor och deras familjer av linjer viktiga verktyg. Vi studerar också släthet, multigrader och euklidiska avståndsgrader.

I Artikel E använder vi teorin om Cohen--Macaulay ideal för att under tillräckligt allmänna situationer bevisa att idealet beskrivet i Artikel D är det definierande idealet för linjemultivyvarieten. Vi beräknar Gröbnerbaser och diskuterar i vilken utsträckning våra resultat överförs till fallet med kameror vars centra ligger på en linje.

I Artikel F löser vi problemet om hur man utför 3D-rekon- struktion så att incidensrelationer mellan punkter och linjer bevaras. I denna riktning introducerar vi förankrade multivyvarieteter. Baserat på dessa beskriver vi nya rekonstruktionsalgoritmer. På simulerade data jämför vi de olika tillvägagångssätten med individuell rekonstruktion av punkter och linjer. Vårt tillvägagångssätt ger jämförbar noggrannhet och betydande förbättring av hastighet. Denna hastighetsförbättring stöds teoretiskt av våra beräkningar av euklidiska avståndsgrader. Vi utnyttjar observationen att dessa förankrade multivyvarieteter är linjärt isomorfa med multivyvarieteter som uppstår från projektionen av punkter från plan och linjer.

 I Artikel G utforskar vi den ovanstående observationen från Artikel F i större detalj. Vi börjar med att bestämma alla möjliga förankrade multivyvarieteter som uppstår från projektioner av punkter och linjer i 1, 2 och 3-dimensionella projektiva rum. Vi säger att två sådana varieteter är ED-ekvivalenta om det finns en linjär isomorfi mellan dem som bevarar ED-kritiska punkter. Detta ger upphov till fjorton ekvivalensklasser; en multivyvarietetskatalog. I fallet med punkter presenterar vi också en studie av alla associerade resektionsvarieteter. Slutligen föreslår vi förmodanden om euklidiska avståndsgrader för alla varieteter som förekommer i vår omfattande lista.

I Artikel H presenterar vi en algebraisk studie av projektionen av plankurvor och vridna kubiska kurvor i rummet på flera bilder givet hålkameror. Zariski-slutna höljet av bilden av projektionen av andragradskurvor kallas en kägelsnittsmultivyvarietet. Vi utökar tidigare arbete för punkt- och linjemultivyvarieteter genom att arbeta med bakprojicerade koner. För två vyer ger vi de definierande idealen för kägelsnittsmultivyvarieteter. För godtyckligt antal vyer anger vi när den enklaste möjliga mängdteoretiska beskrivningen uppnås baserat på geometrin hos kamerornas centra. Slutligen ger vi en förmodan om den euklidiska avståndsgraden för kägelsnittsmultivyvarieteter givet två kameror.

I Artikel I introducerar vi en generalisering av multivyvarieteter som slutna höljet av bilder som erhålls genom att projicera delrum av en given dimension på flera vyer, från fotografiska och geometriska perspektiv. Vi undersöker när den associerade projektionsavbildningen är generellt injektiv, vilket är ett avgörande krav för framgångsrik triangulering. Vi ger en komplett karaktärisering av denna egenskap genom att bestämma två formler för dimensionerna hos dessa varieteter. På liknande sätt beskriver vi för vilka arrangemang av centra som kalibrering av kameraparametrar är möjlig. Vi bestämmer exakt när multivyvarieter är naturligt isomorfa med sin associerade uppblåsning, i fallet med generiska centra.

I slutet av denna avhandling bifogas fyra ytterligare artiklar och ett utökat abstrakt. Eftersom dessa inte ingår i temat om algebraiskt seende, beskriver vi dem inte här. De inkluderas i avhandlingen som en del av den kompletta samlingen av kandidatens arbeten.

Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2024. p. 487
Series
TRITA-SCI-FOU ; 2024:35
Keywords
3D reconstruction, algebraic vision, multiview varieties, 3D-rekonstruction, algebraiskt seende, multivyvarieteter
National Category
Mathematics Algebra and Logic Geometry
Research subject
Mathematics
Identifiers
urn:nbn:se:kth:diva-346681 (URN)978-91-8040-959-9 (ISBN)
Public defence
2024-06-14, D3, Lindstedtsvägen 5, Stockholm, 14:00 (English)
Opponent
Supervisors
Funder
Wallenberg AI, Autonomous Systems and Software Program (WASP), 660210
Note

QC2024-05-23

Available from: 2024-05-23 Created: 2024-05-21 Last updated: 2024-06-10Bibliographically approved

Open Access in DiVA

No full text in DiVA

Other links

Pre-print in arXiv

Authority records

Gustafsson, LukasRydell, Felix

Search in DiVA

By author/editor
Gustafsson, LukasRydell, Felix
By organisation
Mathematics (Dept.)Mathematics (Div.)
Mathematics

Search outside of DiVA

GoogleGoogle Scholar

urn-nbn

Altmetric score

urn-nbn
Total: 49 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf