Open this publication in new window or tab >>2023 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]
Explaining data in a concise and efficient manner has become increasingly important in today's society. This thesis pertains to the problem of finding causal links within data, and how that can be done from a mathematical perspective. Using the framework of graphical models has several advantages, from interpretability to efficiency. One of the most commonly used graphical model are directed acyclic graphs (DAGs), that has been used to model complex problems within a plethora of areas. Usually, the model in question is either assumed or based on experiments, both of which are methods that have different drawbacks. Inferring a DAG from data alone is however a hard problem and a central question within causal discovery. Due to the combinatorial explosion of the number of DAGs, we cannot do this by hand and therefore we need to design algorithms specifically for this task; several algorithms already exists within this area: PC, GES, MMHC, and Greedy SP, to name but a few. Studený proposed an alternative viewpoint using integer valued multi-set functions (imsets). This in turn allows us to see DAG discovery as a linear optimization problem. Specifically we consider the characteristic imset polytope, $\CIM_n$, whose vertices correspond to Markov equivalence classes of DAGs. A central theme of this thesis is understanding the edge structure and how this can be used in algorithms.
Many of the best performing algorithms use a fixed set of moves to greedily transform one DAG to another optimizing a score function. In this thesis we show that the most commonly used moves has a polyhedral interpretation as an edge-walk along $\CIM_n$, thus provide a geometric perspective on these algorithms. This in turn allow us to design algorithms that expand upon earlier algorithms and discuss how certain faces of $\CIM_n$ can be efficiently used to improve on state of the art. Of specific importance are the faces of $\CIM_n$ with clear graphical interpretation, for example $\CIM_G$, the convex hull of all imsets encoding for DAGs with a fixed skeleton $G$. Via introducing a algorithm skeletal greedy CIM, that use conditional independence test to find $G$, and then proceeds in a greedy fashion, we show that these are not only interesting from a theoretical standpoint, but are directly applicable to real data.
In general very little is known about the edge structure of $\CIM_n$, especially in terms of the DAGs. However, if we assume that $G$ is a tree, we can in fact give a complete description of all edges of $\CIM_G$. This allow us to give several connections to other well-studied polytopes. Moreover this gives a natural generalization of skeletal greedy CIM, for learning directed trees, sometimes referred to as polytrees.The additional edges, or moves, turns out to be especially useful when we do not have a lot of data.
An important measure on the complexity of an edge-walk is the diameter of a polytope. We prove low-degree polynomial bounds, in the number of nodes of the DAGs, of the diameter of $\CIM_n$, $\CIM_G$, and other characteristic imset polytopes. This is surprising as the dimension grows exponentially.
As a final method of understanding the edge structure of the characteristic imset polytopes we define the rhombus criterion.It is a simple sufficient condition to determine when two vertices can not form an edge. For several characteristic imset polytopes, the rhombus criterion is both necessary and sufficient, and hence characterize all edges. Therefore we raise the question when this is true for characteristic imset polytopes. We show that almost all pair of vertices of the chordal graph polytope fulfill the rhombus criterion and conjecture it holds for every pair. Using this criterion we also provide a way to compute the edge structure of some $0/1$-polytopes that scales better with dimension.Thus we can computationally show that the rhombus criterion describes the edge structure of $\CIM_n$ for $n\leq 5$ and the edge structure for the chordal graph polytope when $n\leq 6$.
Abstract [sv]
Att förklara data på ett kortfattat och effektivt sätt har blivit allt viktigare i dagens samhälle. Den här avhandlnigen behandlar frågan om att upptäcka orsakssamband i data och hur detta kan göras från ett matematiskt perspektiv. Att använda ramverket av grafiska modeller har flera fördelar, från tolkningsbarhet till effektivitet. En av de vanligaste grafiska modellerna är riktade acykliska grafer (DAG:er), som har använts för att modellera komplexa problem inom en mängd olika områden.Vanligtvis kommer modellen från antaganden, eller från experiment, vilka båda är metoder med olika nackdelar. Att härleda en DAG från endast data är dock en svår uppgift och en central fråga inom kausal bestämmning. På grund av den kombinatoriska explosionen av antalet DAG:er kan vi inte göra detta för hand och därför behöver vi utforma algoritmer specifikt för denna uppgift; flera algoritmer finns redan inom detta område: PC, GES, MMHC och Greedy SP, för att nämna några. Studený föreslog en alternativ infallsvinkel med hjälp av heltalsvärda multimängd-funktioner (imset).Detta i sin tur möjligör det att se DAG-upptäckt som ett linjärt optimeringsproblem.Mer specifikt studerar vi den karakteristiska imset-polytopen, $\CIM_n$, vars hörn motsvarar Markov-ekvivalensklasser av DAG:er.En central fråga i den här avhandlingen är att förstå dess kanter och hur detta kan användas i algoritmer.
Många av de bäst presterande algoritmerna använder en fast uppsättning drag för att girigt omvandla en DAG till en annan och optimera en målfunktion. I den här avhandlingen visar vi att de mest använda dragen har en polyhedral tolkning som en kantvandring längs $\CIM_n$, vilket ger oss ett geometrisk perspektiv på dessa algoritmer. Detta gör det i sin tur möjligt för oss att utforma algoritmer som generaliserar tidigare algoritmer och diskutera hur vissa sidor på $\CIM_n$ kan användas för att förbättra de bästa algoritmerna. Specifikt är sidorna på $\CIM_n$ med tydlig grafisk tolkning av särskild betydelse, till exempel $\CIM_G$, det konvexa höljet för alla imsets som kodar för DAG:er med ett givet skelett $G$. Genom att introducera en algoritm skeletal greedy CIM, som testar efter betingat oberoende för att hitta $G$, och sedan fortsätter på ett girigt sätt, visar vi att dessa inte bara är intressanta från en teoretisk synvinkel, utan likaså är direkt tillämpbara på verkliga data.
I allmänhet är väldigt lite känt om kantstrukturen för $\CIM_n$, framförallt i termer av graferna. Om vi däremot antar att $G$ är ett träd kan vi ge en fullstäding beskrivning av kanterna för $\CIM_G$. Detta tillåter oss att beskriva kopplingar till flera andra välkända polytoper. Dessutom generaliserar detta algoritmen skeletal greedy CIM, och ger oss en hybridalgoritm för att upptäcka riktade träd. De extra kanterna, eller dragen, visar sig vara speciellt användbara när vi har väldigt lite data.
Ett viktigt mått på komplexiteten hos en kantvandring är diametern av en polytop. Vi visar att diametern av de tidigare nämnda polytoperna är polynomiskt begränsade, med låg grad, i antalet noder i DAG:erna. Detta är förvånande då dimensionen växer exponentiellt.
En sista metod vi använder för att förstå kantstukturen av karakteristika imset-polytoper är att definiera rombuskriteriet. Det är ett enkelt tillräckligt villkor för att avgöra om två hörn inte bildar en kant. För flertalet karakteristiska imset-polytoper är rombuskriteriet tillräckligt och nödvändigt villkor och ger således den kompletta kantstrukturen. Därför lyfter vi frågan för vilka karakteristiska imsetpolytoper det är sant. Vi visar att nästan alla par av hörn av den kordala grafpolytopen uppfyller rombuskriteriet och förmodar att det håller för varje par. Genom att använda detta kriterium tillhandahåller vi också ett sätt för att beräkna kantstrukturen för vissa 0/1-polytoper som skalar bättre med dimension. Således kan vi beräkningsmässigt visa att rombuskriteriet beskriver kantstrukturen för $CIM_n$ när $n\leq 5$ och kantstrukturen för den kordala grafpolytopen när $n \leq 6$.
Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2023
Series
TRITA-SCI-FOU ; 2023:29
National Category
Discrete Mathematics
Research subject
Mathematics
Identifiers
urn:nbn:se:kth:diva-327056 (URN)978-91-8040-605-5 (ISBN)
Public defence
2023-06-09, F3, Lindstedtsvägen 26, Stockholm, 13:00 (English)
Opponent
Supervisors
Note
QC 2023-05-22
2023-05-222023-05-172025-07-07Bibliographically approved