kth.sePublikationer KTH
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Optimal transport for causal discovery
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Robotik, perception och lärande, RPL.ORCID-id: 0000-0003-1356-9653
Carnegie Mellon University ; Mohamed bin Zayed University of Artificial Intelligence.
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Robotik, perception och lärande, RPL. Silo AI.ORCID-id: 0000-0002-5750-9655
Microsoft Research.
2022 (Engelska)Ingår i: ICLR 2022: 10th International Conference on Learning Representations, International Conference on Learning Representations, International Conference on Learning Representations, ICLR , 2022Konferensbidrag, Poster (med eller utan abstract) (Refereegranskat)
Abstract [en]

To determine causal relationships between two variables, approaches based on Functional Causal Models (FCMs) have been proposed by properly restricting model classes; however, the performance is sensitive to the model assumptions, which makes it difficult to use. In this paper, we provide a novel dynamical-system view of FCMs and propose a new framework for identifying causal direction in the bivariate case. We first show the connection between FCMs and optimal transport, and then study optimal transport under the constraints of FCMs. Furthermore, by exploiting the dynamical interpretation of optimal transport under the FCM constraints, we determine the corresponding underlying dynamical process of the static cause-effect pair data. It provides a new dimension for describing static causal discovery tasks while enjoying more freedom for modeling the quantitative causal influences. In particular, we show that Additive Noise Models (ANMs) correspond to volume-preserving pressure less flows. Consequently, based on their velocity field divergence, we introduce a criterion for determining causal direction. With this criterion, we propose a novel optimal transport-based algorithm for ANMs which is robust to the choice of models and extend it to post-nonlinear models. Our method demonstrated state-of-the-art results on both synthetic and causal discovery benchmark datasets.

Ort, förlag, år, upplaga, sidor
International Conference on Learning Representations, ICLR , 2022.
Nationell ämneskategori
Datavetenskap (datalogi)
Identifikatorer
URN: urn:nbn:se:kth:diva-310334Scopus ID: 2-s2.0-85149632800OAI: oai:DiVA.org:kth-310334DiVA, id: diva2:1647866
Konferens
ICLR 2022 - The Tenth International Conference on Learning Representations (Virtual), Apr 25th-29th, 2022
Anmärkning

QC 20220329

Tillgänglig från: 2022-03-29 Skapad: 2022-03-29 Senast uppdaterad: 2023-08-14Bibliografiskt granskad
Ingår i avhandling
1. A Further Step of Causal Discovery towards Real-World Impacts
Öppna denna publikation i ny flik eller fönster >>A Further Step of Causal Discovery towards Real-World Impacts
2023 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

The goal of many sciences is to find causal relationships and understand underlying mechanisms. As the golden standard for finding causal relationships, doing randomized experiments can be difficult or impossible in some applications; hence, determining underlying causal relationships purely from observational data, i.e., causal discovery, has attracted more and more attention in many domains, such as earth science, biology, and healthcare. On the one hand, computational methods of causal discovery have been developed and improved significantly in the recent three decades. On the other hand, there are still many challenges in both practice and theory to further achieve real-world impacts. This thesis aims to introduce the typical methods and challenges of causal discovery and then elaborates on the contributions of the included papers that step forward to achieve more real-world impacts for causal discovery. It mainly covers four challenges: practical issues, understanding and generalizing the restrictive assumptions, the lack of benchmark data sets, and applications of causality in machine learning topics. Each included paper contributes to one of the challenges.

In the first paper, regarding causal discovery in the presence of missing data as one of the practical issues, we theoretically study the influence of missing values on causal discovery methods and then correct the errors in their results. Under mild assumptions, our proposed method provides asymptotically correct results.

In the second paper, we investigate the understanding of assumptions in a class of causal discovery methods. Such methods impose substantial constraints on functional classes and distributions of causal processes for determining causal relationships; however, the constraints are restrictive and there is a lack of good understanding. Therefore, we introduce a new dynamical-system view for understanding the methods and their constraints by connecting optimal transport and causal discovery. Furthermore, we provide a causal discovery criterion and a robust optimal transport-based algorithm. 

In the third paper, the evaluation of causal discovery methods is discussed. While it is too simplistic to evaluate causal discovery methods on synthetic data generated from random causal graphs, the real-world benchmark data sets with ground-truth causal relations are in great demand and always include practical issues. Thus, we create a neuropathic pain diagnosis simulator based on real-world patient records and domain knowledge. The simulator provides ground-truth causal relations and generates simulation data that cannot be distinguished by the medical expert. 

Finally, we explored an application of causality: Fairness in machine learning. Many fairness works are based on the constraints of static statistical measures across different demographic groups. It turns out that decisions under such constraints can lead to a pernicious long-term impact on the disadvantaged group. Therefore, we consider the underlying causal processes, theoretically analyze the equilibrium states of dynamical systems under various fairness constraints, show their impact on equilibrium states, and introduce potentially effective interventions to improve the equilibrium states. 

Abstract [sv]

Målet för många vetenskapsområden är att hitta orsakssamband och förstå bakomliggande mekanismer. Som den gyllene standarden för att hitta orsakssamband kan slumpmässiga experiment vara svåra eller omöjliga i vissa tillämpningar; Därför har bestämning av underliggande orsakssamband enbart från observationsdata, d.v.s. kausal upptäckt, väckt mer och mer uppmärksamhet inom många områden, såsom geovetenskap, biologi och sjukvård. Å ena sidan har beräkningsmetoder för kausal upptäckt utvecklats och förbättrats avsevärt under de senaste tre decennierna. Å andra sidan finns det fortfarande många utmaningar kvar i både praktik och teori för att ytterligare uppnå verkliga effekter. Denna avhandling syftar till att introducera de typiska metoderna och utmaningarna för kausal upptäckt och sedan utveckla bidragen från de inkluderade artiklarna som tar kliv framåt för att uppnå fler verkliga effekter för kausal upptäckt. Den täcker huvudsakligen fyra utmaningar: praktiska frågor, förståelse och generalisering av de restriktiva antagandena, bristen på uppsättningar av referensdata och tillämpningar av kausalitet i maskininlärningsområden. Varje medföljande artikel bidrar till en av utmaningarna.

I den första artikeln, angående kausal upptäckt i närvaro av saknade data som en av de praktiska frågorna, studerar vi teoretiskt saknade värdens inverkan på metoder för kausal upptäckt och korrigerar sedan felen i deras resultat. Under milda antaganden ger vår föreslagna metod korrekta resultat.

I den andra artikeln undersöker vi förståelsen av antaganden i en klass av kausala upptäcktsmetoder. Sådana metoder lägger betydande begränsningar på funktionella klasser och fördelningar av kausala processer för att bestämma orsakssamband; dock är begränsningarna restriktiva och det saknas god förståelse. Därför introducerar vi en ny dynamisk systemvy för att förstå metoderna och deras begränsningar genom att koppla ihop optimal transport och kausal upptäckt. Dessutom tillhandahåller vi ett kausalt upptäcktskriterium och en robust optimal transport-baserad algoritm.

I den tredje artikeln diskuteras utvärderingen av kausala upptäcktsmetoder. Även om det är för förenklat att utvärdera kausala upptäcktsmetoder med syntetisk data genererad från slumpmässiga kausala grafer, så är uppsättningar av verklig referensdata med grund-sannings orsakssamband efterfrågade och inkluderar alltid praktiska frågor. Därför skapar vi en simulator för neuropatisk smärtdiagnos baserad på verkliga patientjournaler och domänkunskap. Simulatorn tillhandahåller sanna orsakssamband och genererar simuleringsdata som inte kan urskiljas av medicinska experter.

Slutligen undersökte vi en tillämpning av kausalitet: Rättvisa i maskininlärning. Många arbeten inom rättvisa är baserade på begränsningar av statiska statistiska mått över olika demografiska grupper. Det visar sig att beslut under sådana begränsningar kan leda till en skadlig långsiktig påverkan på den missgynnade gruppen. Därför tar vi hänsyn till de bakomliggande orsaksprocesserna, analyserar teoretiskt jämviktstillstånden i dynamiska system under olika rättvisa begränsningar, visar deras inverkan på jämviktstillstånd och introducerar potentiellt effektiva interventioner för att förbättra jämviktstillstånden.

Ort, förlag, år, upplaga, sidor
Stockholm, Sweden: KTH Royal Institute of Technology, 2023. s. 32
Serie
TRITA-EECS-AVL ; 2023:6
Nyckelord
causal discovery, missing data, fairness, functional causal model
Nationell ämneskategori
Datavetenskap (datalogi)
Forskningsämne
Datalogi
Identifikatorer
urn:nbn:se:kth:diva-322513 (URN)978-91-8040-454-9 (ISBN)
Disputation
2023-02-02, F3, Lindstedtsvägen 26, Stockholm, 09:00 (Engelska)
Opponent
Handledare
Forskningsfinansiär
Swedish e‐Science Research Center
Anmärkning

QC 20221217

Tillgänglig från: 2022-12-17 Skapad: 2022-12-16 Senast uppdaterad: 2022-12-17Bibliografiskt granskad

Open Access i DiVA

fulltext(4343 kB)667 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 4343 kBChecksumma SHA-512
8231ea3d8b16aa3a401c309ab2edf6592dcdad276f39180dc0556fa5de38e1fcfd293f934241ed95180576ce68ad65e194c7898c93c59c07808a91913da6cf74
Typ fulltextMimetyp application/pdf

Övriga länkar

ScopusConference website

Person

Tu, RuiboKjellström, Hedvig

Sök vidare i DiVA

Av författaren/redaktören
Tu, RuiboKjellström, Hedvig
Av organisationen
Robotik, perception och lärande, RPL
Datavetenskap (datalogi)

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 668 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

urn-nbn

Altmetricpoäng

urn-nbn
Totalt: 421 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf