kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Estimating Feature Attributions for Time Series Classification: Supervised Prediction of Integrated Gradients under the Multitask Learning Paradigm
KTH, School of Electrical Engineering and Computer Science (EECS).
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Uppskattning av egenskapsattribut för klassificering av tidsserier. : Övervakad förutsägelse av integrerade gradienter enligt paradigmet för multitask-inlärning (Swedish)
Abstract [en]

Neural Networks are increasingly being applied in high-stakes classification scenarios such as diagnosing a malfunctioning heart. Due to the inherent complexity and lack of interpretability of neural networks, a range of explainability methods have emerged, with feature attribution being one of the most prominent. Feature attribution assigns a relevance score to each timestep, providing insights into which parts of the time series contribute to the classification outcome. Hereby, the explanation is made after the classification. However, the Multitask Learning paradigm allows for the simultaneous training of a neural network to produce dual outputs, such as classification and its corresponding explanation. In this thesis, we explore the potential of predicting integrated gradient-based feature attributions within a Multitask Learning framework. Predicting these feature attributions alone offers significant efficiency gains, as it requires only a single feed-forward pass. Furthermore, the utilization of multitask learning and the sharing of a common feature space does not only amplifies these efficiency gains but also brings potential advantages such as improved generalization capabilities of the neural network. In our experimental exploratory analysis, we discovered that predicting integrated gradient-based feature attributions is feasible for time series data, evidenced by the moderate to high similarity between predicted and computed attributions. Additionally, we demonstrate that incorporating multitask learning does not compromise the accuracy of classification and prediction tasks. Furthermore, we introduce an iterative updating strategy, wherein we align the target features for the explanation module with the classifier’s calculated feature attributions during training. The outcomes indicate that the explanations predicted simultaneously exhibit moderate to high similarity with the classifier’s actual integrated gradient feature attributions.

Abstract [sv]

Neurala nätverk används alltmer i högintensiva klassificeringsscenarier, som att diagnostisera en felande hjärta. På grund av den inneboende komplexiteten och bristen på tolkningsbarhet hos neurala nätverk har olika förklaringsmetoder dykt upp, där funktionstilldelning är en av de mest framträdande. Funktionstilldelning tilldelar en relevanspoäng till varje tidssteg och ger insikter om vilka delar av tidssekvensen som bidrar till klassificeringsresultatet. Här görs förklaringen efter klassificeringen. Multitaskingparadigmet tillåter dock samtidig träning av ett neuralt nätverk för att producera dubbla resultat, såsom klassificering och dess motsvarande förklaring. I den här avhandlingen utforskar vi möjligheterna att förutsäga integrerade gradienter funktionstilldelningar inom en multitaskingram. Att förutsäga dessa funktionstilldelningar ensamt ger betydande effektivitetsvinster, eftersom det bara kräver en enda frammatning. Dessutom är användningen av multitaskinlärning och delning av ett gemensamt funktionsutrymme inte bara dessa effektivitetsvinster utan ger också potentiella fördelar såsom förbättrad generaliseringsförmåga hos det neurala nätverket. I vår experimentella utforskande analys upptäckte vi att förutsäga integrerade gradientbaserade funktionstilldelningar är genomförbart för tidsseriedata, vilket tydligt visas genom måttlig till hög likhet mellan förutsagda och beräknade tilldelningar. Dessutom visar vi att införandet av multitasking inte kompromissar noggrannheten hos klassificerings- och förutsägelseuppgifter. Dessutom introducerar vi en iterativ uppdateringsstrategi där vi under träningen anpassar målfeatures för förklaringsmodulen med klassificerarens beräknade funktionstilldelningar. Resultaten visar att de samtidigt förutsagda förklaringarna uppvisar måttlig till hög likhet med klassificerarens faktiska integrerade gradientfunktionstilldelningar.

Place, publisher, year, edition, pages
2024. , p. 88
Series
TRITA-EECS-EX ; 2024:84
Keywords [en]
Timeseries Classification, Multitask Learning, Explainable AI, Feature Attribution, Integrated Gradients
Keywords [sv]
Klassificering av tidsserier, multitaskinlärning, förklarbar AI
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-348498OAI: oai:DiVA.org:kth-348498DiVA, id: diva2:1876681
External cooperation
University of Manchester
Supervisors
Examiners
Available from: 2024-08-08 Created: 2024-06-24 Last updated: 2024-08-08Bibliographically approved

Open Access in DiVA

fulltext(2052 kB)158 downloads
File information
File name FULLTEXT01.pdfFile size 2052 kBChecksum SHA-512
f88da67e14f14487e2f9f1ee2dd63fb20dc014d9e783511032a9bbb8592094146581b3e318cfb7bc3c61f18dac46aa0191c869bbaf4931965192e72bee78236f
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 158 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 273 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf