Estimating Feature Attributions for Time Series Classification: Supervised Prediction of Integrated Gradients under the Multitask Learning Paradigm
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Uppskattning av egenskapsattribut för klassificering av tidsserier. : Övervakad förutsägelse av integrerade gradienter enligt paradigmet för multitask-inlärning (Swedish)
Abstract [en]
Neural Networks are increasingly being applied in high-stakes classification scenarios such as diagnosing a malfunctioning heart. Due to the inherent complexity and lack of interpretability of neural networks, a range of explainability methods have emerged, with feature attribution being one of the most prominent. Feature attribution assigns a relevance score to each timestep, providing insights into which parts of the time series contribute to the classification outcome. Hereby, the explanation is made after the classification. However, the Multitask Learning paradigm allows for the simultaneous training of a neural network to produce dual outputs, such as classification and its corresponding explanation. In this thesis, we explore the potential of predicting integrated gradient-based feature attributions within a Multitask Learning framework. Predicting these feature attributions alone offers significant efficiency gains, as it requires only a single feed-forward pass. Furthermore, the utilization of multitask learning and the sharing of a common feature space does not only amplifies these efficiency gains but also brings potential advantages such as improved generalization capabilities of the neural network. In our experimental exploratory analysis, we discovered that predicting integrated gradient-based feature attributions is feasible for time series data, evidenced by the moderate to high similarity between predicted and computed attributions. Additionally, we demonstrate that incorporating multitask learning does not compromise the accuracy of classification and prediction tasks. Furthermore, we introduce an iterative updating strategy, wherein we align the target features for the explanation module with the classifier’s calculated feature attributions during training. The outcomes indicate that the explanations predicted simultaneously exhibit moderate to high similarity with the classifier’s actual integrated gradient feature attributions.
Abstract [sv]
Neurala nätverk används alltmer i högintensiva klassificeringsscenarier, som att diagnostisera en felande hjärta. På grund av den inneboende komplexiteten och bristen på tolkningsbarhet hos neurala nätverk har olika förklaringsmetoder dykt upp, där funktionstilldelning är en av de mest framträdande. Funktionstilldelning tilldelar en relevanspoäng till varje tidssteg och ger insikter om vilka delar av tidssekvensen som bidrar till klassificeringsresultatet. Här görs förklaringen efter klassificeringen. Multitaskingparadigmet tillåter dock samtidig träning av ett neuralt nätverk för att producera dubbla resultat, såsom klassificering och dess motsvarande förklaring. I den här avhandlingen utforskar vi möjligheterna att förutsäga integrerade gradienter funktionstilldelningar inom en multitaskingram. Att förutsäga dessa funktionstilldelningar ensamt ger betydande effektivitetsvinster, eftersom det bara kräver en enda frammatning. Dessutom är användningen av multitaskinlärning och delning av ett gemensamt funktionsutrymme inte bara dessa effektivitetsvinster utan ger också potentiella fördelar såsom förbättrad generaliseringsförmåga hos det neurala nätverket. I vår experimentella utforskande analys upptäckte vi att förutsäga integrerade gradientbaserade funktionstilldelningar är genomförbart för tidsseriedata, vilket tydligt visas genom måttlig till hög likhet mellan förutsagda och beräknade tilldelningar. Dessutom visar vi att införandet av multitasking inte kompromissar noggrannheten hos klassificerings- och förutsägelseuppgifter. Dessutom introducerar vi en iterativ uppdateringsstrategi där vi under träningen anpassar målfeatures för förklaringsmodulen med klassificerarens beräknade funktionstilldelningar. Resultaten visar att de samtidigt förutsagda förklaringarna uppvisar måttlig till hög likhet med klassificerarens faktiska integrerade gradientfunktionstilldelningar.
Place, publisher, year, edition, pages
2024. , p. 88
Series
TRITA-EECS-EX ; 2024:84
Keywords [en]
Timeseries Classification, Multitask Learning, Explainable AI, Feature Attribution, Integrated Gradients
Keywords [sv]
Klassificering av tidsserier, multitaskinlärning, förklarbar AI
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-348498OAI: oai:DiVA.org:kth-348498DiVA, id: diva2:1876681
External cooperation
University of Manchester
Supervisors
Examiners
2024-08-082024-06-242024-08-08Bibliographically approved