This thesis addresses the challenge of explaining Spiking Neural Networks (SNNs) to model developers using interactive treemapping supported by secondary visualizations. SNNs, inspired by the brain’s neural mechanisms, accumulate signals and transmit so-called spikes when the signal reaches a certain threshold. Spikes recorded over time are termed spike trains, which this work primarily relies on. SNNs offer significant advantages in terms of computational efficiency and power consumption compared to traditional artificial neural networks (ANNs), making them an exciting avenue of research. However, their complex nature poses challenges for interpretability, which is critical for debugging, improving models, and ensuring trustworthiness in their predictions. The field of explaining ANNs to make them interpretable is called eXplainable Artificial Intelligence (XAI). XAI is a large field but lacks extensive SNN- specific research, specifically in exploring the hierarchical structures of spike trains. The primary objective of this study is to design a visual analytics tool that facilitates the understanding of SNNs. A design study was conducted in close collaboration with SNN developers. After their needs were identified, the design was adapted to them and the research field gaps. The tool leverages circular treemapping, a method for visualizing hierarchical data, to present the structure and behavior of an SNN interactively. The tool also uses secondary visualizations to provide additional information about selected objects. The resulting system, Cpikes, allows the user to detect inactive or overly active neurons, neurons whose spike train is dissimilar to the target neuron’s spike train, and neuron spike train similarity in general. Several paths for future work were identified, such as enabling easier distinguishing of a neuron’s layer, model comparison, and exploration of other spike train distance metrics. Cpikes is a promising XAI tool that can further develop to be a valuable aid for SNN experts in their process of refining models, potentially leading to advancements on the journey of realizing the full capability of SNNs.

Denna avhandling behandlar utmaningen med att förklara Spiking Neu- ral Networks (SNNs) för modellutvecklare genom interaktiv treemap- visualisering stödd av sekundära visualiseringar. SNNs, inspirerade av hjärnans neurala mekanismer, ackumulerar signaler och skickar så kallade spikes när signalen når en viss tröskel. Spikes som registreras över tid kallas spike trains, vilket detta arbete till stor del bygger på. SNNs erbjuder betydande fördelar när det gäller beräkningseffektivitet och strömförbrukning jämfört med traditionella artificiella neurala nätverk (ANNs), vilket gör dem till ett intressant forskningsområde. Deras komplexa natur utgör dock utmaningar för tolkbarhet, vilket är avgörande för felsökning, förbättring av modeller och säkerställande av förtroende för deras förutsägel- ser. Fältet för att förklara ANNs för att göra dem tolkbara kallas förklarbar artificiell intelligens (XAI). XAI är ett stort fält men saknar omfattande SNN-specifik forskning, särskilt när det gäller att utforska de hierarkiska strukturerna av spike trains. Det primära målet med denna studie är att utforma ett visual analytics- verktyg som underlättar förståelsen av SNNs. En designstudie genomfördes i nära samarbete med SNN-utvecklare. Efter deras behov identifierats anpassades designen till dem och forskningsfältets luckor. Verktyget utnyttjar cirkulär treemapping, en metod för att visualisera hierarkiska data, för att presentera en SNN-modells struktur och beteende interaktivt. Verktyget använder också sekundära visualiseringar för att tillhandahålla ytterligare information om valda objekt. Det resulterande systemet, Cpikes, möjliggör detektering av inaktiva eller överaktiva neuroner, neuroner vars spike train är olikt målneuronens spike train, samt neuron spike train-similaritet i allmänhet. Flera vägar för framtida arbete identifierades, såsom att möjliggöra enklare urskiljning av en neurons lager, modelljämförelse och utforskning av andra avståndsmått för spike trains. Cpikes är ett lovande XAI-verktyg som kan vidareutvecklas till en värdefull hjälp för SNN-experter i deras process att förfina modeller, vilket potentiellt kan leda till framsteg på resan mot att realisera den fulla förmågan av SNNs.