Spiking Neural Networks on Tabular Data for Time Series Classification
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesis
Abstract [en]
Spiking Neural Networks (SNNs) have a biologically inspired neuron function and have demonstrated more energy efficiency than Artificial Neural Networks (ANNs) when implemented on specialized hardware. One of the challenges in using SNNs is encoding input data into the discrete spike-based representation that SNNs neurons use. This work investigates the use of SNNs with and without input rate encoding in time series classification tasks and compares their performance against conventional ANNs and non-neural network Machine Learning techniques. The study shows that the effectiveness of ANNs and SNNs architectures is strongly dependent on the dataset used, while a Decision Tree method employing Gradient Boosting showed robust performance across the experiments. While the SNNs architecture without rate encoding showed resilience with limited data availability and surpassed the performance of the ANNs in all but one of our datasets, the SNN architecture with rate encoding showed potential in specific scenarios but underperformed in achieving universal effectiveness. Cosine similarity analysis revealed a limitation of rate encoding, with small or negative numerical values encoded as spike trains containing zeros, constraining the model’s ability to recognize similarities and differences between instances belonging to the same and different classes. We also performed experiments with increased time steps in the SNNs architectures that revealed minimal enhancements in performance, suggesting the model’s effectiveness is subject to other parameters.
Abstract [sv]
SNNs har en biologiskt inspirerad neuronfunktion och har visat sig vara mer energieffektiva än artificiella neurala nätverk (ANN) när de implementeras på specialiserad hårdvara. En av utmaningarna med att använda SNN är är att koda inmatningsdata till den diskreta spikbaserade representationen som SNNs neuroner använder. Detta arbete undersöker användningen av SNN med och utan kodning av ingångsfrekvens i tidsserieklassificeringsuppgifter och jämför deras prestanda mot konventionella ANN och icke-neurala nätverkstekniker för maskininlärning. Studien visar att effektiviteten hos ANN och SNN-arkitekturer är starkt beroende av det använda dataset som används, medan en beslutsträdsmetod som använder Gradient Boosting visade robust prestanda under experimenten. Medan SNN-arkitekturen utan hastighetskodning visade motståndskraft med begränsad datatillgänglighet och överträffade prestanda för ANN i alla utom en av våra datamängder, visade SNN-arkitekturen med hastighetskodning visade potential i specifika scenarier men underpresterade när det gällde att uppnå universell effektivitet. Cosine-likhetsanalys avslöjade en begränsning av hastighetskodning, med små eller negativa numeriska värden kodade som spiketåg som innehåller nollor, vilket begränsar modellens förmåga att känna igen likheter och skillnader mellan instanser som tillhör samma och olika klasser. Vi utförde också experiment med ökade tidssteg i SNN-arkitekturerna som avslöjade minimala prestandaförbättringar, vilket tyder på att modellens effektivitet är föremål för andra parametrar.
Place, publisher, year, edition, pages
2024. , p. 53
Series
TRITA-EECS-EX ; 2024:973
Keywords [en]
Signal Encoding, Spiking Neural Networks, Time Series Classification, Machine Learning
Keywords [sv]
Signalkodning, Spiking Neural Networks, Klassificering av Tidsserier, Maskininlärning
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-361394OAI: oai:DiVA.org:kth-361394DiVA, id: diva2:1945284
External cooperation
Ericsson Research
Supervisors
Examiners
2025-03-242025-03-182025-03-24Bibliographically approved