Comparison of Output Decoding Techniques for Spiking Neural Networks
2023 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE credits
Student thesisAlternative title
Jämförelse av Utdatakodningstekniker för Spiking Neural Networks (Swedish)
Abstract [en]
Spiking Neural Networks (SNNs) hold significant potential due to their high energy efficiency when implemented on specialized hardware. Central to SNNs is the translation of sequences of spike events to concrete outputs, like class predictions. This study conducts a comparative analysis of two popular output decoding methods: rate coding, where the class corresponding to the output neuron with the most spikes is selected, and temporal coding, which predicts the class of the neuron that spikes first. SNNs with a common architecture, using these decoding methods, were tested on two datasets. The results reveal that temporal coding exhibited higher variance across experiments, was more affected by the sample size, and had considerably lower accuracy on the smaller dataset compared to rate coding. This difference may stem from the high sensitivity of temporal coding to early spikes, altering network predictions. However, further examination with diverse SNN architectures and datasets is required to validate the results from this report.
Abstract [sv]
Spiking Neural Networks (SNNs) innehar en betydande potential på grund av deras höga energieffektivitet vid implementering på specialiserad hårdvara. En viktig aspekt av SNNs är översättningen av sekvenser av aktionspotentialer till konkreta utdata, som förutsägelse av klasser. Denna studie utför en jämförande analys av två populära avkodningsmetoder för utdata: frekvenskodning, där klassen som motsvarar den utdataneuron som har flest aktionspotentialer väljs, och temporär kodning, vilket förutspår klassen av den neuron som utmatar en aktionspotential först. SNNs med en gemensam arkitektur, som använder dessa avkodningsmetoder, testades på två dataset. Resultaten visar att temporär kodning presterade betydligt sämre än frekvenskodning på det mindre datasetet, uppvisade högre varians över experimenten och påverkades mer av storleken på datasettet. Denna skillnad kan härstamma från den höga känsligheten hos temporär kodning för tidiga aktionspotentialer, vilka kan ändra nätverkets förutsägelser. Dock krävs ytterligare undersökningar med olika SNN-arkitekturer och dataset för att bekräfta resultaten i denna rapport.
Place, publisher, year, edition, pages
2023. , p. 27
Series
TRITA-EECS-EX ; 2023:304
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-330852OAI: oai:DiVA.org:kth-330852DiVA, id: diva2:1779210
Supervisors
Examiners
2023-08-012023-07-032023-08-01Bibliographically approved