Storage Capacity of Associative Neural Networks: Simulations Across four Learning Rules
2025 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE credits
Student thesis
Abstract [en]
This project investigates the storage capacity and recall performance of associative memory networks using different biologically inspired learning rules. The aim is to investigate how different local learning rules influence the storage capacity and recall performance of attractor neural networks under varying conditions. These conditions include pattern sparsity, pattern correlation, and input noise. A discrete Hopfield network with 100 fully connected neurons was implemented in Python and pattern recall was tested using both sparse (10\%) and dense (50\%) binary and bipolar patterns with and without correlation and noise. Results show that the Storkey rule is most effective for dense, correlated patterns, while Willshaw and BCPNN perform best with sparse, uncorrelated inputs. The Hebbian learning rule demonstrated limited storage capacity in all scenarios. The findings highlight the trade-offs between learning rules and offer practical guidance for selecting memory models based on statistical properties of the data.
Abstract [sv]
Detta projekt undersöker lagringskapacitet och återkallelsförmåga hos associativa minnesnätverk med olika biologiskt inspirerade inlärningsregler. Syftet är att undersöka hur olika lokala inlärningsregler påverkar lagringskapaciteten och återkallningsförmågan hos attraktor-nätverk under varierande förhållanden. Dessa förhållanden inkluderar mönstergleshet, mönsterkorrelation och inmatningsbrus. Ett diskret Hopfield-nätverk med 100 fullt kopplade neuroner implementerades i Python, och återkallelsetester genomfördes med både glesa (10\%) och täta (50\%) binära och bipolära mönster, med och utan korrelation och brus. Resultaten visar att Storkey-regeln är mest effektiv för täta, korrelerade mönster, medan Willshaw och BCPNN fungerar bäst för glesa, okorrelerade mönster. Hebbian inlärningsregel visade begränsad lagringskapacitet i alla scenarier. Resultaten belyser avvägningar mellan inlärningsreglerna och erbjuder praktisk vägledning för att välja minnesmodeller baserat på de statistiska egenskaperna hos data.
Place, publisher, year, edition, pages
2025. , p. 577-582
Series
TRITA-EECS-EX ; 2025:158
National Category
Electrical Engineering, Electronic Engineering, Information Engineering
Identifiers
URN: urn:nbn:se:kth:diva-376180OAI: oai:DiVA.org:kth-376180DiVA, id: diva2:2034633
Supervisors
Examiners
Projects
Kandidatexamensarbete i Elektroteknik 2025, EECS, KTH2026-02-022026-02-02