Evaluating Brain-Inspired Machine Learning Models for Time Series Forecasting: A Comparative Study on Dynamical Memory in Reservoir Computing and Neural Networks
2023 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE credits
Student thesis
Abstract [en]
Brain-inspired computing is a promising research field, with potential to encouragebreakthroughs within machine learning and enable us to solve complex problems in a moreefficient way. This study aims to compare the performance of brain-like machine learningalgorithms for time series forecasting. Three models were implemented: a vanilla recurrentneural network (VRNN), a more brain-like reservoir computing (RC) model, as well as a timelagged version of the latter (TLRC). Additionally, an autoregressive integrated movingaverage (ARIMA) was implemented to obtain benchmark results, since this is a well-established model with no connection to the brain. The performances were evaluated on aspectrum of univariate and multivariate time series, ranging from chaotic benchmark data toexperimental data, such as temperature recordings. The results indicate that the reservoircomputing models generally outperform the recurrent neural network, and that the consideredmodels have a disadvantage in practical scenarios. A common factor for these algorithms isthat they exhibit a sense of dynamical memory. Hence, we compare these models not only interms of their predictive accuracy, but also in terms of their capability for memory. To reachan analysis of dynamical memory, this study investigated the usefulness of the algorithms onvarying amounts of available information. Lastly, the effect of the network/reservoir size wastaken into account. The research suggests that the models cannot benefit meaningfully fromhaving more neurons.
Abstract [sv]
Beräkningsalgoritmer som är inspirerade av hjärnan har stor potential att bidra till genombrottinom maskininlärning och möjliggöra effektivare lösningar till komplexa problem. Dennastudie syftar till att jämföra prestandan hos beräkningsalgoritmer som liknar hjärnan,tillämpade för tidsserieprediktion. Tre algoritmer implementerades: en standardimplementerat återkommande neuralt nätverk (VRNN), en reservoir computing (RC) modelsom efterliknar hjärnan och en tidsfördröjd version av den senare (TLRC). Utöver dessaanvändes även en autoregressive integrated moving average (ARIMA) modell, för attgenerera referensresultat, då modellen är väletablerad och saknar anknytning till hjärnan.Prestandan evaluerades på ett spektrum av en variabla- och multivariabla tidsserier, frånkaotiska referensdata till experimentella data, såsom temperaturmätningar. Resultatenindikerar att reservoir computing modellerna generellt sett överträffar det återkommandeneurala nätverket, samt att praktiska scenarier är ogynnsamma för de betraktade modellerna.En gemensam nämnare för dessa algoritmer är att de besitter en typ av dynamiskt minne.Således jämfördes algoritmer inte enbart med hänsyn till deras prediktiva precision, men äveni termer av minneskapacitet. För att nå en analys av dynamiskt minne undersökte denna studiede respektive modellernas kapacitet för varierande mängder av tillgänglig information. Till sist beaktades inverkan av nätverkets/reservoarens storlek. Resultaten tyder på att modellernasprestanda inte meningsfullt kunde dra nytta av ett större antal neuroner.
Place, publisher, year, edition, pages
2023. , p. 691-704
Series
TRITA-EECS-EX ; 2023:197
National Category
Electrical Engineering, Electronic Engineering, Information Engineering
Identifiers
URN: urn:nbn:se:kth:diva-341788OAI: oai:DiVA.org:kth-341788DiVA, id: diva2:1823500
Supervisors
Examiners
Projects
Kandidatexjobb i elektroteknik 2023, KTH, Stockholm2024-01-022024-01-02