Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Action Selection of a Basal Ganglia Model with Sparse, Distributed Representation of States and Actions.
KTH, School of Computer Science and Communication (CSC).
2012 (Swedish)Independent thesis Advanced level (professional degree), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

It is today known that the basal ganglia (BG), a sub-cortical network of nuclei, are involved in action selection for motor movement. Due to the amount of dopamine signaling that takes place in the striatum, the part of the BG that recieves the input from cortex and thalamus, it is believed that much of learning takes place here and that the dopamine serves as a reinforcing signal. The aim of this thesis will be two-fold. The first goal is to make a quantitative analysis of the connectivity from cortex to striatum to attain the constraints for correct firing frequencies. Secondly I set up a model of this connectivity using spiking units and run simulations across this network to see if the abstract Reinforcement Learning (RL) paradigm can be applied to a biologically realistic model. The topology of the network between cortex and striatum is based on the BCPNN, made up of artificial neuronal units, which was developed gradually by Lansner and Ekeberg (1989), Lansner and Holst (1996), Sandberg et al. (2002), Sandberg et al (2003). It is an extension of the Bayesian Classifier, that through mathematical manipulation of the its equations, can be modelled as a neuronal network, where each neuron serves as a probability estimator. Both cortical and BG models have been developed by Lansner and Lindahl respectively but have thus far not been implemented together in a full scale model for action selection and learning. To my aid I have NEST, a neural simulator developed specifically for large scale networks of neurons. The neuronal model is based on Izhikevich dynamical systems approach which describes not only the electrophysiological properites of the neuron but also accounts for its dynamical and computational properties. Setting up the connectivity has throughout my work proved to be far more complex than anticipated and has brought with it new questions.

Abstract [sv]

Det är idag känt att basala ganglierna (BG), ett sub-kortikalt nätverk, är involverat i handlings selektion. Då stora mängder dopamin används som signal substans i striatum, den del av basala ganglierna som tar emot kopplingar från kortex och thalamus, tror man att mycket av den inlärning som sker äger rum här, där dopaminet agerar som den förstärkande felsignalen. I detta arbete kommer fokus ligga på två aspekter. Först kommer jag genomföra en kvantitativ ananlys av de striatala neuronernas beteende givet ett visst input fron kortex för att erhålla de parametervärden som möjliggör handlings selektion. Sedan kommer jag sätta upp ett nätverk av spikande enheter och köra simuleringar för att se om den abstrakta förstärkningsinlärningsreglen (RL) kan appliceras på ett biologiskt realistiskt nätverk. Konnektiviteten mellan kortex och striatum är baserad på BCPNN, ett nätverk av artificiella neuroner, som utvecklades stegvis av Lansner och Ekeberg (1989), Lansner och Holst (1996), Sandberg et al (2002), Sandberg et al (2003). Detta nätverk är en utveckling av den Bayesianska klassificeraren, som genom manipulationer av dess matematiska uttryck, kan förvandlas till ett neuronnätverk, där varje neuron tjänar som en sannolikhets uppskattare. Detta är ett första försök att skapa en fullskalig modell av kopplingar mellan kortex och striatum med mål att kunna återskapa handlingsselektion och inlärning. Till mitt förfogande har jag haft NEST, ett verktyg utvecklat för simuleringar av storskaliga nätverk av biologisk realistiska neuronmodeller. Den specifika neuronmodellen som används för denna uppsats är baserad på Izhikevich kvadratiska modell, som beskriver inte bara neuronens elektrofysiologiska egenskaper, utan även dess dynamiska och beräkningsmässiga egenskaper. Att sätta upp nätverket har visat sig vara mer komplext än vi kunnat förutse och har under arbetets gång medfört många nya frågor.

Place, publisher, year, edition, pages
2012.
Series
Trita-CSC-E, ISSN 1653-5715 ; 2012:009
National Category
Computer Science
Identifiers
URN: urn:nbn:se:kth:diva-130920OAI: oai:DiVA.org:kth-130920DiVA: diva2:654366
Educational program
Master of Science in Engineering -Engineering Physics
Uppsok
Technology
Supervisors
Examiners
Available from: 2013-10-07 Created: 2013-10-07

Open Access in DiVA

No full text

Other links

http://www.nada.kth.se/utbildning/grukth/exjobb/rapportlistor/2012/rapporter12/biro_ronald_12009.pdf
By organisation
School of Computer Science and Communication (CSC)
Computer Science

Search outside of DiVA

GoogleGoogle Scholar

urn-nbn

Altmetric score

urn-nbn
Total: 72 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf