Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Numeriska Experiment med Inlärningstakt i Stokastiska Gradientmetoden
KTH, School of Engineering Sciences (SCI).
2019 (Swedish)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE creditsStudent thesisAlternative title
Numerical Experiments with Learning Rate in Stochastic Gradient Descent (English)
Abstract [sv]

Stokastiska gradientmetoden är en algoritm som används inom optimering. Inlärningstakt spelar en central roll i stokastiska gradientmetoden. Givet att den valda inlärningstakten ligger i ett lämpligt intervall påverkar valet av inlärningstakt algoritmens konvergenshastighet samt noggrannhet. I arbetet behandlades två enkla optimeringsproblem med hjälp av stokastiska gradientmetoden. Huvudsakligen exekverades en serie av numeriska experiment för en plethora av inlärningstakt där algoritmens beteende studerades. Sekundärt studerades träningen av ett neuronnät då dess träning skedde med stokastiska gradientmetoden. Förutom inlärningstakt, testades neuronnäts prestation genom att variera parametrar så som antal noder i nätet, nätets aktiveringsfunktion och en kombination av dessa. Sekundärt studerades träningen av ett neuronnät då dess träning skedde med stokastiska gradientmetoden. Förutom inlärningstakt, testades neuronnätets prestation genom att variera parametrar så som antal noder i nätet, nätets aktiveringsfunktion och en kombination av dessa.

Abstract [en]

Stochastic gradient descent is an algorithm used in optimization. Learning rate plays a central role in the stochastic gradient descent algorithm. If the selected learning rate lies within the appropriate interval, it affects the algorithm's convergence rate towards local minimum as well as its accuracy. In this work the stochastic gradient descent algorithm was used to treat two simple optimization problems. Firstly, a series of numerical experiments for a plethora of learning rate were performed where the behavior of the algorithm was studied. Secondly, the training of a neural network using the stochastic gradient descent was experimentally studied. The effect of learning rate values was tested as well as the neural network’s performance by varying parameters such as the number of nodes, the activation function and combinations of the above.

 

Place, publisher, year, edition, pages
2019.
Series
TRITA-SCI-GRU ; 2019:201
National Category
Engineering and Technology
Identifiers
URN: urn:nbn:se:kth:diva-255694OAI: oai:DiVA.org:kth-255694DiVA, id: diva2:1341297
Supervisors
Examiners
Available from: 2019-08-08 Created: 2019-08-08 Last updated: 2019-08-08Bibliographically approved

Open Access in DiVA

No full text in DiVA

By organisation
School of Engineering Sciences (SCI)
Engineering and Technology

Search outside of DiVA

GoogleGoogle Scholar

urn-nbn

Altmetric score

urn-nbn
Total: 37 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf