kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Random matrix theory in machine learning
KTH, School of Engineering Sciences (SCI), Mathematics (Dept.), Mathematics (Div.).
2023 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Slumpmatristeori i maskininlärning (Swedish)
Abstract [en]

In this thesis, we review some applications of random matrix theory in machine learning and theoretical deep learning. More specifically, we review data modelling in the regime of numerous and large dimensional data, a method for estimating covariance matrix distances in the aforementioned regime, as well as an asymptotic analysis of a simple neural network model in the limit where the number of neurons is large and the data is both numerous and large dimensional. We also review some recent research where random matrix models and methods have been applied to Hessian matrices of neural networks with interesting results. As becomes apparent, random matrix theory is a useful tool for various machine learning applications and it is a fruitful field of mathematics toexplore, in particular, in the context of theoretical deep learning.

Abstract [sv]

I denna uppsatsen undersöker vi några tillämpningar av slumpmatristeori inom maskininlärning och teoretisk djupinlärning. Mer specifikt undersöker vi datamodellering i domänet där både datamängden och dimensionen på datan är stor, en metod för att uppskatta avstånd mellan kovariansmatriser i det tidigare nämnda domänet, samt en asymptotisk analys av en enkel neuronnätsmodell i gränsen där antalet neuroner är stort och både datamängden och dimensionen pådatan är stor. Vi undersöker också en del aktuell forskning där slumpmatrismodeller och metoder från slumpmatristeorin har tillämpats på Hessianska matriserför artificiella neuronnätverk med intressanta resultat. Det visar sig att slumpmatristeori är ett användbart verktyg för olika maskininlärningstillämpningaroch är ett område av matematik som är särskilt givande att utforska inom kontexten för teoretisk djupinlärning.

Place, publisher, year, edition, pages
2023. , p. 57
Series
TRITA-SCI-GRU ; 2023:408
Keywords [en]
Mathematics, mathematical statistics, machine learning, random matrix theory, neural networks
Keywords [sv]
Matematik, matematisk statistik, maskininlärning, slumpmatristeori, neuronnätverk
National Category
Other Mathematics
Identifiers
URN: urn:nbn:se:kth:diva-342449OAI: oai:DiVA.org:kth-342449DiVA, id: diva2:1829731
Subject / course
Mathematics
Educational program
Master of Science - Mathematics
Supervisors
Examiners
Available from: 2024-01-19 Created: 2024-01-19 Last updated: 2024-01-19Bibliographically approved

Open Access in DiVA

fulltext(701 kB)895 downloads
File information
File name FULLTEXT01.pdfFile size 701 kBChecksum SHA-512
b386d675ea3ea2712edb0778c229664b979f85e9d133613cf575f314b9132f3bddbd731eb397d84649b58441b6d8f23283d758852b956951522fd39990bd046f
Type fulltextMimetype application/pdf

By organisation
Mathematics (Div.)
Other Mathematics

Search outside of DiVA

GoogleGoogle Scholar
Total: 895 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 352 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf