RefereraExporteraLink to record
Permanent link

Direct link
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annet format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annet språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Beyond Stochastic Gradient Descent : Sampling-Based Training for Graph Neural Network
KTH, Skolan för teknikvetenskap (SCI), Matematik (Inst.), Sannolikhetsteori, matematisk fysik och statistik.
2024 (engelsk)Independent thesis Advanced level (degree of Master (Two Years)), 20 poäng / 30 hpOppgaveAlternativ tittel
Bortom Stokastisk Gradientnedstigning: Urvalsbaserad Träning för Grafneurala Nätverk (svensk)
Abstract [en]

Graph neural networks (GNNs) are a powerful framework for learning graph representations by recursively aggregating information from neighboring nodes. In this work, we propose alternative training methods for GNNs that avoid conventional stochastic gradient descent by employing random weight sampling. We introduce a novel alignment measure (ALI) to quantify the correspondence between graph embeddings and their labels, demonstrating that it correlates well with final model performance and can serve as an effective proxy during model selection. Based on ALI, we first present a random sampling approach that selects the best-performing model from a set of randomly initialized GNNs. This method offers a competitive alternative to traditional training. We further extend this approach by aggregating multiple small, independently sampled GNNs into a single, sparse ensemble model. This ensemble strategy not only enhances overall performance but also significantly reduces computational costs. Evaluations on benchmark datasets such as Mutagenicity, NCI1, and COLLAB demonstrate that our methods are competitive and time efficient, while in some cases outperforming conventional approaches for models with large hidden dimensions. Overall, our findings highlight the potential of random weight sampling and ensemble techniques as viable alternatives to standard training methods for GNNs, opening new perspectives for efficient graph representation learning.

Abstract [sv]

Graph neural networks (GNN:er) utgör en kraftfull ram för inlärning av grafrepresentationer, där information från närliggande noder rekursivt aggregeras för att skapa en representation. I detta arbete föreslår vi alternativa träningsmetoder för GNN:er som undviker konventionell stokastisk gradientnedstigning genom att använda slumpmässiga vikter. Vi introducerar ett nytt anpassningsmått (ALI) för att kvantifiera överensstämmelsen mellan grafinbäddningar och deras etiketter, och visar att detta mått korrelerar väl med den slutliga modellprestandan samt kan fungera som en effektiv proxy vid modellval. Baserat på ALI presenterar vi först en slumpmässig genereringsmetod som väljer den bäst presterande modellen från en uppsättning slumpmässigt initierade GNN:er. Denna metod utgör ett konkurrenskraftigt alternativ till traditionell träning. Vi utvidgar vidare detta tillvägagångssätt genom att kombinera flera små, oberoende genererade GNN:er till en enda, gles ensemblemodell, vilket inte bara förbättrar den övergripande prestandan utan även avsevärt minskar de beräkningsmässiga kostnaderna. Utvärderingar på benchmark-datamängder såsom Mutagenicity, NCI1 och COLLAB visar att våra metoder är konkurrenskraftiga och tidsmässigt effektiva, där de i vissa fall överträffar konventionella metoder för modeller med stora dolda dimensioner. Sammanfattningsvis framhäver våra resultat potentialen hos slumpmässig viktgenerering och ensembletekniker som starka alternativ till konventionella träningsmetoder för GNN:er, vilket öppnar nya perspektiv för effektiv inlärning av grafrepresentationer.

sted, utgiver, år, opplag, sider
2024.
Serie
TRITA-SCI-GRU ; 2024:464
Emneord [en]
Machine learning, Graph neural networks, Graph representation learning, Gradient-free training
Emneord [sv]
Maskininlärning, Grafneurala nätverk, Inlärning av grafrepresentationer, Gradientfri träning
HSV kategori
Identifikatorer
URN: urn:nbn:se:kth:diva-377648OAI: oai:DiVA.org:kth-377648DiVA, id: diva2:2042814
Fag / kurs
Mathematical Statistics
Utdanningsprogram
Master of Science in Engineering - Engineering Mathematics
Veileder
Examiner
Tilgjengelig fra: 2026-03-03 Laget: 2026-03-03 Sist oppdatert: 2026-03-03bibliografisk kontrollert

Open Access i DiVA

fulltext(1501 kB)32 nedlastinger
Filinformasjon
Fil FULLTEXT01.pdfFilstørrelse 1501 kBChecksum SHA-512
7747f46d1321a9e1d9c2a5a4a3d27773f54ba9125e4f97ad262e004566ff42f4576f6dc596b7e0662745b9e96f877922eed1b38b7abf7725759fd0e70904d9b4
Type fulltextMimetype application/pdf

Av organisasjonen

Søk utenfor DiVA

GoogleGoogle Scholar
Antall nedlastinger er summen av alle nedlastinger av alle fulltekster. Det kan for eksempel være tidligere versjoner som er ikke lenger tilgjengelige

urn-nbn

Altmetric

urn-nbn
Totalt: 2635 treff
RefereraExporteraLink to record
Permanent link

Direct link
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annet format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annet språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf