Beyond Stochastic Gradient Descent : Sampling-Based Training for Graph Neural Network
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Bortom Stokastisk Gradientnedstigning: Urvalsbaserad Träning för Grafneurala Nätverk (Swedish)
Abstract [en]
Graph neural networks (GNNs) are a powerful framework for learning graph representations by recursively aggregating information from neighboring nodes. In this work, we propose alternative training methods for GNNs that avoid conventional stochastic gradient descent by employing random weight sampling. We introduce a novel alignment measure (ALI) to quantify the correspondence between graph embeddings and their labels, demonstrating that it correlates well with final model performance and can serve as an effective proxy during model selection. Based on ALI, we first present a random sampling approach that selects the best-performing model from a set of randomly initialized GNNs. This method offers a competitive alternative to traditional training. We further extend this approach by aggregating multiple small, independently sampled GNNs into a single, sparse ensemble model. This ensemble strategy not only enhances overall performance but also significantly reduces computational costs. Evaluations on benchmark datasets such as Mutagenicity, NCI1, and COLLAB demonstrate that our methods are competitive and time efficient, while in some cases outperforming conventional approaches for models with large hidden dimensions. Overall, our findings highlight the potential of random weight sampling and ensemble techniques as viable alternatives to standard training methods for GNNs, opening new perspectives for efficient graph representation learning.
Abstract [sv]
Graph neural networks (GNN:er) utgör en kraftfull ram för inlärning av grafrepresentationer, där information från närliggande noder rekursivt aggregeras för att skapa en representation. I detta arbete föreslår vi alternativa träningsmetoder för GNN:er som undviker konventionell stokastisk gradientnedstigning genom att använda slumpmässiga vikter. Vi introducerar ett nytt anpassningsmått (ALI) för att kvantifiera överensstämmelsen mellan grafinbäddningar och deras etiketter, och visar att detta mått korrelerar väl med den slutliga modellprestandan samt kan fungera som en effektiv proxy vid modellval. Baserat på ALI presenterar vi först en slumpmässig genereringsmetod som väljer den bäst presterande modellen från en uppsättning slumpmässigt initierade GNN:er. Denna metod utgör ett konkurrenskraftigt alternativ till traditionell träning. Vi utvidgar vidare detta tillvägagångssätt genom att kombinera flera små, oberoende genererade GNN:er till en enda, gles ensemblemodell, vilket inte bara förbättrar den övergripande prestandan utan även avsevärt minskar de beräkningsmässiga kostnaderna. Utvärderingar på benchmark-datamängder såsom Mutagenicity, NCI1 och COLLAB visar att våra metoder är konkurrenskraftiga och tidsmässigt effektiva, där de i vissa fall överträffar konventionella metoder för modeller med stora dolda dimensioner. Sammanfattningsvis framhäver våra resultat potentialen hos slumpmässig viktgenerering och ensembletekniker som starka alternativ till konventionella träningsmetoder för GNN:er, vilket öppnar nya perspektiv för effektiv inlärning av grafrepresentationer.
Place, publisher, year, edition, pages
2024.
Series
TRITA-SCI-GRU ; 2024:464
Keywords [en]
Machine learning, Graph neural networks, Graph representation learning, Gradient-free training
Keywords [sv]
Maskininlärning, Grafneurala nätverk, Inlärning av grafrepresentationer, Gradientfri träning
National Category
Probability Theory and Statistics
Identifiers
URN: urn:nbn:se:kth:diva-377648OAI: oai:DiVA.org:kth-377648DiVA, id: diva2:2042814
Subject / course
Mathematical Statistics
Educational program
Master of Science in Engineering - Engineering Mathematics
Supervisors
Examiners
2026-03-032026-03-032026-03-03Bibliographically approved