In modern machine learning, the dominant approach to training models relies on centralized datasets. However, this paradigm is often impractical or even prohibited in real-world scenarios. Concerns about data privacy, ownership, and the ethical use of publicly available data are rapidly growing, especially with increasing scrutiny on how personal data is handled. Furthermore, collecting, storing, and managing large-scale datasets incurs substantial costs. For instance, millions of smartphone users generate vast amounts of data daily -- photos, sleep patterns, text messages, and more -- which is expensive and often infeasible to process centrally. In response, distributed machine learning has emerged as a promising alternative.

Distributed machine learning trains models across multiple users without centralizing data, addressing privacy concerns and logistical challenges. In this framework, data remains with clients, who train models locally and share model updates instead of data. A prominent example is federated learning, which uses a central server to coordinate training by aggregating and distributing updates. In contrast, decentralized learning removes the central server, enabling clients to communicate directly in a peer-to-peer network. However, significant data variability across clients -- data heterogeneity -- complicates model aggregation and reduces performance. This thesis proposes novel strategies to improve decentralized learning, focusing on client collaboration and data heterogeneity.

First, it introduces peer-selection and clustering techniques, enabling clients to collaborate selectively with peers whose data distributions are similar. This approach circumvents the limitations of a single global model, which may fail to generalize well across diverse clients. Second, the thesis develops privacy-preserving methods to estimate data similarity and strengthens user privacy using multi-armed bandits, enabling dynamic, adaptive collaboration among clients. Beyond addressing static data heterogeneity, the thesis also tackles the challenge of evolving data distributions. New algorithms are proposed to enable models to adapt over time, ensuring robust performance even as client data distributions change. The research further extends these methods to generative models, presenting a novel ensemble approach for training generative adversarial networks (GANs) in distributed settings.

Overall, the contributions of this thesis advance the scalability, efficiency, and privacy of distributed machine learning systems. By enhancing these systems' ability to manage diverse data environments, the work ensures more reliable and personalized model performance across clients, paving the way for broader applications of distributed machine learning.

I modern maskininlärning förlitar man sig på central lagring av data för att träna modeller. Detta sätt att träna modeller på är ofta opraktiskt, eller till och med otillåtet, i många realistiska sammanhang. Det finns många orosmoment gällande dataintegritet, ägarskap och etiskt användade av publika datamängder, som växer allt snabbare när mängden information växer. Dessutom medför insamling, lagring och hantering av storskaliga datamängder betydande kostnader. Mobiltelefoner är ett exempel där mycket data genereras dagligen -- användare tar foton, spelar in ljud, skriver textmeddelanden och mycket mer. Att samla in denna data är dyrt och ofta omöjligt att behandla centralt. I ljuset av detta har distribuerad maskininlärning dykt upp som ett lovande alternativ.

Distribuerad maskininlärning möjliggör modellträning för klienter utan något krav på att centralisera data. I detta ramverk stannar data hos klienterna, som tränar modeller lokalt och istället delar modelluppdateringar. Federerad inlärning är ett sådant exempel, som bygger på en central server för att koordinera modellträning genom att aggregera och distribuera modeller. Decentraliserad inlärning eliminerar däremot behovet av en central server helt och hållet, genom att klienter kommunicerar direkt i ett peer-to-peer-nätverk för att kollaborativt träna modeller. Men när data skiljer sig mellan klienter -- när dataheterogeniteten är stor -- försvårar det att träna modeller via aggregering. Denna avhandling föreslår därmed nya strategier för att förbättra träning i distribuerad maskininlärning i miljöer av betydande dataheterogenitet.

Först presenterar vi metoder för klientselektion och klustring, vilket möjliggör för klienter att samarbeta selektivt med klienter med liknande datafördelningar. Detta tillvägagångssätt kringgår begränsningarna med en global modell som inte nödvändigtvis kan generalisera över samtliga klienter. Vidare utvecklar vi integritetsbevarande metoder för att uppskatta datalikhet utan att kränka användarnas integritet genom att använda flerarmade banditer. Utöver att ta itu med stationär dataheterogenitet, tar avhandlingen också upp utmaningen med icke-stationära datamängder. En ny algoritm föreslås som gör det möjligt för modeller att anpassa sig över tid. Slutligen studerar vi generativa modeller och föreslår en ny metod för att träna generative adversarial networks (GANs) decentraliserat.

Sammantaget förbättrar bidragen från denna avhandling skalbarheten och prestandan hos distribuerade maskininlärningssystem. Genom att förbättra systemens förmåga att hantera heterogena datamiljöer skapar detta arbete ett mer robust ramverk, vilket banar väg för bredare användning av distribuerad maskininlärning.