Estimation Bias in Over-the-Air Federated Learning
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesis
Abstract [en]
Federated Learning (FL) is a distributed machine learning approach that efficiently trains Deep Neural Networks (DNN) using decentralized data. Despite the advantages, it faces challenges due to substantial data communication, leading to high energy consumption and network congestion. This thesis focuses on Over-the-Air FL, a novel approach that reduces communication delays through analog wireless transmission, and investigates the impact of estimation bias, arising from biased model weight updates and heterogeneous data, on its convergence. We develop a system model for Over-the-Air FL, incorporating a power control scheme with over static channels. Our results provide a closed-form upper bound on the convergence rate and post- convergence error, indicating that the Over-the-Air FL algorithm achieves a linear convergence rate and non-diminishing post-convergence error in the worst case, and the performance improves with decreasing bias in model weight updates and more balanced data. Finally, experimental results on the real data support the theoretical findings.
Abstract [sv]
Federerad inlärning (FL) är en distribuerad maskininlärningsmetod som effektivt tränar Djupa Neurala Nätverks (DNN) med hjälp av decentraliserad data. Trots fördelarna möter den utmaningar på grund av omfattande datakommunikation, vilket leder till hög energiförbrukning och nätverksöverbelastning. Denna avhandling fokuserar på Over-the-Air FL, en ny metod som minskar kommunikationsfördröjningar genom analog trådlös överföring, och undersöker påverkan av estimeringsbias, som uppstår från partiska modellviktuppdateringar och heterogena data, på dess konvergens. Vi utvecklar en systemmodell för Over-the-Air FL, som inkluderar ett effektkontrollschema över statiska kanaler. Våra resultat ger en sluten formel för en övre gräns för konvergenshastigheten och post-konvergensfelet, vilket indikerar att Over-the-Air FL algoritmen uppnår en linjär konvergenshastighet och icke-avtagande post-konvergensfel i värsta fall, och att prestandan förbättras med minskande bias i modellviktuppdateringar och mer balanserad data. Slutligen stöds de teoretiska fynden av experimentella resultat på verkliga data.
Place, publisher, year, edition, pages
2024. , p. 42
Series
TRITA-EECS-EX ; 2024:929
Keywords [en]
Federated Learning, Over-the-Air Computation, Estimation Bias, Convergence Analysis
Keywords [sv]
Federerad inlärning, Over-the-Air-beräkning, Estimeringsbias, Konvergensanalys
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-361055OAI: oai:DiVA.org:kth-361055DiVA, id: diva2:1943553
Supervisors
Examiners
2025-03-172025-03-112025-03-17Bibliographically approved