Label leakage from Regression Models Gradients in Federated Learning
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Etikettläckage från regressionsmodellernas gradienter i federerad inlärning (Swedish)
Abstract [en]
Federated learning (FL) is one of the most popular way to collaboratively train models while preserving data privacy. Participants train their model locally and share only their gradients instead of their personal data. However, recent gradient attacks have shaken this guarantee of "privacy by design" by reconstructing the participants data from the shared gradients. Serious improvements have been achieved by first inferring the labels of the data, making it easier to then reconstruct the input data. Until now these attacks have been studied only in the context of classification models, leaving the regression case unaddressed. In this paper we develop a gradient-based attack on labels in the context of a regression model being trained under a FL framework. This attack relies on solving an approximated linear system of equations of gradients and labels, calibrated using auxiliary data. Our experiments show promising results about inferring labels considering a FL regression model.
Abstract [sv]
Federated learning (FL) är ett av de mest populära sätten att gemensamt träna modeller med bibehållen integritet. Deltagarna tränar sin modell lokalt och delar bara sina gradienter istället för sina personuppgifter. Nya gradientattacker har dock skakat denna garanti för ”privacy by design” genom att rekonstruera deltagarnas data från de delade gradienterna. Stora förbättringar har uppnåtts genom att först härleda datans etiketter, vilket gör det lättare att sedan rekonstruera indata. Hittills har dessa attacker endast studerats i samband med klassificeringsmodeller, vilket innebär att regressionsfallet inte har behandlats. I det här dokumentet utvecklar vi en gradientbaserad attack på etiketter i samband med en regressionsmodell som tränas under ett FL-ramverk. Denna attack bygger på att lösa ett approximerat linjärt system av ekvationer av gradienter och etiketter, kalibrerade med hjälp av hjälpdata. Våra experiment visar lovande resultat när det gäller att härleda etiketter med hänsyn till en FL-regressionsmodell.
Place, publisher, year, edition, pages
2024.
Series
TRITA-SCI-GRU ; 2024:476
Keywords [en]
Label leakage, Federated learning, Gradient attack, Privacy attack
Keywords [sv]
Etikettläckage, Federerad inlärning, Gradientattack, Sekretessattack
National Category
Probability Theory and Statistics
Identifiers
URN: urn:nbn:se:kth:diva-377651OAI: oai:DiVA.org:kth-377651DiVA, id: diva2:2042824
External cooperation
French Atomic Energy and Alternative Energies Commission (CEA)
Subject / course
Mathematical Statistics
Educational program
Master of Science in Engineering -Engineering Physics
Supervisors
Examiners
2026-03-032026-03-032026-03-03Bibliographically approved