4142434445464744 of 204
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Differentially Private Federated Learning
KTH, School of Electrical Engineering and Computer Science (EECS).
2019 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Federated Learning is a way of training neural network models in a decentralized manner; It utilizes several participating devices (that hold the same model architecture) to learn, independently, a model on their local data partition. These local models are then aggregated (in parameter domain), achieving equivalent performance as if the model was trained centrally. On the other hand, Differential Privacy is a well-established notion of data privacy preservation that can provide formal privacy guarantees based on rigorous mathematical and statistical properties. The majority of the current literature, at the intersection of these two fields, only considers privacy from a client’s point of view (i.e., the presence or absence of a client during decentralized training should not affect the distribution over the parameters of the final (central) model). However, it disregards privacy at a single (training) data-point level (i.e., if an adversary has partial, or even full access to the remaining training data-points, they should be severely limited in inferring sensitive information about that single data-point, as long as it is bounded by a differential privacy guarantee). In this thesis, we propose a method for end-to-end privacy guarantees with minimal loss of utility. We show, both empirically and theoretically, that privacy bounds at a data-point level can be achieved within the proposed framework. As a consequence of this, satisfactory client-level privacy bounds can be realized without making the system noisier overall, while obtaining state-of-the-art results.

Abstract [en]

Federated Learning är ett sätt att träna neurala nätverksmodeller på ett decentraliserat sätt. Metoden använder flera deltagande enheter med samma modellarkitektur för att självständigt lära sig en modell på sin egen lokala datapartition. Dessa lokala modeller aggregeras sedan i parameterdomänen och uppnår motsvarande prestanda som om modellen tränats centralt. Å andra sidan är Differential Privacy ett väletablerat begrepp inom integritetsskydd som kan ge formella integritetsgarantier baserade på rigorösa matematiska och statistiska egenskaper. Majoriteten av den aktuella litteraturen, i korsningen mellan dessa två områden, beaktar bara integritet ur en klients synvinkel. Närvaron eller frånvaron av en klient under decentraliserad träning bör inte påverka fördelningen över parametrarna för den slutliga, centrala, modellen. Emellertid bortser man från sekretess på nivån för enskilda tränings-datapunkter, dvs. om en angripare har delvis eller till och med full tillgång till de återstående träningsdatapunkterna, bör dess möjlighet att dra slutsatser om känslig information rörande den enskilda datapunkten vara starkt begränsad, förutsatt att den omfattas av en differentierad integritetsgaranti. I det här examensarbetet föreslår vi en metod för integritetsgarantier med minimal förlust av användbarhet. Vi visar, både empiriskt och teoretiskt, att integritetsgränser på en datapunkt kan uppnås inom det föreslagna ramverket. Som en följd av detta kan tillfredsställande sekretessgränser på klientnivå realiseras utan att göra systemet brusigare på en övergripande nivå, samtidigt som man uppnår bästa möjliga resultat.

Place, publisher, year, edition, pages
2019. , p. 62
Series
TRITA-EECS-EX ; 2019:810
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-271197OAI: oai:DiVA.org:kth-271197DiVA, id: diva2:1415980
External cooperation
EPFL
Subject / course
Computer Science
Educational program
Master of Science - Machine Learning
Supervisors
Examiners
Available from: 2020-03-20 Created: 2020-03-20 Last updated: 2020-03-20Bibliographically approved

Open Access in DiVA

fulltext(1741 kB)23 downloads
File information
File name FULLTEXT01.pdfFile size 1741 kBChecksum SHA-512
7099e66f3a7d84b5be163e8f014a423962c2712a062a0bb8f03ecf25d0787a6bf977d14f2cede4d8d8bc49a2de95d10c3fe9bfffcbe91fb989cfb09c330efab4
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 23 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 25 hits
4142434445464744 of 204
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf