Safe Weighted Federated Learning: Accelerated Multi-Party Computation Architectures based Intel SGX
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Säker Viktad Federerad Inlärning : Accelererade Flerpartsräkningsarkitekturer baserade på Intel SGX (Swedish)
Abstract [en]
Federated Learning (FL) allows training Machine Learning (ML) models without sharing private data, which is crucial for domains like finance and healthcare. However, FL is vulnerable to inference and membership attacks. To enhance security, Multi-Party Computation (MPC) are introduced in FL, but they face challenges such as high computational costs, memory requirements, and communication overhead, leading to prolonged training times. This thesis introduces a Weighted Federated Learning (wFL) approach using secret- sharing scheme MPC, and accelerated by plain-text computation with Intel Software Guard Extensions (SGX). We propose and evaluate two secure wFL computation infrastructures, SGXDL and HybridSGXDL, for their efficiency, feasibility, and practicality in Convolutional Neural Networks (CNNs). Because of utilizing Intel SGX enabling plain-text computation, these infrastructures achieve significant efficiency improvements, reducing training time by at least 5× compared to Piranha(Graphics processing units (GPUs)-accelerated MPC platform). For moderate tasks, improvements can reach 164×, and efficiency gains continue with larger models. Intel SGX limit available libraries to C standard libraries and very less C++ libraries, consequently requiring MPC developers’ expertise in both applied mathematics and C implementation. SGXDL and HybridSGXDL demonstrate the practicality of securely training CNNs such as ResNet18 and VGG16, allowing developers to access and use the models for secure training without extensive mathematics expertise.
Abstract [sv]
FL möjliggör träning av maskininlärningsmodeller (ML) utan att dela privat data, vilket är avgörande för områden som finans och sjukvård. FL är dock sårbart för inferens- och medlemskapsattacker. För att öka säkerheten används Multi-Party Computation (MPC), men dessa står inför utmaningar som höga beräkningskostnader, minneskrav och kommunikationsbelastning, vilket leder till förlängda träningstider. Denna avhandling introducerar en viktad federerad inlärningsmetod med användning av MPC baserat på en hemlighetsdelningsschema, accelererat genom beräkningar i klartext med Intel Software Guard Extensions (SGX). Vi föreslår och utvärderar två säkra viktade FL-beräkningsinfrastrukturer, SGXDL och HybridSGXDL, för deras effektivitet, genomförbarhet och praktiska tillämpning i konvolutionella neurala nätverk (CNN). Genom att använda Intel SGX för klartextberäkningar uppnår dessa infrastrukturer betydande effektivitetsförbättringar, vilket minskar träningstiden med minst 5× jämfört med Piranha (GPUs-accelererad MPC-plattform). För måttliga uppgifter kan förbättringarna nå 164×, och effektivitetsvinsterna fortsätter med större modeller. Intel SGX begränsar tillgängliga bibliotek till C-standardbibliotek, vilket därmed kräver MPC-utvecklares expertis inom både tillämpad matematik och C- implementering. SGXDL och HybridSGXDL demonstrerar praktikaliteten i att säkert träna CNNs som ResNet18 och VGG16, vilket möjliggör för utvecklare att använda modellerna för säker träning utan omfattande matematisk expertis.
Place, publisher, year, edition, pages
2024. , p. 97
Series
TRITA-EECS-EX ; 2024:1008
Keywords [en]
Federated Learning, Intel SGX, Multi-Party Computation
Keywords [sv]
Federerad Inlärning, Intel SGX, Flerpartiberegningsprotokoll
National Category
Electrical Engineering, Electronic Engineering, Information Engineering
Identifiers
URN: urn:nbn:se:kth:diva-361662OAI: oai:DiVA.org:kth-361662DiVA, id: diva2:1947176
External cooperation
Huawei Munich Research Center, Trustworthy Technology and Engineering Lab
Supervisors
Examiners
2025-03-272025-03-252025-03-27Bibliographically approved