kth.sePublications
Planned maintenance
A system upgrade is planned for 10/12-2024, at 12:00-13:00. During this time DiVA will be unavailable.
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Realizing High-Performance Stateful Network Function Chains on Commodity Hardware: Improving Packet Processing Frameworks by Minimizing Memory Access Overheads
KTH, School of Electrical Engineering and Computer Science (EECS), Computer Science, Software and Computer systems, SCS.ORCID iD: 0000-0002-0034-5098
2024 (English)Doctoral thesis, monograph (Other academic)Alternative title
Realisering av högpresterande tillståndsbaserade nätverksfunktionskedjor på standardhårdvara : Förbättra ramverk för paketbearbetning genom att minimera minnesåtkomstoverhead (Swedish)
Abstract [en]

Data centers increasingly deploy commodity servers with high-speed network interface cards to enable network services with low latency and high throughput capabilities. However, existing packet processing systems still suffer from high I/O and memory access overheads, especially when deploying stateful network functions, resulting in degraded performance.

This doctoral dissertation describes our attempts to improve the performance of stateful network functions deployed on commodity servers by carefully studying traffic properties in heterogeneous data centers, low-level analysis of existing systems' bottlenecks, and finally proposing solutions to optimize stateful packet processing and alleviating systems' memory and I/O overheads. 

The first contribution of this dissertation studies the impact of temporal and spatial traffic locality on the performance of commodity servers. Accordingly, we propose Reframer as a system that deliberately delays packets and reorders them to increase traffic locality. By deploying Reframer in front of a network function chain the system achieves up to 84% improvement in throughput and reduces the flow completion time of a web server by 11%.

The second contribution of this dissertation focuses on optimizing packet processing frameworks when deploying a chain of stateful network functions with various flow definitions. We identify three commonly practiced principles that are essential to achieve high performance. We propose FAJITA as a cache-friendly stateful packet processing framework that improves the performance of stateful network function service chains compared to existing state-of-the-art solutions, by at least 2.4× & 1.5× when using shared-nothing & shared architectures, respectively.

The third contribution of this dissertation takes one step further in optimizing packet processing frameworks by automatically configuring RSS before deploying a stateful network function chain on a commodity server. We propose FlowMage, a system that leverages Large Language Models (LLMs) to perform code analysis and extract essential information from stateful network functions. FlowMage uses this data to find an efficient configuration of a network function chain while preserving the semantics of the NF chain. FlowMage achieves a significant performance improvement (up to 11×) in comparison to the default configuration of the system.

Abstract [sv]

Datacenter använder i allt högre grad vanliga servrar med högpresterande nätverkskort för att möjliggöra nätverkstjänster med låg latens och hög genomströmningskapacitet. Dock lider befintliga paketbehandlingssystem fortfarande av höga I/O och minnesåtkomstkostnader, särskilt vid implementering av tillståndsberoende nätverksfunktioner, vilket resulterar i försämrad prestanda.

Denna doktorsavhandling beskriver våra försök att förbättra prestandan för tillståndsberoende nätverksfunktioner implementerade på vanliga servrar genom att noggrant studera trafikegenskaper i heterogena datacenter, göra låg-nivå analyser av befintliga systemflaskhalsar och slutligen föreslå lösningar för att optimera tillståndsberoende paketbehandling och minska systemens minnes- och I/O-kostnader.

Den första bidraget i denna avhandling undersöker påverkan av temporal och spatial trafiklokalitet på prestandan hos vanliga servrar. Därmed föreslår vi Reframer som ett system som medvetet fördröjer paket och omordnar dem för att öka trafikens lokalitet. Genom att implementera Reframer framför en nätverksfunktionskedja uppnår systemet upp till 84% förbättring i genomströmning och minskar flödesavslutningstiden för en webbserver med 11%.

Det andra bidraget i denna avhandling fokuserar på att optimera paketbehandlingsramverk vid implementering av en kedja av tillståndsberoende nätverksfunktioner med olika flödesdefinitioner. Vi identifierar tre vanligt förekommande principer som är avgörande för att uppnå hög prestanda. Vi föreslår FAJITA som ett cache-vänligt ramverk för tillståndsberoende paketbehandling som förbättrar prestandan för tjänstekedjor med tillståndsberoende nätverksfunktioner jämfört med befintliga toppmoderna lösningar, med minst 2,4× & 1,5× när man använder respektive icke-delad och delad arkitektur.

Det tredje bidraget i denna avhandling tar ett steg längre i att optimera paketbehandlingsramverk genom att automatiskt konfigurera RSS innan man implementerar en kedja av tillståndsberoende nätverksfunktioner på en vanlig server. Vi föreslår FlowMage, ett system som använder stora språkmodeller (LLMs) för att utföra kodanalys och extrahera väsentlig information från tillståndsberoende nätverksfunktioner. FlowMage använder denna data för att hitta en effektiv konfiguration av en nätverksfunktionskedja samtidigt som den bevarar NF-kedjans semantik. FlowMage uppnår en betydande prestandaförbättring (upp till 11×) jämfört med systemets standardkonfiguration.

Place, publisher, year, edition, pages
Stockholm, Sweden: KTH Royal Institute of Technology, 2024. , p. 158
Series
TRITA-EECS-AVL ; 2024:82
Keywords [en]
Stateful Network Functions, Packet Processing Frameworks, Traffic Locality, Cache Utilization
Keywords [sv]
Tillståndsberoende nätverksfunktioner, Paketbehandlingsramverk, Trafiklokalitet, Cacheanvändning
National Category
Communication Systems Computer Systems
Research subject
Information and Communication Technology; Computer Science
Identifiers
URN: urn:nbn:se:kth:diva-355029ISBN: 978-91-8106-083-6 (print)OAI: oai:DiVA.org:kth-355029DiVA, id: diva2:1906752
Public defence
2024-11-18, Sal C (Sven-Olof Öhrvik), Zoom seminar: https://kth-se.zoom.us/j/65526555288, Kistagången 16, plan 2, KTH Kista, Stockholm, 15:00 (English)
Opponent
Supervisors
Projects
ULTRA
Funder
EU, Horizon 2020, 770889Swedish Research Council, 2021-04212Vinnova, 2023-03003
Note

QC 20241018

Available from: 2024-10-18 Created: 2024-10-18 Last updated: 2024-10-21Bibliographically approved

Open Access in DiVA

fulltext(10496 kB)117 downloads
File information
File name FULLTEXT01.pdfFile size 10496 kBChecksum SHA-512
10a491e7d727dd966536f4b11c20f653f4bf99ffaa06353b359202c97d58ef24d9f63a88ff277e2c0bef150929803b9f2043ba53fa695d2bfd6e099835a5b267
Type fulltextMimetype application/pdf

Authority records

Ghasemirahni, Hamid

Search in DiVA

By author/editor
Ghasemirahni, Hamid
By organisation
Software and Computer systems, SCS
Communication SystemsComputer Systems

Search outside of DiVA

GoogleGoogle Scholar
Total: 117 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

isbn
urn-nbn

Altmetric score

isbn
urn-nbn
Total: 671 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf