Data centers increasingly deploy commodity servers with high-speed network interface cards to enable network services with low latency and high throughput capabilities. However, existing packet processing systems still suffer from high I/O and memory access overheads, especially when deploying stateful network functions, resulting in degraded performance.

This doctoral dissertation describes our attempts to improve the performance of stateful network functions deployed on commodity servers by carefully studying traffic properties in heterogeneous data centers, low-level analysis of existing systems' bottlenecks, and finally proposing solutions to optimize stateful packet processing and alleviating systems' memory and I/O overheads. 

The first contribution of this dissertation studies the impact of temporal and spatial traffic locality on the performance of commodity servers. Accordingly, we propose Reframer as a system that deliberately delays packets and reorders them to increase traffic locality. By deploying Reframer in front of a network function chain the system achieves up to 84% improvement in throughput and reduces the flow completion time of a web server by 11%.

The second contribution of this dissertation focuses on optimizing packet processing frameworks when deploying a chain of stateful network functions with various flow definitions. We identify three commonly practiced principles that are essential to achieve high performance. We propose FAJITA as a cache-friendly stateful packet processing framework that improves the performance of stateful network function service chains compared to existing state-of-the-art solutions, by at least 2.4× & 1.5× when using shared-nothing & shared architectures, respectively.

The third contribution of this dissertation takes one step further in optimizing packet processing frameworks by automatically configuring RSS before deploying a stateful network function chain on a commodity server. We propose FlowMage, a system that leverages Large Language Models (LLMs) to perform code analysis and extract essential information from stateful network functions. FlowMage uses this data to find an efficient configuration of a network function chain while preserving the semantics of the NF chain. FlowMage achieves a significant performance improvement (up to 11×) in comparison to the default configuration of the system.

Datacenter använder i allt högre grad vanliga servrar med högpresterande nätverkskort för att möjliggöra nätverkstjänster med låg latens och hög genomströmningskapacitet. Dock lider befintliga paketbehandlingssystem fortfarande av höga I/O och minnesåtkomstkostnader, särskilt vid implementering av tillståndsberoende nätverksfunktioner, vilket resulterar i försämrad prestanda.

Denna doktorsavhandling beskriver våra försök att förbättra prestandan för tillståndsberoende nätverksfunktioner implementerade på vanliga servrar genom att noggrant studera trafikegenskaper i heterogena datacenter, göra låg-nivå analyser av befintliga systemflaskhalsar och slutligen föreslå lösningar för att optimera tillståndsberoende paketbehandling och minska systemens minnes- och I/O-kostnader.

Den första bidraget i denna avhandling undersöker påverkan av temporal och spatial trafiklokalitet på prestandan hos vanliga servrar. Därmed föreslår vi Reframer som ett system som medvetet fördröjer paket och omordnar dem för att öka trafikens lokalitet. Genom att implementera Reframer framför en nätverksfunktionskedja uppnår systemet upp till 84% förbättring i genomströmning och minskar flödesavslutningstiden för en webbserver med 11%.

Det andra bidraget i denna avhandling fokuserar på att optimera paketbehandlingsramverk vid implementering av en kedja av tillståndsberoende nätverksfunktioner med olika flödesdefinitioner. Vi identifierar tre vanligt förekommande principer som är avgörande för att uppnå hög prestanda. Vi föreslår FAJITA som ett cache-vänligt ramverk för tillståndsberoende paketbehandling som förbättrar prestandan för tjänstekedjor med tillståndsberoende nätverksfunktioner jämfört med befintliga toppmoderna lösningar, med minst 2,4× & 1,5× när man använder respektive icke-delad och delad arkitektur.

Det tredje bidraget i denna avhandling tar ett steg längre i att optimera paketbehandlingsramverk genom att automatiskt konfigurera RSS innan man implementerar en kedja av tillståndsberoende nätverksfunktioner på en vanlig server. Vi föreslår FlowMage, ett system som använder stora språkmodeller (LLMs) för att utföra kodanalys och extrahera väsentlig information från tillståndsberoende nätverksfunktioner. FlowMage använder denna data för att hitta en effektiv konfiguration av en nätverksfunktionskedja samtidigt som den bevarar NF-kedjans semantik. FlowMage uppnår en betydande prestandaförbättring (upp till 11×) jämfört med systemets standardkonfiguration.