By virtue of the recent technological developments in cloud computing, more applications are deployed in the cloud. Among these modern cloud-based applications, many societal applications require bounded and predictable low-latency responses. However, the current cloud infrastructure is unsuitable for these applications since it cannot satisfy these requirements due to many limitations in both hardware and software.

This doctoral dissertation describes our attempts to reduce the latency of Internet services by carefully studying the multi-hundred-gigabit-per-second commodity hardware, optimizing it, and improving its performance. The main focus is to improve the performance of packet processing done by the network functions deployed on commodity hardware, known as network functions virtualization (NFV), which is one of the significant sources of latency for Internet services.

The first contribution of this dissertation takes a step toward optimizing the cache performance of time-critical NFV service chains. By doing so, we reduce the tail latencies of such systems running at 100 Gbps. This is an important achievement as it increases the probability of realizing bounded and predictable latency for Internet services.

The second contribution of this dissertation performs whole-stack optimizations on software-based network functions deployed on top of modular packet processing frameworks to further enhance the effectiveness of cache memories. We build a system to efficiently handle metadata and produce a customized binary of NFVservice chains. Our system improves both throughput & latency of per-core hundred-gigabit-per-second packet processing on commodity hardware.

The third contribution of this dissertation studies the efficiency of I/O security solutions provided by commodity hardware at multi-hundred-gigabit-per-second rates. We characterize the performance of IOMMU & IOTLB (i.e., I/O virtual address translation cache) at 200 Gbps and explore the possible opportunities to mitigate its performance overheads in the Linux kernel.

Tack vare den senaste tekniska utvecklingen inom molntjänster används allt fler tillämpningar i molnet. Bland dessa moderna molnbaserade tillämpningar kräver många samhällsorienterade tillämpningar svarstider med låg latens, som är förutsägbara och ligger inom givna gränser. Den nuvarande molninfrastrukturen är dock otillräcklig för sådana tillämpningar eftersom den inte kan uppfylla dessa krav på grund av olika begränsningar i både hårdvara och mjukvara.

I denna doktorsavhandling beskrivs våra försök att minska latenstiden för Internettjänster genom att noggrant studera tillänglig hårdvara med stöd för flera hundra gigabit per sekund, optimera denna och förbättra dess prestanda. Huvudfokus ligger på att förbättra prestandan för den paketbearbetning som utförs av nätverksfunktioner som installeras på allmänt tillgänglig hårdvara, så kallad nätverksfunktionsvirtualisering (NFV), som är en av de betydande källorna till latens för Internettjänster. 

Det första bidraget i den här avhandlingen tar ett steg mot att optimera cache-prestanda för tidskritiska kedjor av NFV-tjänster. Genom att göra detta minskar vi de långa latenstiderna för sådana system som körs vid 100 Gbps. Detta är ett viktigt resultat eftersom det ökar sannolikheten för att uppnå en begränsad och förutsägbar fördröjning hos internettjänster. 

Det andra bidraget i den här avhandlingen är optimeringar av hela stacken av mjukvarubaserade nätverksfunktioner som används ovanpå modulära ramverk för paketbearbetning för att ytterligare förbättra effektiviteten hos cacheminnen. Vi bygger ett system för att effektivt hantera metadata och producera anpassade binärversioner av NFV-tjänstekedjor. Vårt system förbättrar både genomströmning och latens för tillgänglig hårdvara där varje CPU-kärna har kapacitet för paketbearbetning i storleksordningen 100 Gbps. .

I det tredje bidraget i denna avhandling studeras effektiviteten hos I/O-säkerhetslösningar som tillhandahålls av allmänt tillgänglig hårdvara i hastigheter på flera hundra gigabit per sekund. Vi karakteriserar prestandan hos IOMMU and IOTLB (dvs. “I/O memory management unit” och “I/O virtual address translation cache”) vid 200 Gbps och undersöker möjligheterna att minska dess prestanda-overhead i kärnan av operativsystemet Linux.