Heterogeneity in cloud environments is a fact of life—from workload skews and network path changes, to the diversity of server hardware components, these are all factors that impact the performance of distributed storage. In this dissertation, we identify that heterogeneity can in fact be one of the primary causes of service degradation for storage systems. We then tackle this challenge by building next-generation distributed storage systems that can operate amidst heterogeneity while providing fast and predictable response times. First, we study skews in cloud workloads and propose scheduling strategies for key-value stores that seek to optimize latency. We then conduct a measurements study in one of the largest cloud provider networks to quantify variations in network latencies, and possible implications for storage services. Next, with fast non-volatile RAM (NVRAM) now becoming commercially available, we look into how storage systems can deal with the increasing diversity of storage technologies. We design and evaluate a distributed file system that can manage data across NVRAM and other types of storage, while providing low latency and high scalability. Lastly, we build a framework that transforms commodity Remote Direct Memory Access (RDMA) NICs into Turing machines—capable of performing arbitrary computations. This provides yet another compute resource on server machines, and we show how we can leverage it to accelerate common storage tasks as well as real storage applications.

Heterogenitet i molnmiljöer är ett livsfaktum—allt från skevheter i arbetsbelastningen och nätverksvägsförändringar till diversitet av serverhårdvarukomponenter, dessa är faktorer som påverkar prestanda för distribuerad lagring. I denna avhandling identifierar vi att heterogenitet faktiskt kan vara en av de främsta orsakerna till tjänste-degradering för lagringssystem. Vi tacklar sedan denna utmaning genom att bygga nästa generations distribuerade lagringssystem som kan fungera mitt i heterogenitet medan de ger snabba och förutsägbara svarstider. Först studerar vi skevheter i molnarbetsbelastningar och föreslår schemaläggningsstrategier för nyckelvärdelagring som försöker optimera latens. Vi utför sedan en mätstudie i ett av de största molnleverantörsnätverken för att kvantifiera variationer i nätverkslatenser och möjliga implikationer för lagringstjänster. Därefter, i och med att snabbt non-volatile RAM (NVRAM) nu blir kommersiellt tillgängligt, undersöker vi hur lagringssystem kan hantera den ökande diversiteten av lagringsteknik. Vi designar och utvärderar ett distribuerat filsystem som kan hantera data tvärs över NVRAM och andra typer av lagring, medan det ger låg latens och hög skalbarhet. Slutligen bygger vi ett ramverk som transformerar lättillgänglig Remote Direct Memory Access (RDMA) NICs till Turingmaskiner—som kan utföra godtyckliga beräkningar. Detta ger ännu en beräkningsresurs på servrar, och vi visar hur vi kan utnyttja den för att accelerera gemensamma lagringsuppgifter såväl som verkliga lagringsapplikationer.