Cloud-based services are integral to modern life. Cloud systems aim to provide customers with uninterrupted services of high quality while enabling cost-effective fulfillment by providers. The key to meet quality requirements and end-to-end performance objectives is to devise effective strategies to allocate resources to the services. This in turn requires automation of resource allocation. Recently, researchers have studied learning-based approaches, especially reinforcement learning (RL) for automated resource allocation. These approaches are particularly promising to perform resource allocation in cloud systems as they allow to deal with the architectural complexity of a cloud environment. Previous research shows that reinforcement learning is effective for specific types of controls, such as horizontal or vertical scaling of compute resources. Major obstacles for operational deployment remain however. Chief among them is the fact that reinforcement learning methods require long times for training and retraining after system changes. 

With this thesis, we aim to overcome these obstacles and demonstrate dynamic resource allocation using reinforcement learning on a testbed. On the conceptual level, we address two interconnected problems: predicting end-to-end service performance and automated resource allocation for cloud services. First, we study methods to predict the conditional density of service metrics and demonstrate the effectiveness of employing dimensionality reduction methods to reduce monitoring, communication, and model-training overhead. For automated resource allocation, we develop a framework for RL-based control. Our approach involves learning a system model from measurements, using a simulator to learn resource allocation policies, and adapting these policies online using a rollout mechanism. Experimental results from our testbed show that using our framework, we can effectively achieve end-to-end performance objectives by dynamically allocating resources to the services using different types of control actions simultaneously.

Molnbaserade tjänster är integrerade i det moderna livet. Molnsystem kan erbjuda oavbrutna tjänster av hög kvalitet samtidigt som de möjliggör kostnadseffektiv implementation och operation. Nyckeln för att uppfylla kvalitetskrav och prestandamål för molntjänster är att utveckla effektiva strategier för att tilldela resurser till tjänsterna. Detta kräver i sin tur automatisering, vilket är särskilt viktigt i delade infrastrukturer som rymmer olika tjänster. Aktuell forskning inom området studerar metoder baserade på förstärkningsinlärning (RL) för automatisk resursallokering. Dessa metoder är speciellt väl anpassade för molnmiljöer eftersom att de kan hantera den arkitektoniska komplexitet som är typisk för molnmiljöer. Resultat från tidigare forskning visar att RL är en effektiv metod för specifika typer av kontrollaktioner, såsom horisontell eller vertikal skalning av beräkningsresurser. Viktiga utmaningar för att implementera RL i operativa system kvarstår dock. Bland dessa är det faktum att RL kräver långa optimeringstider samt att optimeringen måste göras om vid varje systemförändring.

Med denna avhandling syftar vi till att övervinna dessa hinder och demonstrera dynamisk resurstilldelning med RL på en testbädd. På konceptuell nivå behandlar vi två sammanlänkade problem: att förutsäga prestandametriker samt automatiserad resurstilldelning för molntjänster. Först studerar vi metoder för att förutsäga den villkorliga sannolikheten av prestandametriker och demonstrerar effektiviteten av att använda dimensionsreduktion för att minska kostnaden av modellträning. Sedan utvecklar vi ett ramverk för automatiserad resurstilldelning baserat på RL. Vårt ramverk inkluderar att lära sig en systemmodell från mätningar, att använda en simulator för att lära sig resurstilldelningspolicyer samt att anpassa dessa policyer online med hjälp av en rollout-mekanism. Experimentella resultat från vår testbädd visar att genom att använda vårt ramverk kan vi effektivt uppnå prestandamål genom att automatiskt utföra kontrollaktioner för att dynamiskt tilldela resurser til tjänsterna.