Traditional HPC scientific workloads are tightly coupled, while emerging scientific workflows exhibit even more complex patterns, consisting of multiple characteristically different stages that may be IO-intensive, compute-intensive, or memory-intensive. New high-performance computer systems are evolving to adapt to these new requirements and are motivated by the need for performance and efficiency in resource usage. On the other hand, cloud workloads are loosely coupled, and their systems have matured technologies under different constraints from HPC.

In this thesis, the use of cloud technologies designed for loosely coupled dynamic and elastic workloads is explored, repurposed, and examined in the landscape of HPC in three major parts. The first part deals with the deployment of HPC workloads in cloud-native environments through the use of containers and analyses the feasibility and trade-offs of elastic scaling. The second part relates to the use of workflow management systems in HPC workflows; in particular, a molecular docking workflow executed through Airflow is discussed. Finally, object storage systems, a cost-effective and scalable solution widely used in the cloud, and their usage in HPC applications through MPI I/O are discussed in the third part of this thesis. 

Framväxande vetenskapliga applikationer är mycket datatunga och starkt kopplade. Nya högpresterande datorsystem anpassar sig till dessa nya krav och motiveras av behovet av prestanda och effektivitet i resursanvändningen. Å andra sidan är moln-applikationer löst kopplade och deras system har mogna teknologier som utvecklats under andra begränsningar än HPC.

I den här avhandlingen diskuteras användningen av moln-teknologier som har mognat under löst kopplade applikationer i HPC-landskapet i tre huvuddelar. Den första delen handlar om implementeringen av HPC-applikationer i molnmiljöer genom användning av containrar och analyserar genomförbarheten och avvägningarna av elastisk skalning. Den andra delen handlar om användningen av arbetsflödeshanteringsystem i HPC-arbetsflöden; särskilt diskuteras ett molekylär dockningsarbetsflöde som utförs genom Airflow. Objektlagringssystem och deras användning inom HPC, tillsammans med ett gränssnitt mellan S3-standard och MPI I/O, diskuteras i den tredje delen av denna avhandling

Maximizing resource efficiency is crucial when designing cloud-based systems,which are primarily built to meet specific quality-of-service requirements.Common optimization techniques include containerization, workflow orchestration,elasticity, and vertical scaling, all aimed at improving resource utilizationand reducing costs. In contrast, on-premises high-performance computingsystems prioritize maximum performance, typically relying on static resourceallocation. While this approach offers certain advantages over cloud systems,it can be restrictive in handling the increasingly dynamic resource demands oftightly coupled HPC workloads, making adaptive resource management challenging.

This thesis explores the execution of high-performance workloads in cloudbasedenvironments, investigating both horizontal and vertical scaling strategiesas well as the feasibility of running HPC workflows in the cloud. Additionally,we will evaluate the costs of deploying these workloads in containerizedenvironments and examine the advantages of using object storagein cloud-based HPC systems.

Att maximera resurseffektiviteten ar avgörande vid utformningen av molnbaserade system, som framst byggs för att uppfylla specifika krav på tjänstekvalitet. Vanliga optimeringstekniker inkluderar containerisering, arbetsflödesorkestrering, elasticitet och vertikal skalning, med målet att förbättra resursutnyttjandet och minska kostnaderna. I kontrast fokuserar lokala högprestandaberäkningssystem (HPC) på maximal prestanda och förlitar sig oftast på statisk resursallokering. Även om denna strategi har vissa fördelar jämfört med molnlösningar, kan den vara begränsande när det gäller att hantera de allt mer dynamiska resursbehoven hos tätt sammankopplade HPC-arbetslaster, vilket gör adaptiv resursförvaltning utmanande. Denna avhandling undersöker körningen av högprestandaarbetslaster i molnbaserade miljöer, med fokus på både horisontell och vertikal skalning samt möjligheten att köra HPC-arbetsflöden i molnet. Dessutom kommer vi att analysera kostnaderna for att distribuera dessa arbetslaster i containeriserade miljöer och utvärdera fördelarna med att använda objektlagring i molnbaserade HPC-system.