This licentiate thesis explores the application of deep reinforcement learning (DRL) to flow control in bluff bodies, focusing on reducing drag forces in infinite cylinders. The research spans a range of flow conditions, from laminar to fully turbulent, aiming to advance the state-of-the-art in DRL by exploring novel scenarios not yet covered in the fluid-mechanics literature. Our focus is on the flow around cylinders in two and three dimensions, over a range of Reynolds numbers Re_D based on freestream velocity U and cylinder diameter D. We first consider a single-agent reinforcement learning (SARL) approach using the proximal-policy optimization (PPO) algorithm, coupled with the Alya numerical solver. This approach led to significant drag reductions of 20% and 17.7% for Re_D = 1000 and 2000, respectively, in a two-dimensional (2D) setting. The framework was designed for deployment on high-performance computers, enabling large-scale training with synchronized numerical simulations.

Next, we focused on three-dimensional (3D) cylinders, where spanwise instabilities emerge for Re_D > 250. Drawing inspiration from studies such as Williamson (1996) and findings from Tang et al. (2020), we explored strategies for Re_D = 100 to 400 with a multi-agent reinforcement learning (MARL) framework. This approach focused on local invariants, using multiple jets across the top and bottom surfaces. The MARL framework successfully reduced drag by 21% and 16.5% for Re_D = 300 and 400, respectively, outperforming periodic-control strategies by 10 percentage points and doubling efficiency.

Finally, the framework was tested in a fully turbulent environment at Re_D = 3900, a well-established case in the literature. Despite the significant computational challenges and complex flow structures, the MARL approach delivered significant results, with an 8.3% drag reduction and reducing the mass flow used in the actuation by two orders of magnitude compared with Kim & Choi (2005). Across these studies, the drag-reduction mechanisms learned by the agents involve altering the wake topology to attenuate and move the location of the Reynolds-stresses maximum values upstream, focusing on enlarging the recirculation bubble and reducing pressure drag.

Denna licentiatavhandling utforskar möjligheten att använda förstärkningsin-lärning (DRL) för strömningskontroll kring trubbiga kroppar där speciellt fokus ligger på att minska motståndskrafterna på oändliga cylindrar. En rad strömningsförhållanden undersöks från laminärt till fullt utvecklad turbulent strömning. Målet är att bygga vidare på den senaste utvecklingen inom DRL genom att utforska nya strömningsförhållanden som ännu inte har behandlats inom strömningsmekaniken. Vårt fokus ligger på strömning runt cylindrar i två och tre dimensioner samt över ett spektrum av Reynolds-tal Re_D baserat på fri strömningshastigheten U och cylinderns diameter D. I den första delen av avhandlingen utvecklades en enskild agent-förstärkningsinlärningsmetod med proximal policy optimization kopplad till den numeriska lösaren Alya. Denna metod ledde till betydande minskningar i motståndskrafterna på 20% och 17,7% för Re_D = 1000 och 2000 i en tvådimensionell (2D) miljö. Detta ramverk för kontroll, numerisk simulering och analys utformades för att köras på högpresterande datorer vilket möjliggjorde storskalig träning av nätverket med synkroniserade numeriska simuleringar. Därefter fokuserade vi på tredimensionella (3D) cylindrar, där instabiliteter längs cylinderaxeln uppträder vid Re_D > 250. Inspirerade av studier som Williamson (1996) och resultat från Tang et al. (2020), undersökte vi strategier för Re_D = 100 till 400 med ett multiagent-förstärkningsinlärningsramverk (MARL). Denna metod fokuserade på lokala invariansprinciper och använde flera jetstrålar över cylinderns övre och nedre ytor för kontroll av strömningen. MARL-ramverket minskade motståndet med 21% respektive 16,5% för Re_D = 300 och 400 och överträffade periodiska kontrollstrategier med 10 procentenheter och fördubblade effektiviteten. Slutligen testades ramverket på turbulent strömning vid Re_D = 3900, ett välkänt fall i litteraturen. Trots beräkningsutmaningar och komplexa flödesstrukturer minskade MARL motståndet med 8,3% och massflödet med två storleksordningar jämfört med Kim & Choi (2005). Gemensamt för våra studier är att de motståndsminskande mekanismer som lärts av agenterna involverar att förändra strömningsvakens topologi för att dämpa och flytta Reynolds-stressernas maximala värden uppströms. Detta leder till förstora återcirkulationsbubblan och minska tryckmotståndet.