With the increasing electrification and integration of renewables, power system operators face severe control challenges. These challenges include voltage stability, faster dynamics, and congestion management. Potential solutions encompass more advanced control systems and accurate measurements. One encouraging mitigation strategy is coordinated control of Flexible AC Transmission Systems (FACTS) setpoints to substantially improve voltage and power flow control. However, due to model-based optimization challenges related to e.g. imperfect models and uncertainty, fixed setpoints are often used in practice. Alternative promising control methods are data-driven methods based on, for example, reinforcement learning (RL). Motivated by these challenges, the accumulation of high-quality data, and the advancements in RL, this thesis explores an RL-based coordinated control of FACTS setpoints. With a focus on safety, four problem settings are investigated on the IEEE 14-bus and IEEE 57-bus systems addressing limited pre-training, model errors, few measurements, and datasets for pre-training. First, we propose WMAP, a model-based RL algorithm that learns and uses a compressed dynamics model to optimize voltage and current setpoints. WMAP includes a mechanism to mitigate poor performance in case of out-of-distribution data. Moreover, WMAP is shown to outperform model-free RL and a non-frequently updated expert policy. Second, when power system model errors are present, safe RL is demonstrated to outperform classical model-based optimization in terms of constraint satisfaction. Third, RL is shown to exceed the performance of fixed setpoints using a few measurements provided it has a complete, albeit simple, constraint signal. Finally, RL that leverages datasets for offline pre-training is demonstrated to outperform the original policy that generated the dataset and an RL agent trained from scratch. Overall, these four works contribute to an advancement in the field towards a more adaptable and sustainable power system.    

Med den ökande elektrifieringen och integrationen av förnybar energi står elnätsoperatörer inför stora reglerlutmaningar. Dessa utmaningar inkluderar spänningsstabilitet, snabbare dynamik och hantering av överlaster. Potentiella lösningar innefattar mer avancerade styrsystem och noggranna mätningar. En lovande strategi för att delvis hantera dessa problem är koordinerad styrning av referensvärden för Flexible AC Transmission Systems (FACTS), vilket kan förbättra spännings- och effektflödesregleringen avsevärt. I praktiken används dock ofta konstanta referensvärden, till följd av optimeringssvårigheter kopplade till exempelvis osäkerhet och modellfel. Ett alternativ med stor potential är datadrivna metoder baserade på exempelvis förstärkande inlärning (reinforcement learning, RL). Mot bakgrund av dessa utmaningar, tillgången till högkvalitativ data samt framstegen inom RL, undersöker denna avhandling en RL-baserad koordinerad styrning av referensvärden för FACTS. Med fokus på säkerhet undersöks fyra problemställningar på IEEE:s 14-nods- och 57-nodssystem, med hänsyn till begränsad förträning, modellfel, få mätvärden samt användning av dataset för förträning. För det första föreslår vi WMAP, en modellbaserad RL-algoritm som lär sig och använder en komprimerad dynamikmodell för att optimera spännings- och strömreferenser. WMAP innehåller en mekanism för att mildra sämre prestanda vid data utanför träningsförhållandena. WMAP visas överträffa modellfri RL och en expertpolicy som uppdateras sällan. För det andra, när modellfel förekommer i kraftsystemet, visar vi att säker RL uppnår bättre måluppfyllelse än klassisk modellbaserad optimering. För det tredje visar vi att RL kan prestera bättre än fasta referensvärden med hjälp av ett fåtal mätvärden, förutsatt att den har tillgång till en komplett, om än enkel, constraint-signal. Slutligen visar vi att RL som använder dataset för offline-förträning kan överträffa både den ursprungliga policy som genererat datasetet och en RL-agent tränad från grunden. Sammantaget bidrar dessa fyra arbeten till framsteg inom området mot ett mer anpassningsbart och hållbart elsystem.