The stability of the Nordic electricity grids are maintained by balancing electricity generation and consumption through the use of frequency containment reserve markets. As the power grids employ more renewable and distributed energy resources, reserve power requirements increase due to more unpredictable production. Industrial battery energy storage systems can both generate and consume energy for the grid. Managing multiple devices creates a challenging optimization and control problem, where the participation of energy storage facilities in the market is maximized without compromising the capacity of the storage facilities to provide the promised reserve service. Aggregation has proven to be a key factor in similar cases where the problems are complex and multi-dimensional. By aggregating the components of the problem into larger entities, such as treating multiple batteries as a single virtual battery, the solution to the problem may be easier to achieve. In this thesis, we evaluate whether the application of aggregation to the management of multiple limited capacity batteries affects the results of a decision making model. We organize multiple batteries as individual virtual batteries, participating in the Finnish frequency containment reserve market for normal operation. For the study, an experimental evaluation using simulation is carried out. We identify a reinforcement learning model based on the Proximal Policy Optimization algorithm as the most promising decision making method for reserve market participation, and apply an existing simulation framework to collect results. Our results show that in our test cases with one, ten, and one hundred batteries, combining multiple batteries does not show statistically significant differences in model performance between test cases. In contrast, the performance of the test cases differs significantly from the baseline strategy. These findings suggest that in an ideal simulation environment without communication interference, it may be possible to aggregate these types of resources without affecting model performance.

Stabiliteten i de nordiska elnäten upprätthålls genom att balansera elproduktion och elförbrukning med hjälp av frekvenshållande reservmarknader. I takt med att elnäten använder mer förnybara och distribuerade energiresurser ökar kraven på reservkraft på grund av mer oförutsägbar produktion. Industriella batterilagringssystem kan både generera och förbruka energi för elnätet. Att hantera flera enheter skapar ett utmanande optimerings- och kontrollproblem, där energilagringsanläggningarnas deltagande på marknaden maximeras utan att lagringsanläggningarnas kapacitet att tillhandahålla den utlovade reservtjänsten äventyras. Aggregering har visat sig vara en nyckelfaktor i liknande fall där problemen är komplexa och flerdimensionella. Genom att aggregera problemkomponenterna till större enheter, t.ex. genom att behandla flera batterier som ett enda virtuellt batteri, kan det bli lättare att hitta en lösning på problemet. I den här avhandlingen utvärderar vi om tillämpningen av aggregering på hanteringen av flera batterier med begränsad kapacitet påverkar resultaten av beslutsmodellen. Vi organiserar flera batterier som individuella virtuella batterier som deltar i den finska marknaden för frekvenshållningsreserv för normal drift. För studien genomförs en experimentell utvärdering med hjälp av simulering. Vi identifierar en modell för förstärkt inlärning baserad på algoritmen Proximal Policy Optimization som den mest lovande beslutsmetoden för deltagande i reservmarknaden och tillämpar ett befintligt simuleringsramverk för att samla in resultat. Våra resultat visar att i våra testfall med ett, tio och hundra batterier visar kombinationen av flera batterier inga statistiskt signifikanta skillnader i modellens prestanda mellan testfallen. Däremot skiljer sig testfallens prestanda avsevärt från baslinjestrategin. Dessa resultat tyder på att det i en idealisk simuleringsmiljö utan kommunikationsstörningar kan vara möjligt att aggregera dessa typer av resurser utan att det påverkar modellens prestanda.

Pohjoismaiden sähköverkkojen vakautta ylläpidetään tasapainottamalla sähköntuotantoa ja -kulutusta taajuusreservimarkkinoiden avulla. Kun sähköverkoissa käytetään yhä enemmän uusiutuvia ja hajautettuja energialähteitä, varavoimatarpeet kasvavat tuotannon ennakoimattomuuden vuoksi. Teollisuuden akkuenergian varastointijärjestelmät pystyvät sekä varastoimaan että purkamaan energiaa verkon tasapainottamiseksi. Useamman laitteen käsittely luo haastavan optimointi- ja ohjausongelman, jossa energiavarastojen osallistuminen markkinoille pyritään maksimoimaan ilman varastojen kapasiteetin vaarantumista, jolloin ne eivät pystyisi tarjoamaan luvattua reservipalvelua. Aggregointi on osoittautunut keskeiseksi tekijäksi vastaavissa tapauksissa, joissa monimutkaisille ja moniulotteisille ongelmille on haastavaa löytää ratkaisuja. Aggregoimalla ongelman osatekijöitä suuremmiksi kokonaisuuksiksi, kuten käsittelemällä useaa akkua yhtenä virtuaalisena akkuna, ongelman ratkaisu saattaa olla helpompi saavuttaa. Tässä työssä arvioidaan, vaikuttaako aggregointi useiden rajoitetun kapasiteetin akkujen päätöksentekomallin tuloksiin Suomen taajuusreservimarkkinalla normaalikäyttöön. Käsittelemme useita akkuja yksittäisinä virtuaalisina akkuina osallistuttaessa taajuusreservimarkkinalle sähköverkon tasapainottamiseksi. Tutkimusta varten suoritetaan kokeellinen arviointi simuloinnin avulla. Tunnistamme Proximal Policy Optimization -algoritmiin perustuvan vahvistusoppimismallin lupaavimmaksi päätöksentekomenetelmäksi tarjousongelmaan, ja sovellamme olemassa olevaa simulointikehystä tulosten keräämiseen. Tuloksemme osoittavat, että testitapauksissamme yhdellä, kymmenenellä ja sadalla akulla, useiden akkujen yhdistäminen ei osoita tilastollisesti merkittäviä eroja mallin suorituskyvyssä testitapausten välillä. Toisaalta testitapausten suorituskyvyt eroavat merkittävästi perusstrategiasta. Nämä havainnot viittaavat siihen, että ihanteellisessa simulaatioympäristössä tämäntyyppisten resurssien yhdistäminen voi olla mahdollista ilman, että se vaikuttaa mallin suorituskykyyn.