Telecommunications is a keystone in society today, it is used everywhere and by everyone for many different tasks. It serves millions of people everyday with the possibility to communicate both in text and speech. For many people it is the main provider of news and social contacts. The backbone of telecommunications as we know it is provided by cellular base stations, they are equipped with antennas and radios to be able to transmit radio signals to end users. The radio in the cellular base station are working around the clock to provide coverage for everyone using them and they need to be stable and reliable. 

The radios are prone to damage if they reach to high temperatures due to failure in the electronics. To prevent heat damage they often rely on passive heat dissipation and software that shut them down or limit them if they reach high temperatures. One such countermeasure is the PID controller that limits the power input to the radio, and thus reducing the heat generation. The need for a PID controller to be accurate and stable is crucial for a well functioning radio, since limiting the power consumption in the radio also decreases the performance for the end users.

In this thesis we investigate if it is possible to tune the PID controller in a radio using an reinforcement learning agent. The reason for tuning the PID controller is that the radios are located in completely different locations with different weather conditions. A hot place with no wind makes it harder for the heat to dissipate than the opposite, thus the PID controllers possibly can have different parameters depending on where they are deployed. For the training of the agent two different algorithms are considered, Proximal Policy Optimization (PPO) and Twin Delayed Deep Deterministic Policy Gradient (TD3).

After training the agents for 4*1e6 steps the evaluation was done. Evaluation showed that it was possible to use an agent to tune the PID controller. The performance of the agents did differ, with the TD3 agent running the radio much warmer than the temperature set as goal for the PID controller. The PPO agent did perform better in managing the heat, by limiting the traffic load. The balance between managing heat and allowing for traffic is hard and further studies are needed to analyse if the reinforcement learning agent is a good solution to tune the PID controller.

Telekommunikation är en viktig del i dagens samhälle, det används av många personer, hela tiden, för en mängd olika uppgifter. Telekommunikation möjliggör dagligen att flera miljoner människor kan kommunicera via telefoni och internet. För många människor är det den huvudsakliga källan till nyheter och sociala kontakter. En av de viktigaste delarna är de basstationer som är utrustade med radios och antenner och skickar ut radiosignaler till slutanvändarna. Radiona i dessa basstationer ska fungera dygnet runt och ge täckning till alla som behöver det, därför behöver de vara stabila och tillförlitliga i sin konstruktion. 

Radion kan gå sönder om den utsätts för värme och speciellt vid extrema temperaturer då elektroniken går sönder. För att förhindra värmeskador så litar man på att passiv värmeavgivning från radion ska vara tillräcklig, men man har också mjukvara som kan förhindra höga temperaturer. En sådan mjukvara är en PID regulator som begränsar energin man tillför i form av ström, och därför minskar den värme som genereras. En sådan PID regulator måste vara stabil och exakt för att radion ska fungera optimalt eftersom en minskning av tillförd energi också minskar prestandan för slutanvändarna.

I den här uppsatsen har vi undersökt om det är möjligt att justera en PID regulator under drift med hjälp av förstärkningsinlärning. Anledningen att man vill justera en PID regulator är att de kan vara placerade i helt olika miljöer med olika väder, tex varma platser utan vind. Det blir då svårare att förlita sig endast på passiv värmeavgivning. Två agenter har tränats med Proximal Policy Optimization (PPO) och Twin Delayed Deep Deterministic Policy Gradient (TD3) och sedan använts för att justera PID regulatorn.

Agenterna tränades 4*1e6 steg och utvärderades sedan. Utvärderingen visade att det är möjligt att använda sig av en agent för att justera PID regulatorn i radion. Resultaten från agenterna var dock olika där TD3 agenten inte kunde begränsa värmeutvecklingen i radion men tillät mycket trafik. PPO agenten begränsade värmen men också trafiken i stor utsträckning. Balansen mellan att begränsa värmeutveklingen och tillåta trafik är svår och ytterligare studier måste genomföras för att dra en slutsats om det är önskvärt att använda sig av en agent tränad med hjälp av förstärkningslärning.