This Master thesis studies automated intrusion prevention using self-play reinforcement learning. We extend a decision-theoretic model of the intrusion prevention use case based on optimal stopping theory proposed in previous work to a game-theoretic setting. We model the use case of a zero-sum onesided partially observed stochastic game where the defender's stop actions determine the times to take defensive actions and the attacker's stop actions determine when to attack. To find optimal defender strategies, we use multi-agent reinforcement learning. In a novel approach, we extend the Neural Fictitious Self-Play algorithm to partially observed stochastic games. With this approach, we narrow the gap between the theoretical framework of partially observed stochastic games and the framework of model-free reinforcement learning. We show that the learned strategies converge near a Nash equilibrium. Inspection of the converged strategies shows that they imitate human strategies but are heavily dependent on hyperparameters and the reward function.

Detta examensarbete handlar om att automatisera intrångsförebyggande strategier genom att använda självspelsförstärkningsinlärning. Vi bygger vidare på en beslutteoretisk modell av det intrångsförebyggande användningsfallet baserad på optimal stoppteori föreslagit i tidigare arbeten, till en spelteoretisk situation. Närmare bestämt så väljer vi att modellera användningsfallet som ett stokastiskt nollsummespel med ensidig partiell observabilitet, där försvararens stoppaktioner motsvarar tidpunkterna för att ta försvarande aktioner och anfallarens stoppaktioner motsvarar tiden för att starta anfallet. För att hitta optimala försvarsstrategier så använder vi oss av multi-agent förstärkningsinlärning. Med ett nytt tillvägagångssätt använder vi algoritmen Neural Fictitious Self Play för partiellt observerbara spel. Med detta tillvägagångssätt så minskar vi gapet mellan det teoretiska ramverket för partiellt observerbara stokastiska spel och modellfri förstärkningsinlärning. Vi visar att de inlärda strategierna konvergerar mot en Nashjämvikt. Närmre inspektion av de konvergerade strategierna visar att dem imiterar mänskligt beteende, men är mycket beroende av hyperparametrar och belöningsfunktionen.