As multi-agent reinforcement learning (MARL) is increasingly applied in real world applications, ensuring the robustness against adversarial threats becomes essential. This thesis investigates the vulnerability of cooperative MARL systems to adversarial attacks. This was achieved by implementing two types of attacks, random agent behavior and observation disruptions, on agents trained with the QMIX algorithm, within the PettingZoo Pursuit environment. The study evaluates the impact of these attacks on agent performance and coordination. Additionally, it explores the potential of adversarial training as a possible defense to the attacks. The results indicate that both attacks significantly degrade performance when applied at a system trained under standard conditions. However, agents exposed to attacks during training demonstrated improved performance during evaluation with attacks, while they performed worse under standard conditions. This suggests that adversarial training improves performance under attacks, but that there is a trade-off between performance and robustness.
I takt med att multi-agent reinforcement learning (MARL) i allt större utsträckning tillämpas i verkliga applikationer blir det avgörande att säkerställa deras robusthet mot adversiella hot. Denna uppsats undersöker sårbarheten hos samarbetsbaserade MARL-system för adversiella attacker. Detta görs genom implementering av två typer av attacker, slumpmässigt agentbeteende och observationsstörningar, hos agenter tränade med QMIX algoritm i PettingZoos miljö Pursuit. Studien utvärderar hur dessa attacker påverkar agenternas prestanda och koordination. Vidare undersöks potentialen för adversiell träning som ett möjligt försvar mot attackerna. Resultaten visar att båda attacktyperna avsevärt försämrar prestandan när de appliceras på ett system tränat under standardförhållanden. Samtidigt uppnår agenter som utsätts för attacker under träning förbättrade resultat då attacker är implementerade under utvärderingsfasen, medan de presterar sämre då inga attacker är införda. Detta tyder på att adversiell träning förbättrar prestandan under attacker, men att det existerar en trade-off mellan prestanda och robusthet.