In this project multi-agent reinforcement learning (RL) for a warehouse environmentwith robots delivering packages has been studied. This was done by first implementing the RLalgorithm Q-learning and investigating how the parameters of Q-learning affect the performanceof the algorithm. Q-learning was successfully implemented both with centralized anddecentralized learning. The performance of these implementations were compared and theresults show a faster convergence for the decentralized version. Due to the large memoryrequirements for the implementation of Q-learning only relatively small environments werepossible to simulate.Due to these limitations of Q-learning, a Deep-Q Network (DQN) was implemented to try toachieve scalability. Unfortunately initial problems with the convergence of the network and laterlong run-times lead to a shortage of time for studying DQN and the scalability of DQN was notinvestigated that thoroughly. For DQN convergence was achieved and confirmed for a 3x3 gridwith one agent and one package. Although the results are not fully sufficient, with more tuning ofthe hyperparameters of the network and a more effective implementation of the environment,DQN seems to be a promising extension of Q-learning for the environment presented in theproject.

I detta projekt har multi-agent förstärkningsinlärning (RL) för ett lager medrobotar som levererar paket studerats. Först genom att implementera RL-algoritmen Q-learningoch genomföra en undersökning av hur parametrarna i Q-learning påverkar prestandan avalgoritmen. Q-learning implementerades framgångsrikt både med centraliserat ochdecentraliserat lärande. Resultatet för dessa olika implementationer jämfördes och resultatenvisar en snabbare konvergens för den decentraliserade versionen. På grund av det stora kravetpå minne för implementering av Q-learning var det endast möjligt att simulera relativt småversioner av modellen.På grund av dessa begränsningar med Q-learning implementerades ett Deep-Q Nätverk för attmöjliggöra simuleringar av större miljöer. Tyvärr ledde initiala problem med nätverketskonvergens och senare långa körtider till brist på tid för att noggrannt studera DQN. För DQNuppnåddes och bekräftades konvergens för miljöer upp till en storlek på 3x3 med en agent ochett paket. Trots att resultaten inte är helt tillfredsställande, med justering av nätverketshyperparametrar och en mer effektiv implementering av miljön, verkar DQN kunna vara enlovande förlängning av Q-learning för den miljö som presenteras i projektet.