This thesis explores the integration of large language models (LLMs), particularly through retrieval-augmented generation (RAG), to enhance non- player character (NPC) interactions in gaming environments. The research focuses on dynamically updating game state contexts using the narrative of a movie script as a simulated game environment. The study evaluates the performance of these NPCs across four fundamental tasks: noise robustness, negative rejection, information integration, and counterfactual robustness, using both the Retrieval-Augmented Benchmark (RGB) and a comprehensive pipeline benchmark. The results indicate that while newer models like GPT-4 demonstrate higher level performance in noise robustness and information integration, models like Mixtral show potential in specific configurations, particularly in negative rejection. The study also reveals that the link between high counterfactual robustness and NPC language performance is noteworthy, suggesting a need for further research in this area. Additionally, the findings highlight the importance of model selection and task suitability, emphasizing that a combination of small and large LLMs may be necessary for optimal NPC performance. Further, the thesis provides insights into the practical challenges and trade-offs involved in implementing LLM-powered NPCs, such as inference time, response accuracy, and the balance between realism and computational efficiency. Future work should include user studies in real game environments and explore other types of data such as structured data in the benchmarks. This research contributes to the academic understanding of LLMs in gaming and NPC dialogues and offers practical guidelines for developers aiming to create more believable and dynamic NPC experiences.

Detta examensarbete utforskar integrationen av stora språkmodeller (LLM), särskilt genom retrieval-augmented generation (RAG), för att förbättra interaktioner med icke-spelarkaraktärer (NPC) i spelmiljöer. Forskningen fokuserar på dynamisk uppdatering av speltillståndskontexter med hjälp av berättelsen i ett filmmanus som en simulerad spelmiljö. Studien utvärderar prestandan hos dessa NPC:er i fyra grundläggande uppgifter: brusrobusthet, negativt avvisande, informationsintegration och kontrafaktisk robusthet, med hjälp av både Retrieval-Augmented Benchmark (RGB) och ett omfattande pipeline-benchmark. Resultaten visar att medan nyare modeller som GPT-4 uppvisar högre prestanda inom brusrobusthet och informationsintegration, visar modeller som Mixtral potential i specifika konfigurationer, särskilt inom negativt avvisande, som är en av de fyra grundläggande uppgifter och handlar om modellens förmåga att identifiera och avvisa irrelevant eller brusig information.. Studien visar också att kopplingen mellan hög kontrafaktisk robusthet och NPC- språkprestanda är anmärkningsvärd, vilket tyder på att det finns ett behov av ytterligare forskning inom detta område. Dessutom belyser resultaten vikten av modellval och uppgiftsanpassning, och understryker att en kombination av små och stora LLM:er kan vara nödvändig för optimal NPC-prestanda. Vidare ger detta examensarbete insikter i de praktiska utmaningar och avvägningar som är involverade i implementeringen av LLM-drivna NPC:er, såsom inferenstid, svarsnoggrannhet och balansen mellan realism och beräkningseffektivitet. Framtida arbete bör inkludera användarstudier i verkliga spelmiljöer och utforska andra typer av data, till exempel strukturerad data i benchmarks. Denna forskning bidrar till den akademiska förståelsen av LLM i spel och NPC-dialoger och erbjuder praktiska riktlinjer för utvecklare som strävar efter att skapa mer trovärdiga och dynamiska NPC-upplevelser.