In games, and more generally in the field of software development, early detection of bugs is vital to maintain a high quality of the final product. Automated tests are a powerful tool that can catch problems earlier in development by executing periodically. As an example, when new code is submitted to the code base, a new automated test verifies these changes. However, identifying the specific change responsible for a test failure becomes harder when dealing with batches of changes – especially in the case of a large-scale project such as a AAA game, where thousands of people contribute to a single code base. This paper proposes a new approach to automatically identify which change in the code caused a test to fail. The method leverages Large Language Models (LLMs) to associate error messages with the corresponding code changes causing the failure. We investigate the effectiveness of our approach with quantitative and qualitative evaluations. Our approach reaches an accuracy of 71% in our newly created dataset, which comprises issues reported by internal developers over a period of one year. We further evaluated our model through a user study to assess the utility and usability of the tool from a developer perspective, resulting in a significant reduction in time – up to 60% – spent investigating issues.

I spel, och mer allmänt inom området mjukvaruutveckling, är en tidig upptäckt av buggar avgörande för att upprätthålla en hög kvalitet på slutprodukten. Automatiserade tester kan vara ett kraftfullt verktyg som kan fånga upp problem tidigt i utvecklingen om man utför dom regelbundet. Som ett exempel på detta, så när ny kod skickas till kodbasen, verifierar ett automatiskt test dessa ändringar. Det blir dock svårare att identifiera den specifika förändringen som är ansvarig för ett testfel när man hanterar batcher av förändringar. Särskilt när man jobbar med ett storskaligt projekt som ett AAA-spel, där tusentals människor bidrar till en enda kodbas. Den här uppsatsen föreslår ett nytt tillvägagångssätt för att automatiskt identifiera vilken ändring i koden som gjorde att ett test misslyckades. Metoden utnyttjar stora språkmodeller (LLM) för att associera felmeddelanden med relaterade kodändringar som orsakar felet. Vi undersöker effektiviteten av vårt tillvägagångssätt med kvantitativa och kvalitativa utvärderingar. Vårt tillvägagångssätt når en noggrannhet på 71% i vår nyskapade datauppsättning, som omfattar problem som rapporterats av interna utvecklare under en period av ett år. Vi utvärderade ytterligare vår modell genom en användarstudie för att bedöma verktygets användbarhet och användbarhet ur ett utvecklarperspektiv, vilket resulterade i en betydande minskning av tiden - upp till 60% - som spenderades på att undersöka problem.