AI-Powered Release Notes: Turning System Updates into Learning Moments
2025 (English)Independent thesis Advanced level (professional degree), 20 credits / 30 HE credits
Student thesisAlternative title
AI-drivna leveransmeddelanden : Att förvandla systemuppdateringar till lärotillfällen (Swedish)
Abstract [en]
Release notes (RN) are documents distributed alongside software updates, summarizing new features, bug fixes, and other changes important for users to understand how their software has evolved. This thesis investigates the potential of artificial intelligence (AI) to give users a better experience with RN, with the help of personalized learning (PL) methodologies. RN are critical for users to understand updates, but previous studies show that traditional delivery messages are difficult to understand, too detailed or contain irrelevant information. In collaboration with Scania, a prototype AI-chat solution was developed to address these issues, providing customized, interactive, and user-specific information on software updates. User testing of the prototype was conducted and analyzed using thematic analysis, to answer the research questions. The results showed that conversational AI enhanced user engagement and created a greater learning opportunity. Key findings highlight the preference of concise, context-specific information and flexible delivery formats. Users especially appreciated the ability to get a brief and contextual overview first and then be able to ask follow-up questions. Although the AI solution was perceived positively, concerns were raised about trustworthiness in cases where incorrect information was identified. Another finding was that an AI solution might require more time to use than current systems, but it provides greater value to the users for the invested time. This research demonstrates that integrating AI with PL principles substantially enhances the perceived effectiveness of the RN. This suggests broader applicability of the research results across similar contexts.
Abstract [sv]
Leveransmeddelanden (release notes) är korta dokument som medföljer mjukvaruuppdateringar och beskriver vilka ändringar som gjorts och hur dessa kan påverka användaren. Effektiva leveransmeddelanden hjälper användare att snabbt förstå nya funktioner och nödvändiga anpassningar i deras arbetsprocesser. Denna rapport undersöker möjligheten att använda artificiell intelligens (AI) för att förbättra kommunikationen och användbarheten av leveransmeddelanden genom metoder för personligt lärande. Tidigare studier visar att traditionella leveransmeddelanden är svåra att förstå, för detaljerade eller innehåller irrelevant information. Projektet genomfördes i samarbete med Scania och involverade utvecklingen av en prototyp för en interaktiv AI-chattlösning. Lösningen var designad att ge användarna möjlighet att få personligt anpassad information om systemuppdateringar. Användartester visade att den personliga och samtalsbaserade AI-lösningen förbättrade användarnas engagemang och förståelse betydligt. Framför allt uppskattades möjligheten att först få en kort översikt och sedan kunna ställa följdfrågor för ytterligare detaljer. Samtidigt uttryckte användarna viss oro kring lösningens pålitlighet, särskilt vid risk för felaktig information. En annan upptäckt var att även om AI-lösningen kan ta något längre tid att använda, upplevdes den ändå ge ett större värde för den investerade tiden. Studien visar att genom att integrera AI och metoder för personligt lärande kan den upplevda effektiviteten i leveransmeddelanden öka avsevärt. Resultaten antyder också att liknande AI-lösningar skulle kunna vara användbara i många andra sammanhang där tydlig och individanpassad information är viktig.
Place, publisher, year, edition, pages
2025. , p. 31
Series
TRITA-ITM-EX ; 2025:139
Keywords [en]
artificial intelligence (AI), conversational AI, personalized learning, thematic analysis, release notes
Keywords [sv]
artificiell intelligens (AI), konversationell AI, personligt lärande, tematisk analys, release notes
National Category
Engineering and Technology Educational Sciences
Identifiers
URN: urn:nbn:se:kth:diva-364183OAI: oai:DiVA.org:kth-364183DiVA, id: diva2:1964472
External cooperation
Scania
Subject / course
Technology and Learning
Educational program
Master of Science in Engineering - Engineering and of Education
Presentation
2025-05-27, 00:00
Supervisors
Examiners
2025-06-052025-06-052025-06-18Bibliographically approved