Enhancing Software Development with AI: A Case Study on Generative AI's Impact on Full-Stack Development
2025 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Förbättring av Mjukvaruutveckling med AI : En Fallstudie om Generative AI’s Påverkan på Fullstackutveckling (Swedish)
Abstract [en]
This study evaluates generative AI’s effectiveness in generating full-stack application code based on detailed requirements. The research question is: “How effectively can generative AI, specifically ChatGPT-4, generate full-stack application code that aligns with detailed requirements specifications?” Despite AI's potential, research in this area is limited. This study explores its strengths and limitations, contributing to both academia and industry. The methodology consists of two main phases. In the first, a case study was conducted to test different prompting techniques in order to identify the most effective one. Four participants with experience in full-stack development and generative AI evaluated the techniques by creating a simple application and assessing them based on ease of use, accuracy, functionality, and code quality. The goal was to select the most effective technique for use in the second phase. The techniques tested included Zero-shot learning, One-shot learning, Few-shot learning, Prompt Chaining, and Multimodal Prompting. Of these, Prompt Chaining proved to be the most effective, increasing detail and accuracy through a two-step process. The second phase, which is the main phase of the study, involved the creation of five different applications in full-stack development. These applications were designed to test AI's ability to generate functional and correct code in more complex development scenarios. They were evaluated based on the criterias: accuracy, responsiveness, functionality and code quality. The results show that AI has the potential to generate code that meets many of the stated requirements, but that there are still limitations. AI showed strong performance in generating fullstack code, accurately capturing requirements and functional elements. However, challenges arose with complex layouts, responsive design, and connecting front-end to back-end. While code quality was generally qualitative, issues with maintainability and CSS practices were noted. This study highlights AI's potential to accelerate development but underscores the need for precise input and additional refinement.
Abstract [sv]
Denna studie utvärderar generativ AI:s effektivitet i att generera fullstack-applikationskod baserat på detaljerade kravspecifikationer. Forskningsfrågan lyder: "Hur effektivt kan generativ AI, specifikt ChatGPT-4, generera fullstack-applikationskod som överensstämmer med detaljerade kravspecifikationer?" Trots AI:s potential är forskningen inom detta område begränsad. Denna studie undersöker AI:s styrkor och begränsningar och bidrar till både akademi och industri. Metodologin består av två huvudfaser. I den första fasen genomfördes en fallstudie för att testa olika promttekniker i syfte att identifiera den mest effektiva metoden. Fyra deltagare med erfarenhet av fullstack-utveckling och generativ AI utvärderade teknikerna genom att skapa en enkel applikation och bedöma dem utifrån användarvänlighet, noggrannhet, funktionalitet och kodkvalitet. Målet var att välja den mest effektiva tekniken för den andra fasen. De tekniker som testades var Zero-shot learning, One-shot learning, Few-shot learning, Prompt Chaining och Multimodal Prompting. Av dessa visade sig Prompt Chaining vara mest effektiv genom att öka detaljer och noggrannhet med hjälp av en tvåstegsprocess. Den andra fasen, som är studiens huvuddel, involverade skapandet av fem olika fullstack-applikationer. Dessa applikationer utformades för att testa AI:s förmåga att generera funktionell och korrekt kod i mer komplexa utvecklingsscenarier. De utvärderades utifrån kriterierna: noggrannhet, responsivitet, funktionalitet och kodkvalitet. Resultaten visar att AI har potential att generera kod som uppfyller många av de ställda kraven, men att det fortfarande finns begränsningar. AI presterade väl i att generera fullstack-kod och fånga krav och funktionella element. Utmaningar uppstod dock vid komplexa layouter, responsiv design och integration mellan front-end och back-end. Även om kodkvaliteten generellt var god, identifierades brister i underhållbarhet och CSS-praktiker. Denna studie belyser AI:s potential att accelerera utveckling men framhäver samtidigt behovet av noggrann input och ytterligare förbättringar.
Place, publisher, year, edition, pages
2025. , p. 81
Series
TRITA-EECS-EX ; 2025:42
Keywords [en]
Fullstack development, Generative AI, Prompt engineering, ChatGPT, Code quality, Requirement specification
Keywords [sv]
Fullstack-utveckling, Generativ AI, Promptteknik, ChatGPT, Kodkvalitet, Kravspecifikation
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-361850OAI: oai:DiVA.org:kth-361850DiVA, id: diva2:1948945
External cooperation
Decerno AB
Supervisors
Examiners
2025-04-072025-04-012025-04-07Bibliographically approved