Enhancing Question-Based Learning with AI: Generating and Evaluating Formative Questions and Feedback in Programming Education
2025 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Förbättra frågebaserat lärande med AI : Generering och utvärdering av formativa frågor och feedback inom programmeringsutbildning (Swedish)
Abstract [en]
This master thesis explores the potential of Artificial Intelligence (AI), specifically ChatGPT, to enhance learning in programming courses through Pure Question Based Learning (pQBL). The research was conducted in an introductory programming course at KTH. A Skill Map was developed using ChatGPT to generate formative questions and feedback across three alternative question types: Single Output Questions (SOQ), Ranking or Ordering Questions (ROQ), and Fill-in-the-Blank Questions (FBQ). Data was collected through the OLI Torus Learning Platform and student surveys. The generated questions were mapped to specific skills, and the feedback provided was detailed and process-focused. The results showed that ChatGPT could effectively generate formative questions and feedback, enhancing student engagement and understanding. The study underlines the necessity of generating a considerable amount of AI-generated questions to meet teachers’ standards. Notably, the results highlight that FBQ questions required minimal editing, while the other question types needed more substantial revisions. Student surveys indicated positive attitudes towards the AI-generated content and the pQBL approach. This study implies that ChatGPT shows promise as a tool for generating formative questions and feedback in programming courses, potentially reducing the need for extensive human labor and lowering educational costs.
Abstract [sv]
Denna masteruppsats undersöker potentialen hos Artificiell Intelligens (AI), mer specifikt ChatGPT, för att förbättra lärandet i programmeringskurser genom rent frågebaserat lärande (pQBL). Forskningen genomfördes i en introduktionskurs i programmering vid KTH. Först utvecklades karta av läromålen (Skill Map) med hjälp av ChatGPT för att generera formativa frågor och feedback över tre alternativa frågetyper: fritextfrågor (SOQ), rankningfrågor (ROQ) och fyll-i-det-som-saknasfrågor (FBQ). Data samlades in via OLI Torus lärplattform och studentundersökningar. De genererade frågorna kartlades till specifika färdigheter, och den tillhandahållna feedbacken var detaljerad och processfokuserad. Resultaten visade att ChatGPT effektivt kunde generera formativa frågor och feedback, vilket förbättrade studenternas engagemang och förståelse. Studien understryker nödvändigheten av att generera ett betydande antal AI-genererade frågor för att möta lärarnas standard. Noterbart är att resultaten visar att FBQ-frågor krävde minimal redigering, medan de andra frågetyperna behövde mer omfattande revideringar. Studentundersökningar indikerade positiva attityder gentemot det AI-genererade innehållet och pQBL metoden. Denna studie implicerar att ChatGPT visar potential som ett verktyg för att generera formativa frågor och feedback i programmeringskurser, vilket potentiellt kan minska behovet av omfattande mänskligt arbete och sänka utbildningskostnaderna.
Place, publisher, year, edition, pages
2025. , p. 93
Series
TRITA-ITM-EX ; 2025:618
Keywords [en]
Artificial Intelligence (AI), ChatGPT, formative questions, formative feedback, programming education, Pure Question-based Learning (pQBL), Question-based Learning (QBL), Technology-enhanced Learning (TEL)
Keywords [sv]
Artificiell intelligens, formativa frågor, formativ feedback, frågebaserat lärande, programmeringsundervisning, teknikförstärkt lärande
National Category
Didactics Pedagogy
Identifiers
URN: urn:nbn:se:kth:diva-373698OAI: oai:DiVA.org:kth-373698DiVA, id: diva2:2019921
Subject / course
Technology and Learning
Educational program
Master of Science in Engineering - Engineering and of Education
Supervisors
Examiners
2025-12-092025-12-092025-12-10