Design and Evaluation of an LLM Assistant: Supporting teachers in formative assessment for programming education
2025 (English)Independent thesis Advanced level (professional degree), 20 credits / 30 HE credits
Student thesis
Abstract [en]
Large Language Models or LLMs have been employed in many different fields, including education. These AI tools are used, among other things, for answering students’ questions and generating teaching material. Assisting teachers in assessment is an interesting topic that does not get as much attention in research. In this master’s thesis, which was done as a part of the K-ULF collaboration at KTH, we explore using LLMs to assist teachers in formative assessment. One goal of this thesis is to determine ways that LLMs can facilitate formative assessment for secondary school programming teachers in Sweden. Another goal is to examine teachers’ views on the efficiency and usefulness of formative assessment of students provided by AI. In the end of this thesis, we conclude that the teachers’ views on using LLMs for assisting their work in formative assessment are mostly positive. The technology can facilitate their work by giving them a readable and well-summarized overview of the students work process, and possibly pointing out things they might have missed themselves. Different opinions from the teachers were noted on different models.
Abstract [sv]
Stora språkmodeller, även kallade LLMer, har nyttjats inom många olika områden, inklusive utbildning. Dessa AI-verktyg används bland annat för att besvara elevers frågor och generera undervisningsmaterial. Att hjälpa lärare i bedömningar är ett intressant ämne som inte får lika mycket uppmärksamhet i forskningen. I denna masteruppsats, som skrevs i samarbete med K-ULF-gruppen på KTH, utforskar vi hur LLMer kan stödja lärare i formativ bedömning. Ett av målen med denna avhandling är att fastställa hur LLMer kan underlätta formativ bedömning för lärare i programmering på gymnasienivå i Sverige. Ett annat mål är att undersöka lärarnas syn på effektiviteten och nyttan av formativ bedömning som tillhandahålls av AI. I denna uppsats drar vi slutsatsen att lärarnas syn på att använda LLMer för att stödja deras arbete med formativ bedömning mestadels är positivt. Teknologin kan underlätta deras arbete genom att ge dem en läsbar och väl sammanfattad översikt över elevernas arbetsprocess, och eventuellt påpeka saker de själva kan ha missat. Lärarna hade olika åsikter om de olika modellerna.
Place, publisher, year, edition, pages
2025. , p. 50
Series
TRITA-ITM-EX ; 2025:500
Keywords [en]
Pedagogy, didactics, AI, formative assessment, LLM, teachers, tool, sociocultural theory
Keywords [sv]
Pedagogik, didaktik, AI, formativ bedömning, LLM, lärare, verktyg, sociokulturell lärandeteori
National Category
Engineering and Technology Educational Sciences
Identifiers
URN: urn:nbn:se:kth:diva-371821OAI: oai:DiVA.org:kth-371821DiVA, id: diva2:2007787
Subject / course
Technology and Learning
Educational program
Master of Science in Engineering - Engineering and of Education
Presentation
2025-09-09, 00:00
Supervisors
Examiners
2025-10-212025-10-212025-10-21Bibliographically approved