Exploring the possibility and implementation of AI-supported online math coaching
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesis
Abstract [en]
Recently, people have tested using large language models (LLM) such as ChatGPT in education. Studies and tests have been done to see where and how LLMs can be used in education, for example, when generating learning material. However, most studies focused on their use in a classroom setting or the students' use of LLMs to learn outside the classroom. But education reaches outside the school. One example of this is Mattecoach.se, where teacher students help students in primary and secondary school in Sweden with problems regarding their mathematics education. The Department of Digital Learning at KTH hasdeveloped an LLM prototype to help the math coaches at Mattecoach.se with their work. This study aimed to evaluate this LLM and discuss what can be done with it in the future. This was done by testing the LLM and ChatGPT on math coaches by having them act as math coaches and students to simulate a conversation while using an LLM tool to help them. The study showed that if the LLM used when teaching or coaching a student in mathematics does not have good mathematical capabilities it is likely to accept incorrect answers as correct from the student and give the student the wrong answers. As such, if an LLM is to be used to teach a student, it needs to either have excellent mathematical capabilities to be able to teach a student reliably or it needs to be able to teach without doing any calculations.
Abstract [sv]
Inom de senaste åren har personer testat att använda stora språkmodeller (eng. large language models) likt ChatGPT i utbildning. Det har genomförts studier och tester för att undersöka möjligheten att använda stora språkmodeller inom utbildning i form av att exempelvis skapa lärandematerial. Dock har mycket av detta handlat om undervisning i klassrummet eller om hur elever själva använder stora språkmodeller för att lära sig. Men undervisningen sträcker sig även utanför klassrummet. Ett exempel av detta är Mattecoach.se där lärarstudenter hjälper elever i grundskolan och gymnasiet i Sverige med problem de har i matematikundervisningen. Avdelningen för Digitalt Lärande på KTH har utvecklat en prototyp av en stor språkmodell för att hjälpa mattecoacherna på Mattecoach.se med deras arbete. Syftet med denna studie är att utvärdera denna stora språkmodell och diskutera hur den kan utvecklas i framtiden. Detta skedde genom att göra tester med språkmodellen och ChatGPT där mattecoacher fick agera mattecoach och elever och efterlikna en konversation medan de använder en språkmodell som hjälpmedel. Studien visade att om språkmodellen som används vid utlärning av matematik inte har tillräckliga färdigheter inom matematik så riskerar den att acceptera inkorrekta svar som korrekta samt att ge fel svar på uppgifter. För att en stor språkmodell ska kunna användas för att lära ut matematik krävs det då att den antagligen har väldigt goda färdigheter inom matematik eller vara menad att lära ut matematik utan att göra några beräkningar.
Place, publisher, year, edition, pages
2024. , p. 28
Series
TRITA-ITM-EX ; 2024:515
Keywords [en]
Large Language Model, Online Coaching, AI in education, Math Coaching
Keywords [sv]
Stora Språkmodeller, Online Coachning, AI i Undervisning, Matte Coachning
National Category
Engineering and Technology
Identifiers
URN: urn:nbn:se:kth:diva-353812OAI: oai:DiVA.org:kth-353812DiVA, id: diva2:1900580
External cooperation
Stefan Hrastinski
Supervisors
Examiners
2024-09-242024-09-242024-09-24Bibliographically approved