kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Exploring the possibility and implementation of AI-supported online math coaching
KTH, School of Industrial Engineering and Management (ITM).
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Recently, people have tested using large language models (LLM) such as ChatGPT in education. Studies and tests have been done to see where and how LLMs can be used in education, for example, when generating learning material. However, most studies focused on their use in a classroom setting or the students' use of LLMs to learn outside the classroom. But education reaches outside the school. One example of this is Mattecoach.se, where teacher students help students in primary and secondary school in Sweden with problems regarding their mathematics education. The Department of Digital Learning at KTH hasdeveloped an LLM prototype to help the math coaches at Mattecoach.se with their work. This study aimed to evaluate this LLM and discuss what can be done with it in the future. This was done by testing the LLM and ChatGPT on math coaches by having them act as math coaches and students to simulate a conversation while using an LLM tool to help them. The study showed that if the LLM used when teaching or coaching a student in mathematics does not have good mathematical capabilities it is likely to accept incorrect answers as correct from the student and give the student the wrong answers. As such, if an LLM is to be used to teach a student, it needs to either have excellent mathematical capabilities to be able to teach a student reliably or it needs to be able to teach without doing any calculations. 

Abstract [sv]

Inom de senaste åren har personer testat att använda stora språkmodeller (eng. large language models) likt ChatGPT i utbildning. Det har genomförts studier och tester för att undersöka möjligheten att använda stora språkmodeller inom utbildning i form av att exempelvis skapa lärandematerial. Dock har mycket av detta handlat om undervisning i klassrummet eller om hur elever själva använder stora språkmodeller för att lära sig. Men undervisningen sträcker sig även utanför klassrummet. Ett exempel av detta är Mattecoach.se där lärarstudenter hjälper elever i grundskolan och gymnasiet i Sverige med problem de har i matematikundervisningen. Avdelningen för Digitalt Lärande på KTH har utvecklat en prototyp av en stor språkmodell för att hjälpa mattecoacherna på Mattecoach.se med deras arbete. Syftet med denna studie är att utvärdera denna stora språkmodell och diskutera hur den kan utvecklas i framtiden. Detta skedde genom att göra tester med språkmodellen och ChatGPT där mattecoacher fick agera mattecoach och elever och efterlikna en konversation medan de använder en språkmodell som hjälpmedel. Studien visade att om språkmodellen som används vid utlärning av matematik inte har tillräckliga färdigheter inom matematik så riskerar den att acceptera inkorrekta svar som korrekta samt att ge fel svar på uppgifter. För att en stor språkmodell ska kunna användas för att lära ut matematik krävs det då att den antagligen har väldigt goda färdigheter inom matematik eller vara menad att lära ut matematik utan att göra några beräkningar. 

Place, publisher, year, edition, pages
2024. , p. 28
Series
TRITA-ITM-EX ; 2024:515
Keywords [en]
Large Language Model, Online Coaching, AI in education, Math Coaching
Keywords [sv]
Stora Språkmodeller, Online Coachning, AI i Undervisning, Matte Coachning
National Category
Engineering and Technology
Identifiers
URN: urn:nbn:se:kth:diva-353812OAI: oai:DiVA.org:kth-353812DiVA, id: diva2:1900580
External cooperation
Stefan Hrastinski
Supervisors
Examiners
Available from: 2024-09-24 Created: 2024-09-24 Last updated: 2024-09-24Bibliographically approved

Open Access in DiVA

fulltext(860 kB)137 downloads
File information
File name FULLTEXT01.pdfFile size 860 kBChecksum SHA-512
2be914be26a184ae402c98ed668ba72d67e3bda2b2f2acf04b8d004f9b976df9254964379aae21bdd909a969157997bf4007ab626bb24ca2a9ffc2143685ec36
Type fulltextMimetype application/pdf

By organisation
School of Industrial Engineering and Management (ITM)
Engineering and Technology

Search outside of DiVA

GoogleGoogle Scholar
Total: 137 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 324 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf