While large language models (LLMs) have proven useful in many areas, they still have the disadvantage of sometimes hallucinating and providing incorrect or illogical answers. In areas like mathematics tutoring, faults like these are detrimental to the usability of LLM systems. Retrieval-augmented generation (RAG) is a method to combat these drawbacks. With RAG, an external database containing information relevant to the system’s area of application (e.g. a math textbook) is paired with the LLM. User prompts are combined with relevant documents from the external database, and these combinations are used as the final prompts to the LLM, thereby giving it access to the added context of the retrieved documents. In this article, we implement RAG for online elementary and high school mathematics tutoring to answer the question of whether RAG will bring improvements to LLM responses in this area. We also assess the attitudes toward using artificial intelligence at work among a group of tutors at an online mathematics tutoring organization, and what kind of effects RAG could have on these attitudes. Data to answer these research questions was collected via a survey sent to the tutors at the tutoring organization. Our results show that RAG had an insignificant effect on the assessed quality of LLM responses. However, RAG might be valuable from an organizational perspective as it brought (admittedly statistically insignificant) improvements in many important metrics. We theorize that the lackluster effects of RAG are explained by the LLM not needing the additional context supplied by the retrieved documents.

Stora språkmodeller har visat sig vara användbara inom många områden, men de har fortfarande nackdelen att de ibland hallucinerar och ger felaktiga eller ologiska svar. Inom områden som matematikläxhjälp skadar brister av denna typ användbarheten hos stora språkmodeller. Retrieval-augmented generation (RAG) är en metod för att motverka dessa brister. RAG innehbär att en extern databas med för tillämpningsområdet relevant information (exempelvis en lärobok i matematik) kopplas till den stora språkmodellen. Användarprompts kombineras med relevanta dokument ur den externa databasen. Dessa kombinationer ges sedan som slutgiltiga prompts till den stora språkmodellen, som därigenom får tillgång till den extra kontext som de hämtade dokumenten tillför. I denna artikel implementerar vi RAG för nätbaserad matematikläxhjälp riktad mot grundskole- och gymnasieelever. Med hjälp av denna implementation undersöker vi frågan om RAG förbättrar svar från stora språkmodeller inom området. Vi undersöker dessutom inställningarna till artificiell intelligens på arbetet hos arbetande på en nätbaserad matematikläxhjälpsorganisation, samt vilken potential RAG har att ändra dessa inställningar. Data för att svara på dessa frågeställningar samlades in genom en enkät skickad till de arbetande på läxhjälpsorganisationen. Våra resultat visar att RAG har en liten och statistiskt insignifikant effekt på den upplevda kvaliteten hos svaren från en stor språkmodell. Däremot kan inte användandet av RAG förkastas ur ett organisatoriskt perspektiv eftersom RAG-arkitekturen medförde förbättringar i många viktiga avseenden (utan statistisk signifikans). Vi föreslår att den insignifikanta effekt RAG har kan bero på att den extra kontext som de hämtade dokumenten medför är onödig för den stora språkmodellen.