The study explores the field of technology-enhanced learning, providing insights into the evolving educational landscape and the impact of Large Language Models (LLMs), such as ChatGPT, in comparison to established educational tools like search engines. This paper specifically compares two different tools, ChatGPT and Google, in aiding students to solve programming exercises within their education and their impact on students’ learning. An experiment with first-year computer science students was conducted, dividing them into two groups, each using separate tools to solve a programming exercise and completing a related questionnaire. The results indicate significant differences in the tools usages, outcomes of the task completed and acquired knowledge. ChatGPT users had higher success rates for completing the task, but solely copied code from their tool. Students using Google had a lower success rate despite spending more time on the task. However the knowledge testing questionnaire showed that the group using Google demonstrated a better understanding of the topic at hand. In this study one of the main conclusions is that while ChatGPT offers efficiency in generating solutions, it tends to hinder students’ learning process, potentially due to their inexperience in utilizing LLMs for educational purposes. Students using a tool that lessens their learning and shows tendencies of copying existing solutions instead of solving problems by themselves might lead to universities having to adapt.

Denna studie utforskar området teknikunderstött lärande och ger insikter i det föränderliga utbildningslandskapet samt inverkan av stora språkmodeller (LLM), såsom ChatGPT, jämfört med etablerade utbildningsverktyg som sökmotorer. Denna studie jämför särskilt två olika verktyg, ChatGPT och Google, med avseende på deras förmåga att hjälpa elever att lösa programmeringsövningar inom deras utbildning samt deras inverkan på elevernas lärande. Ett experiment utfördes med första årets datavetenskapsstudenter, där de delades upp i två grupper och använde separata verktyg för att lösa en programmeringsövning samt genomförde en relaterad enkätundersökning. Resultaten visar på betydande skillnader i verktygens användning, utfall av den genomförda uppgiften och inlärd kunskap. Användare av ChatGPT hade högre framgångsgrad i att slutföra uppgiften, men enbart kopierade kod från sitt verktyg. Studenter som använde Google hade en lägre framgångsgrad trots att de spenderade mer tid på uppgiften. Däremot visade enkätundersökning att gruppen som använde Google uppvisade en bättre förståelse för det aktuella ämnet. En av de huvudsakliga slutsatserna i denna studie är att medan ChatGPT erbjuder effektivitet i att generera lösningar, tenderar det att hindra studenternas inlärningsprocess, möjligen på grund av deras bristande erfarenhet av att använda LLM för utbildningsändamål. Studenter som använder sig av ett verktyg som minskar deras lärande och visar tendenser att kopiera befintliga lösningar istället för att lösa problem på egen hand kan leda till att universitet måste anpassa sig.