Providing high-quality feedback for students is often a time-consuming task that the teaching staff does not have the resources for. Utilizing automatically generated feedback is a potential solution to this problem. When studying automated feedback, it is common to evaluate feedback in regard to students’ performance. However, this research aimed to measure students’ perception of feedback generated with different sentiments in order to see how future feedback should be formatted to be helpful to all students. In this study, feedback has been generated with varying sentiment and length using a Large Language Model, or more specifically using ChatGPT. The feedback that was generated was based on predetermined questions and answers. Furthermore, different prompt engineering techniques were used to craft effective prompts that produced the desired output. Opinions were then gathered from 79 respondents using an online survey, to measure how sentiment in the generated feedback affected recipients’ perception of the feedback. The positive feedback was most popular for all three predetermined questions in the survey and respondents deemed it as most specific to the answer, most constructive as well as most motivating. Despite this, a few respondents viewed the positive feedback as inauthentic due to its AI origin and therefore opted for the negative alternatives. The feedback preferences were also analyzed with respect to respondents’ gender identity, age and years of coding experience with the aim of finding out how feedback can be personalized and helpful to all students. Since the predetermined questions and answers regarded coding and AI, it was particularly important to study how previous coding experience affected feedback preferences among participants. Some differences were observed between feedback preferences of demographic groups including that participants show a growing acceptance of negative feedback as years of coding experience increase. However, the demographic results were not deemed significant enough upon performing statistical testing.

Att förse studenter med feedback av hög kvalitet är ofta en tidskrävande uppgift som lärare inte har resurser för. Att använda automatiskt genererad feedback är en lösning på detta problem. Då automatiserad feedback studeras är det vanligt att feedback värderas i relation till studenternas prestation. Men den här undersökningen strävade efter att mäta studenters attytider gentemot feedback som är genererad med olika sentiment för att ta reda på hur framtida feedback ska utformas för att vara hjälpsam åt alla studenter. I denna studie har feedback med olika sentiment och längd genererats med en Large Language Model, eller mer specifikt med hjälp av ChatGPT. Feedback som genererades var baserad på förbestämda frågor och svar. Vidare så användes olika prompt engineering tekniker för att skapa effektiva prompts som producerade det önskade resultatet. Sedan samlades det in åsikter av 79 respondenter genom en online undersökning, för att sedan kunna mäta hur sentiment i den genererade feedbacken påverkade mottagarnas uppfattning kring feedbacken. Den positiva feedbacken var mest populär för alla tre förbestämda frågor i undersökningen och respondenterna ansåg denna som mest specifik till svaret på frågan, mest konstruktiv samt mest motiverande. Dock ansåg vissa respondenter den positiva feedbacken som oäkta då den genererats med ett AI-verktyg och föredrog därför det negativa alternativet. Feedback preferenserna analyserades även med hänsyn till respondenternas könsidentitet, ålder och år av erfarenhet i kodning med målet att komma på hur feedback kan personifieras och vara hjälpsam åt alla studenter. Eftersom de förbestämda frågorna och svaren handlade om kodning och AI, så var det speciellt viktigt att studera hur tidigare erfarenhet i kodning påverkade feedback preferenser bland deltagarna. Några skillnader observerades i feedback preferenserna mellan olika demografiska grupper, bland annat så visades det att deltagare visar en större acceptans av negativ feedback desto mer erfarenhet i kodning de besitter. Däremot så visade statistisk testning att de demografiska resultaten inte var tillräckligt signifikanta.