A BSTRACTIVE S UMMARIZATIONS OF U SER R EVIEWS THROUGH P ROMPT E NGINEERING Abstrakt sammanfattning av användarrecensioner genom prompt engineering Lisa Etzell, Nora Hulth 1 Abstract—This study explores the effectiveness of using LLMs for generating summaries of customer reviews. The model GPT-3.5 was used and two different methods for formulating prompts were tested: shot-prompting and pattern prompting. When handling larger amounts of reviews that risk reaching the length of the model’s context window, clustering and iterative summarization was used. The generated summaries were assessed through both human evaluation as well as automatic ROUGE and BERTScore measures. Results indicate that shot-prompting improved the quality of the generated summaries, while pattern-prompting did not show any clear improvements. Clustering reviews generally reduces summary quality. The results in combination with a literature study were used to assess what value the summaries could provide in practical application at an e-commerce company, which was conducted through a SWOT analysis. In the analysis several opportunities for companies were identified, including improved accessibility of review information for customers, leading to increased satisfaction, and internal use for business development purposes. Despite some threats such as inaccuracies and legal requirements, it was concluded that leveraging summaries of reviews can provide value to companies.

Denna studie undersöker effektiviteten av att använda stora språkmodeller (LLM) för att generera sammanfattningar av kundrecensioner. Modellen GPT-3.5 användes och två olika metoder för att formulera prompts testades: shot-prompting och pattern-prompting. Vid hantering av större mängder recensioner som riskerar att överskrida modellens kontextfönster användes klustring och iterativ sammanfattning. De genererade sammanfattningarna utvärderades både genom mänsklig bedömning samt genom de automatiska måtten ROUGE och BERTScore. Resultaten visar att shot-prompting förbättrade kvaliteten på de genererade sammanfattningarna, medan pattern-prompting inte visade några tydliga förbättringar. Att klustra recensioner reducerar generellt sett kvaliteten på sammanfattningarna. Resultaten, tillsammans med en litteraturstudie, användes för att bedöma vilket värde sammanfattningarna skulle kunna ge vid praktisk tillämpning på ett e-handelsföretag, vilket genomfördes genom en SWOT-analys. I analysen identifierades flera möjligheter för företag, inklusive förbättrad tillgänglighet av informationen i recensionerna för kunder, vilket kan leda till ökad kundnöjdhet, samt intern användning för affärsutvecklingsändamål. Trots vissa hot med felaktigheter i sammanfattningarna och juridiska krav, drogs slutsatsen att användning av sammanfattningar av recensioner kan skapa värde för e-handelsföretag.