kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Promptens påverkan: Hur kan GPT-4 förbättra läsbarheten av en text på högskolenivå?
KTH, School of Electrical Engineering and Computer Science (EECS).
KTH, School of Electrical Engineering and Computer Science (EECS).
2024 (Swedish)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE creditsStudent thesisAlternative title
Prompting matters : How can GPT-4 increase the readability of a higher education-level text? (Swedish)
Abstract [en]

One of the United Nations’ global goals for sustainable development aims to ensure inclusive education for all. In Sweden, the Agency for Accessible Media works to make literature and information accessible to everyone. In this effort, the affordances of rapidly emerging GenAI technologies has thus far not been examined. This study explores how GPT-4 can be most effectively prompted to enhance the readability of texts at the higher education level. Enhancing the readability of course text materials is important for improving learning conditions for students with special needs. The application of Large Language Models has the potential to automate this process, thereby contributing to the time-efficient and cost-effective development of more inclusive higher education. An experiment was conducted where GPT-4 was prompted to rewrite texts (N = 136) targeting the reading comprehension section of the higher education entrance exam in Sweden (SweSAT). This was done using four prompting strategies. The types of strategies examined in the study are: Meta-prompting, Roleplay-prompting, Chain-of-Thought-prompting, and Standard-prompting. The performance was evaluated by analyzing the text before and after rewriting using the readability measurement LIX (readability index). The results show that the Meta-prompting strategy can create an easy-to-read text in 92% of the cases, making it the most effective prompting strategy for this task. Furthermore, Meta-prompting is by far the easiest prompt to design, in parity with Standard-prompting. This fits with the purpose of the study, thus Meta-prompting is most suitable to use within this context.

Abstract [sv]

Ett av FN:s globala mål för hållbar utveckling syftar till att säkerställa inkluderande utbildning för alla och i Sverige jobbar Myndigheten för tillgängliga medier för att litteratur och information ska vara tillgänglig för alla. I arbetet med detta har möjligheterna med GenAI ännu inte undersökts. Denna studie undersöker hur GPT-4 mest effektivt kan promptas för att öka läsbarheten av texter på högskolenivå. Att öka läsbarheten på kurslitteratur är viktigt för att underlätta för studenter med funktionsvariation i form av läsnedsättning. Applikationer med Stora Språkmodeller har potentialen att kunna automatisera detta och således bidra till ett tids- och kostnadseffektiv framtagande av en mer inkluderande högskoleutbildning. Ett experiment utfördes där GPT-4 fick skriva om texter (N = 136) från högskoleprovets läsförståelsedel. Detta utfördes med fyra olika promptstrategier. Strategierna som används i studien är Meta-promptning, Rollspel-promptning, Tankekedja-promptning och Standard-promptning. Strategiernas prestation utvärderades genom att analysera texternas Läsbarhetsindex(LIX) före och efter omskrivning. Resultatet visar att Meta-promptning kan skapa en lättläst text i 92% av fallen och är således den promptstrategi som presterar bäst på uppgiften. Meta-promptning är även den överlägset enklaste prompten att designa, i paritet med Standard-prompten. Detta passar syftet och därmed är Meta-promptning mest passande att använda i denna kontext.

Place, publisher, year, edition, pages
2024. , p. 13
Series
TRITA-EECS-EX ; 2024:233
Keywords [en]
Readability, Prompt Engineering, GPT, Education, Equity
Keywords [sv]
Läsbarhet, Promptteknik, GPT, Utbildning, Rättvisa
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-349953OAI: oai:DiVA.org:kth-349953DiVA, id: diva2:1881808
Supervisors
Examiners
Available from: 2024-08-08 Created: 2024-07-03 Last updated: 2024-08-08Bibliographically approved

Open Access in DiVA

fulltext(794 kB)110 downloads
File information
File name FULLTEXT01.pdfFile size 794 kBChecksum SHA-512
bdcefb45c907298e9068f90c34792ff845bebb195fded298d57979e565c7da2036f24ab153e2d1d8ad630bc647a20c459fc3acc7f7ff89c6665f4dce3c96cc6a
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 110 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 308 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf