Semantic Similarity Comparison of Political Statements by ChatGPT and Political Representatives
2023 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Jämförelse i semantisk likhet mellan politiska uttalanden från ChatGPT och från politiska representanter (Swedish)
Abstract [en]
ChatGPT is a recently released chatbot that through the use of deep learning can generate human-like statements on a variety of topics. Deep learning models have a potential to affect politics. They can for instance be used as a source for political information or be used to create and spread political messages. ChatGPT is itself able to describe the stances of different political parties and can generate political messages based on these stances. In this thesis, a semantic similarity program, utilizing the models Stanza and Sentence-BERT, is implemented. This program is used to compare the semantic similarity of political statements and information generated by ChatGPT to authentic statements and information written by Swedish political representatives prior to the 2022 general election. The results of the thesis demonstrate that ChatGPT with relatively high accuracy (over 60 % when three options are available) is able to correctly reflect the standpoints of Swedish political parties in specific political questions. When compared to authentic political information using semantic similarity, there is no discernible difference between the scores achieved by ChatGPT’s statements and the scores achieved by authentic statements from political representatives. This might reflect that ChatGPT performs well in semantically mimicking the style used by political representatives. Alternatively, the result could indicate limited usefulness of semantic similarity as a comparative method for political statements.
Abstract [sv]
ChatGPT är en nyligen släppt chattrobot som med hjälp av djupinlärning kan skapa människo-liknande uttalanden inom en rad olika ämnen. Det är möjligt för djupinlärningsmodeller att ha politisk påverkan. Djupinlärningsmodeller kan exempelvis användas som källor för politisk information eller användas för att skapa och sprida politiska meddelanden. ChatGPT har förmågan att beskriva ståndpunkterna hos olika politiska partier samt generera politiska meddelanden baserat på dessa ståndpunkter. I denna studie implementeras ett program för att avgöra semantisk likhet mellan texter. Programmet använder modellerna Stanza och Sentence-BERT. Med hjälp av programmet jämförs semantisk likhet mellan politiska uttalanden och information genererad av ChatGPT, och autentiska uttalanden och autentisk information skriven av svenska politiska representanter innan riksdagsvalet i Sverige 2022. Studiens resultat visar att ChatGPT med relativt hög korrekthet (över 60 % när tre alternativ är möjliga) lyckas framföra samma ståndpunkter som riktiga representanter från de olika partierna i specifika politiska frågor. Ingen märkbar skillnad i semantisk likhet hittas när ChatGPT:s och riktiga representanters uttalanden jämförs med riktig politisk information. Detta kan visa på att ChatGPT är bra på att semantiskt härma stilen som används av politiska representanter. Resultatet kan alternativt tolkas som tydande på att semantisk likhet har ett begränsat värde som jämförelsemetod för politiska texter.
Place, publisher, year, edition, pages
2023. , p. 68
Series
TRITA-EECS-EX ; 2023:389
Keywords [en]
ChatGPT, Deep learning, Artificial intelligence, Politics, Semantic similarity
Keywords [sv]
ChatGPT, Djupinlärning, Artificiell intelligens, Politik, Semantisk likhet
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-336697OAI: oai:DiVA.org:kth-336697DiVA, id: diva2:1798095
Subject / course
Embedded System Design
Educational program
Master of Science - Embedded Systems
Supervisors
Examiners
2023-09-252023-09-182023-09-25Bibliographically approved