CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Influence of Sentiment in Question Answering Systems
KTH, School of Electrical Engineering and Computer Science (EECS).
2019 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Inflytande av sentiment i frågebesvarande system (Swedish)
Abstract [en]

The task of a question answering (QA) system is to automatically answer questions asked by humans, expressed in a natural language. In recent years, platforms, where QA systems are applicable, have emerged on the web and gained in popularity. Related to the answering of complex questions, with subjective or ambiguous answers, there is a growing interest in understanding how semantic features can be utilized further to enhance the capability of the systems.

In this thesis, it was investigated how sentiment information contained in questions and answers influenced the performance of a QA system built using logistic regression. In addition to the sentiment model, an additional baseline model, which did not consider sentiment, was constructed and used as a reference point for evaluation. The models were trained and tested on the popular Stanford Question Answering Dataset 2.0 and evaluated using accepted metrics for measurement of search-effectiveness.

The results show that there was a slight but valuable increase in precision, suggesting that the sentiment model’s ability to detect non-answers was improved. The experiments also showed that differences in sentiment intensity between a question and a candidate answer lowered the probability that the candidate answer was correct. The increased performance encourages a more in-depth and detailed analysis of how sentiment can be efficiently utilized to improve and understand QA systems further.

Abstract [sv]

Uppgiften för ett frågebesvarande system är att automatiskt besvara frågor uttryckta i ett naturligt språk. De senaste åren har plattformar, där frågebesvarande system är tillämpbara, vuxit fram och blivit allt mer populära. I takt med detta har det även uppstått ett ökat intresse för att förstå hur sentiment kan användas för att förbättra frågebesvarande systems förmåga att besvara komplexa frågor med tvetydiga eller subjektiva svar.

I denna uppsats undersöktes inflytandet som sentiment i frågor och svar hade på ett frågebesvarande system byggt med logistisk regression. Utöver sentimentmodellen byggdes även en baslinjemodell som inte tog hänsyn till sentiment. Denna modell användes som referens för att utvärdera sentimentmodellens förmåga. Båda modellerna var tränade och testade på datasetet Stanford Question Answering Dataset 2.0 och utvärderade med hjälp av välkända metoder för att evaluera sökeffektivitet.

Resultaten visade en liten, men värdefull, ökning i precision, vilket tyder på att sentimentmodellens förmåga att upptäcka icke-svar förbättrades. Experimenten visade även att en skillnad i sentimentintensitet mellan en fråga och ett potentiellt svar sänkte sannolikheten att svaret var rätt. Den ökade förmågan uppmuntrar till fortsatt djupare analys för att förstå hur sentiment kan användas för att förbättra frågebesvarande system.

Place, publisher, year, edition, pages
2019. , p. 38
Series
TRITA-EECS-EX ; 2019:511
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-262674OAI: oai:DiVA.org:kth-262674DiVA, id: diva2:1361882
External cooperation
Findwise AB
Supervisors
Examiners
Available from: 2019-11-07 Created: 2019-10-17 Last updated: 2019-11-07Bibliographically approved

Open Access in DiVA

fulltext(680 kB)6 downloads
File information
File name FULLTEXT01.pdfFile size 680 kBChecksum SHA-512
2ac28ff0e7057517cfbbf02a39f51f0a85d96d2b8e63abc98503a163a6f9596324d0527067b1d8f5c4e7772b86511d4b2c0ca0521a4f112b292b4f2fd40c54d6
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 6 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 12 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf