Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Annotation and indexing of video content basedon sentiment analysis
KTH, School of Computer Science and Communication (CSC).
2014 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Due to scientific advances in mobility and connectivity, digital media can be distributed to multiple platforms by streams and video on demand services. The abundance of video productions poses a problem in term sof storage, organization and cataloging. How the movies or TV-series should be sorted and retrieved is much dictated by user preferences,motivating proper indexing and an notation of video content. While movies tend to be described by keywords or genre, this thesis constitutesan attempt to automatically index videos, based on their semantics. Representing a video by the sentiment it invokes, would not only be more descriptive, but could also be used to compare movies directly based onthe actual content. Since filmmaking is biased by human perception,this project looks to utilize these characteristics for machine learning.The video is modeled as a sequence of shots, attempting to capture the temporal nature of the information. Sentiment analysis of videos has been used as labels in a supervised learning algorithm, namely a SVM using a string kernel. Besides the specifics of learning, the work of this thesis involve other relevant fields such a feature extraction and videosegmentation. The results show that there are patterns in video fit for learning; however the performance of the method is inconclusive due to lack of data. It would therefore be interesting to evaluate the approach further, using more data along with minor modifications.

Abstract [sv]

Tack vare tekniska framsteg inom mobilitet och tillgänglighet, kan media såsom film distribueras till flertalet olika plattformar, i form avströmning eller liknande tjänster. Det enorma utbudet av TV-serier och film utgör svårigheter för hur materialet ska lagras, sorteras och katalogiseras. Ofta är det dessutom användarna som ställer krav på vad somär relevant i en sökning. Det påvisar vikten av lämplig notation och indexering.I dag används oftast text som beskrivning av videoinnehållet, i form av antingen genre eller nyckelord. Det här arbetet är ett försök till att automatiskt kunna indexera film och serier, beroende på det semantiska innehållet. Att istället beskriva videomaterialet beroende på hur det uppfattas, samt de känslor som väcks, innebär en mer karaktäristisk skildring. Ett sådant signalement skulle beskriva det faktiska innehållet på ett annat sätt, som är mer lämpligt för jämförelser mellan två videoproduktioner. Eftersom skapandet av film anpassar sig till hur människor uppfattar videomaterial, kommer denna undersökning utnyttja de regler och praxis som används, som hjälp för maskininlärningen. Hur en film uppfattas, eller de känslor som framkallas, utgör en bas för inlärningen, då de används för att beteckna de olika koncept som ska klassificeras. En video representeras som en sekvens av klipp, med avsikt att fånga de tidsmässiga egenskaperna. Metoden som används för denna övervakade inlärning är en SVM som kan hantera data i form av strängar. Förutom de teknikaliteter som krävs för att förstå inlärningen,tar rapporten upp relevanta andra områden, t.ex. hur information ska extraheras och videosegmentering. Resultaten visar att det finns mönster i video, lämpliga för inlärning. På grund av för lite data, är det inte möjligt att avgöra hur metoden presterar. Det vore därför intressant med vidare analys, med mer data samt smärre modifikationer.

Place, publisher, year, edition, pages
2014.
National Category
Computer and Information Science
Identifiers
URN: urn:nbn:se:kth:diva-156387OAI: oai:DiVA.org:kth-156387DiVA: diva2:766254
Examiners
Available from: 2014-11-27 Created: 2014-11-26 Last updated: 2014-11-27Bibliographically approved

Open Access in DiVA

fulltext(2220 kB)250 downloads
File information
File name FULLTEXT01.pdfFile size 2220 kBChecksum SHA-512
de2b95a7313071ac2b64c972dc9560b652bd5d39e9ef1d06110e2351b9bd35820cf91c9707c8147d5210ad96873efabd20a394d39264b7c733534def0d43148c
Type fulltextMimetype application/pdf

By organisation
School of Computer Science and Communication (CSC)
Computer and Information Science

Search outside of DiVA

GoogleGoogle Scholar
Total: 250 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 361 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf