Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Audio-Visual Prosody: Perception, Detection, and Synthesis of Prominence
KTH, Skolan för datavetenskap och kommunikation (CSC).
KTH, Skolan för datavetenskap och kommunikation (CSC), Tal, musik och hörsel, TMH, Tal-kommunikation.ORCID-id: 0000-0003-1399-6604
KTH, Skolan för datavetenskap och kommunikation (CSC), Tal, musik och hörsel, TMH, Tal-kommunikation.
KTH, Skolan för datavetenskap och kommunikation (CSC), Tal, musik och hörsel, TMH, Tal-kommunikation.ORCID-id: 0000-0002-4628-3769
2010 (Engelska)Ingår i: 3rd COST 2102 International Training School on Toward Autonomous, Adaptive, and Context-Aware Multimodal Interfaces: Theoretical and Practical Issues / [ed] Esposito A; Esposito AM; Martone R; Muller VC; Scarpetta G, 2010, Vol. 6456, s. 55-71Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

In this chapter, we investigate the effects of facial prominence cues, in terms of gestures, when synthesized on animated talking heads. In the first study a speech intelligibility experiment is conducted, where speech quality is acoustically degraded, then the speech is presented to 12 subjects through a lip synchronized talking head carrying head-nods and eyebrow raising gestures. The experiment shows that perceiving visual prominence as gestures, synchronized with the auditory prominence, significantly increases speech intelligibility compared to when these gestures are randomly added to speech. We also present a study examining the perception of the behavior of the talking heads when gestures are added at pitch movements. Using eye-gaze tracking technology and questionnaires for 10 moderately hearing impaired subjects, the results of the gaze data show that users look at the face in a similar fashion to when they look at a natural face when gestures are coupled with pitch movements opposed to when the face carries no gestures. From the questionnaires, the results also show that these gestures significantly increase the naturalness and helpfulness of the talking head.

Ort, förlag, år, upplaga, sidor
2010. Vol. 6456, s. 55-71
Serie
Lecture Notes in Computer, ISSN 0302-9743 ; 6456
Nyckelord [en]
visual prosody, prominence, stress, multimodal, gaze, head-nod, eyebrows, visual synthesis, talking heads
Nationell ämneskategori
Människa-datorinteraktion (interaktionsdesign)
Identifikatorer
URN: urn:nbn:se:kth:diva-34387DOI: 10.1007/978-3-642-18184-9_6ISI: 000290654500006Scopus ID: 2-s2.0-79952015947ISBN: 978-3-642-18183-2 (tryckt)OAI: oai:DiVA.org:kth-34387DiVA, id: diva2:422418
Konferens
3rd EUCOGII-COST 2102 International Training School Caserta, ITALY, MAR 15-19, 2010
Anmärkning

QC 20110613

Tillgänglig från: 2011-06-13 Skapad: 2011-06-07 Senast uppdaterad: 2018-01-12Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

Förlagets fulltextScopus

Personposter BETA

Beskow, JonasHouse, David

Sök vidare i DiVA

Av författaren/redaktören
Al Moubayed, SamerBeskow, JonasGranström, BjörnHouse, David
Av organisationen
Skolan för datavetenskap och kommunikation (CSC)Tal-kommunikation
Människa-datorinteraktion (interaktionsdesign)

Sök vidare utanför DiVA

GoogleGoogle Scholar

doi
isbn
urn-nbn

Altmetricpoäng

doi
isbn
urn-nbn
Totalt: 883 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf