kth.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Modeling of Human Visual Attention in Multiparty Open-World Dialogues
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Tal, musik och hörsel, TMH.ORCID-id: 0000-0002-0861-8660
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Tal, musik och hörsel, TMH.ORCID-id: 0000-0002-3323-5311
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Tal, musik och hörsel, TMH.ORCID-id: 0000-0002-8874-6629
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Robotik, perception och lärande, RPL.ORCID-id: 0000-0002-5750-9655
Visa övriga samt affilieringar
2019 (Engelska)Ingår i: ACM Transactions on Human-Robot Interaction, E-ISSN 2573-9522, Vol. 8, nr 2, artikel-id UNSP 8Artikel i tidskrift (Refereegranskat) Published
Abstract [en]

This study proposes, develops, and evaluates methods for modeling the eye-gaze direction and head orientation of a person in multiparty open-world dialogues, as a function of low-level communicative signals generated by his/hers interlocutors. These signals include speech activity, eye-gaze direction, and head orientation, all of which can be estimated in real time during the interaction. By utilizing these signals and novel data representations suitable for the task and context, the developed methods can generate plausible candidate gaze targets in real time. The methods are based on Feedforward Neural Networks and Long Short-Term Memory Networks. The proposed methods are developed using several hours of unrestricted interaction data and their performance is compared with a heuristic baseline method. The study offers an extensive evaluation of the proposed methods that investigates the contribution of different predictors to the accurate generation of candidate gaze targets. The results show that the methods can accurately generate candidate gaze targets when the person being modeled is in a listening state. However, when the person being modeled is in a speaking state, the proposed methods yield significantly lower performance.

Ort, förlag, år, upplaga, sidor
ASSOC COMPUTING MACHINERY , 2019. Vol. 8, nr 2, artikel-id UNSP 8
Nyckelord [en]
Human-human interaction, open-world dialogue, eye-gaze direction, head orientation, multiparty
Nationell ämneskategori
Datorseende och robotik (autonoma system)
Identifikatorer
URN: urn:nbn:se:kth:diva-255203DOI: 10.1145/3323231ISI: 000472066800003OAI: oai:DiVA.org:kth-255203DiVA, id: diva2:1348335
Anmärkning

QC 20190904

Tillgänglig från: 2019-09-04 Skapad: 2019-09-04 Senast uppdaterad: 2023-01-09Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

Förlagets fulltext

Person

Stefanov, KalinSalvi, GiampieroKontogiorgos, DimosthenisKjellström, HedvigBeskow, Jonas

Sök vidare i DiVA

Av författaren/redaktören
Stefanov, KalinSalvi, GiampieroKontogiorgos, DimosthenisKjellström, HedvigBeskow, Jonas
Av organisationen
Tal, musik och hörsel, TMHRobotik, perception och lärande, RPL
I samma tidskrift
ACM Transactions on Human-Robot Interaction
Datorseende och robotik (autonoma system)

Sök vidare utanför DiVA

GoogleGoogle Scholar

doi
urn-nbn

Altmetricpoäng

doi
urn-nbn
Totalt: 423 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf