kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
A Multimodal Data Set of Human Handovers with Design Implications for Human-Robot Handovers
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0000-0003-1932-1595
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0000-0003-0579-3372
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0000-0003-2078-8854
2023 (English)In: 2023 32nd IEEE international conference on robot and human interactive communication, RO-MAN, Institute of Electrical and Electronics Engineers (IEEE) , 2023, p. 1843-1850Conference paper, Published paper (Refereed)
Abstract [en]

Handovers are basic yet sophisticated motor tasks performed seamlessly by humans. They are among the most common activities in our daily lives and social environments. This makes mastering the art of handovers critical for a social and collaborative robot. In this work, we present an experimental study that involved human-human handovers by 13 pairs, i.e., 26 participants. We record and explore multiple features of handovers amongst humans aimed at inspiring handovers amongst humans and robots. With this work, we further create and publish a novel data set of 8672 handovers, which includes human motion tracking and the handover-forces. We further analyze the effect of object weight and the role of visual sensory input in human-human handovers, as well as possible design implications for robots. As a proof of concept, the data set was used for creating a human-inspired data-driven strategy for robotic grip release in handovers, which was demonstrated to result in better robot to human handovers.

Place, publisher, year, edition, pages
Institute of Electrical and Electronics Engineers (IEEE) , 2023. p. 1843-1850
Series
IEEE RO-MAN, ISSN 1944-9445
National Category
Robotics and automation
Identifiers
URN: urn:nbn:se:kth:diva-341988DOI: 10.1109/RO-MAN57019.2023.10309537ISI: 001108678600237Scopus ID: 2-s2.0-85187022992OAI: oai:DiVA.org:kth-341988DiVA, id: diva2:1825258
Conference
32nd IEEE International Conference on Robot and Human Interactive Communication (RO-MAN), AUG 28-31, 2023, Busan, SOUTH KOREA
Note

Part of proceedings ISBN 979-8-3503-3670-2

QC 20240109

Available from: 2024-01-09 Created: 2024-01-09 Last updated: 2025-03-06Bibliographically approved
In thesis
1. Adaptive Handovers for Enhanced Human-Robot Collaboration: A Human-Inspired Approach
Open this publication in new window or tab >>Adaptive Handovers for Enhanced Human-Robot Collaboration: A Human-Inspired Approach
2025 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

As robots become more capable with technology, their presence in human environments is expected to increase, leading to more physical and social interactions between humans and robots. In these shared spaces, handovers—the act of transferring an object from one person to another—constitute a significant part of daily human interactions. This thesis focuses on enhancing human-robot interaction by drawing inspiration from human-to-human handovers.

In this thesis, we investigate forces in human handovers to formulate adaptive robot grip release strategies, specifically addressing when a robot should release an object as a human recipient begins to take it during a handover. We developed a data-driven grip release strategy based on a dataset of recorded human-human handovers, which has been experimentally validated in human-robot interactions. To refine this strategy for different object weights, we recorded additional handovers involving various weights, resulting in publicly available datasets and a weight-adpative grip release strategy. Further, this thesis also examines how object weight affects human motion during handovers, enabling robots to observe changes in human motion to estimate object weights and adapt their motions to convey changes in object weights during handovers.

Additionally, we investigate the use of non-touch modalities, such as EEG brain signals and gaze tracking, to discern human intentions during handovers, specifically differentiating between motions intended for handovers and those that are not. 

Lastly, we also explore how human-robot handovers can be used to resolve robotic failures by providing explanations for these failures and adapting the explanations based on human behavioral responses.

Abstract [sv]

När robotar blir mer kapabla med teknik förväntas deras närvaro i mänskliga miljöer öka, vilket leder till mer fysisk och social interaktion mellan människor och robotar. I dessa delade utrymmen utgör överlämningar – handlingen att överföra ett objekt från en person till en annan – en betydande del av den dagliga mänskliga interaktionen. Den här avhandlingen fokuserar på att förbättra interaktionen mellan människa och robot genom att hämta inspiration från överlämningar från människa till människa.

I det här examensarbetet undersöker vi krafter i mänskliga överlämningar för att formulera adaptiva robotgrepp-release-strategier, som specifikt tar upp när en robot ska släppa ett föremål när en mänsklig mottagare börjar ta det under en överlämning. Vi utvecklade en datadriven strategi för frigörande av grepp baserad på en datauppsättning av inspelade människa-människa överlämningar, som har experimentellt validerats i interaktioner mellan människa och robot. För att förfina denna strategi för olika objektvikter, spelade vi in ytterligare överlämningar som involverade olika vikter, vilket resulterade i allmänt tillgängliga datauppsättningar och en viktadpativ strategi för grepp-släpp. Vidare undersöker denna avhandling också hur objektvikt påverkar mänsklig rörelse under överlämningar, vilket gör det möjligt för robotar att observera förändringar i mänsklig rörelse för att uppskatta objektvikter och anpassa sina rörelser för att förmedla förändringar i objektvikter under överlämningar.

Dessutom undersöker vi användningen av icke-touch-modaliteter, såsom EEG-hjärnsignaler och blickspårning, för att urskilja mänskliga avsikter under överlämningar, specifikt skilja mellan rörelser avsedda för överlämningar och de som inte är det.

Slutligen undersöker vi också hur mänsklig-robot-överlämningar kan användas för att lösa robotfel genom att tillhandahålla förklaringar till dessa fel och anpassa förklaringarna baserat på mänskliga beteendesvar.

Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2025. p. xx, 130
Series
TRITA-EECS-AVL ; 2025:29
Keywords
Human-Robot Collaboration, Human-Robot Handovers, Adaptive Handovers, Robotic failures, Robotic Failure Explanation, Samarbete mellan människa och robot, Överlämningar av människor och robotar, Adaptiva överlämningar, Robotfel, Förklaring av robotfel.
National Category
Robotics and automation
Research subject
Computer Science
Identifiers
urn:nbn:se:kth:diva-360949 (URN)978-91-8106-216-8 (ISBN)
Public defence
2025-03-31, https://kth-se.zoom.us/j/66859470351, F3 (Flodis), Lindstedsvägen 26 & 28, KTH Campus, Stockholm, 14:00 (English)
Opponent
Supervisors
Note

QC 20250307

Available from: 2025-03-07 Created: 2025-03-06 Last updated: 2025-04-02Bibliographically approved

Open Access in DiVA

No full text in DiVA

Other links

Publisher's full textScopus

Authority records

Khanna, ParagBjörkman, MårtenSmith, Christian

Search in DiVA

By author/editor
Khanna, ParagBjörkman, MårtenSmith, Christian
By organisation
Robotics, Perception and Learning, RPL
Robotics and automation

Search outside of DiVA

GoogleGoogle Scholar

doi
urn-nbn

Altmetric score

doi
urn-nbn
Total: 69 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf