Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
A sensorimotor reinforcement learning framework for physical human-robot interaction
KTH, School of Computer Science and Communication (CSC), Computer Vision and Active Perception, CVAP. KTH, School of Computer Science and Communication (CSC), Centres, Centre for Autonomous Systems, CAS.ORCID iD: 0000-0001-6738-9872
KTH, School of Computer Science and Communication (CSC), Centres, Centre for Autonomous Systems, CAS.
KTH, School of Computer Science and Communication (CSC), Computer Vision and Active Perception, CVAP. KTH, School of Computer Science and Communication (CSC), Centres, Centre for Autonomous Systems, CAS.ORCID iD: 0000-0002-4266-6746
KTH, School of Computer Science and Communication (CSC), Centres, Centre for Autonomous Systems, CAS.ORCID iD: 0000-0003-2965-2953
Show others and affiliations
2016 (English)In: IEEE International Conference on Intelligent Robots and Systems, IEEE, 2016, p. 2682-2688Conference paper, Published paper (Refereed)
Abstract [en]

Modeling of physical human-robot collaborations is generally a challenging problem due to the unpredictive nature of human behavior. To address this issue, we present a data-efficient reinforcement learning framework which enables a robot to learn how to collaborate with a human partner. The robot learns the task from its own sensorimotor experiences in an unsupervised manner. The uncertainty in the interaction is modeled using Gaussian processes (GP) to implement a forward model and an actionvalue function. Optimal action selection given the uncertain GP model is ensured by Bayesian optimization. We apply the framework to a scenario in which a human and a PR2 robot jointly control the ball position on a plank based on vision and force/torque data. Our experimental results show the suitability of the proposed method in terms of fast and data-efficient model learning, optimal action selection under uncertainty and equal role sharing between the partners.

Place, publisher, year, edition, pages
IEEE, 2016. p. 2682-2688
Keywords [en]
Behavioral research, Intelligent robots, Reinforcement learning, Robots, Bayesian optimization, Forward modeling, Gaussian process, Human behaviors, Human-robot collaboration, Model learning, Optimal actions, Physical human-robot interactions, Human robot interaction
National Category
Robotics
Identifiers
URN: urn:nbn:se:kth:diva-202121DOI: 10.1109/IROS.2016.7759417ISI: 000391921702127Scopus ID: 2-s2.0-85006367922ISBN: 9781509037629 (print)OAI: oai:DiVA.org:kth-202121DiVA, id: diva2:1077669
Conference
2016 IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS 2016, 9 October 2016 through 14 October 2016
Note

QC 20170228

Available from: 2017-02-28 Created: 2017-02-28 Last updated: 2019-08-16Bibliographically approved
In thesis
1. Sensorimotor Robot Policy Training using Reinforcement Learning
Open this publication in new window or tab >>Sensorimotor Robot Policy Training using Reinforcement Learning
2018 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

Robots are becoming more ubiquitous in our society and taking over many tasks that were previously considered as human hallmarks. Many of these tasks, e.g., autonomously driving a car, collaborating with humans in dynamic and changing working conditions and performing household chores, require human-level intelligence to perceive the world and to act appropriately. In this thesis, we pursue a different approach compared to classical methods that often construct a robot controller based on the perception-then-action paradigm. We devise robotic action-selection policies by considering action-selection and perception processes as being intertwined, emphasizing that perception comes prior to action and action is key to perception. The main hypothesis is that complex robotic behaviors come as the result of mastering sensorimotor contingencies (SMCs), i.e., regularities between motor actions and associated changes in sensory observations, where SMCs can be seen as building blocks to skillful behaviors. We elaborate and investigate this hypothesis by deliberate design of frameworks which enable policy training merely based on data experienced by a robot,without intervention of human experts for analytical modelings or calibrations. In such circumstances, action policies can be obtained by reinforcement learning (RL) paradigm by making exploratory action decisions and reinforcing patterns of SMCs that lead to reward events for a given task. However, the dimensionality of sensorimotor spaces, complex dynamics of physical tasks, sparseness of reward events, limited amount of data from real-robot experiments, ambiguities of crediting past decisions and safety issues, which arise from exploratory actions of a physical robot, pose challenges to obtain a policy based on data-driven methods alone. In this thesis, we introduce our contributions to deal with the aforementioned issues by devising learning frameworks which endow a robot with the ability to integrate sensorimotor data to obtain action-selection policies. The effectiveness of the proposed frameworks is demonstrated by evaluating the methods on a number of real robotic tasks and illustrating the suitability of the methods to acquire different skills, to make sequential action-decisions in high-dimensional sensorimotor spaces, with limited data and sparse rewards.

Abstract [sv]

Robotar förekommer alltmer i dagens samhälle och tar över många av de uppgifter som tidigare betraktades som tillägnade människor. Flera av dessa uppgifter, som att exempelvis autonomt köra en bil, samarbeta med människor i dynamiska och föränderliga arbetsmiljöer, samt att utföra sysslor i hemmet, kräver mänsklig intelligens för att roboten ska uppfatta världen och agera på lämpligt sätt. I denna avhandling utgår vi ifrån ett annat tillvägagångssätt jämfört med de klassiska metoder för skapande av robotsystem som tidigare ofta byggde på en så kallad perception-then-action paradigm. Vi utformar strategier för val av robotaktioner genom att utgå ifrån att det finns ett önsesidigt beroende mellan perception och aktion, där perception kommer före aktion, samtidigt som aktion är nödvändigt för perception. Huvudhypotesen är att komplexa robotbeteenden kommer som ett resultat av att roboten lär sig bemästra så kallade sensorimotorkopplingar (SMC), dvs regelbundenheter mellan motoriska aktioner och dess motsvarande förändringar i sensoriska observationer, där SMC:ar kan ses som byggblock för komplexa beteenden. Vi utarbetar och undersöker denna hypotes genom att avsiktligt utforma en handfull robotexperiment där en robots kunskaper helt förvärvas utifrån sensorimotoriska data, utan intervention av mänskliga experter för analytisk modellering eller kalibreringar. Under sådana omständigheter är så kallad reinforcement learning (RL) en lämplig paradigm för val av aktioner, en paradigm helt baserad på sensoriska data och utförda motoraktioner, utan krav på handgjorda representationer av världen på hög nivå. Denna paradigm kan utnyttjas för att generera utforskande rörelsemönster och förstärka de sensorimotorkopplingar som leder till framgång för i viss given uppgift. Det finns dock flera faktorer som kompicerar sådan rent datadriven inlärning av beteenden, såsom den sensorimotoriska datans höga dimensionalitet, den fysiska uppgiftens komplexa dynamik, bristen och tvetydigheten i de experiment som leder till positiva utfall, den begränsade mängd experiment som kan göras på en verklig robot och säkerhetsaspekter. De bidrag som introduceras i denna avhandling avser att hantera ovannämnda problem, genom att skapa ramverk för inlärning som gör det möjligt för en robot att integrera sensorimotordata för inlärning av stratieger för val av aktioner. De föreslagna ramverkens effektivitet demonsteras genom att utvärdera metoder på ett antal verkliga robotuppgifter och illustrera metodernas lämplighet för inlärning av olika färdigheter som kräver sekvenser av aktioner utifrån högdimensionell sensorimotorisk data, trots en begränsad mängd experiment med positivt utfall.

Place, publisher, year, edition, pages
KTH Royal Institute of Technology, 2018. p. 80
Series
TRITA-EECS-AVL ; 2018:47
Keywords
Reinforcement Learning, Artificial Intelligence, Robot Learning, Sensorimotor, Policy Training
National Category
Computer and Information Sciences
Research subject
Computer Science
Identifiers
urn:nbn:se:kth:diva-228295 (URN)978-91-7729-825-0 (ISBN)
Public defence
2018-06-11, F3, Lindstedtsvägen 26, Stockholm, 14:00 (English)
Opponent
Supervisors
Note

QC 20180521

Available from: 2018-05-21 Created: 2018-05-21 Last updated: 2018-05-21Bibliographically approved
2. Generative models for action generation and action understanding
Open this publication in new window or tab >>Generative models for action generation and action understanding
2019 (English)Doctoral thesis, comprehensive summary (Other academic)
Alternative title[sv]
Generativa modeller för generering och förståelse av mänsklig aktivitet
Abstract [en]

The question of how to build intelligent machines raises the question of how to rep-resent the world to enable intelligent behavior. In nature, this representation relies onthe interplay between an organism’s sensory input and motor input. Action-perceptionloops allow many complex behaviors to arise naturally. In this work, we take these sen-sorimotor contingencies as an inspiration to build robot systems that can autonomouslyinteract with their environment and with humans. The goal is to pave the way for robotsystems that can learn motor control in an unsupervised fashion and relate their ownsensorimotor experience to observed human actions. By combining action generationand action understanding we hope to facilitate smooth and intuitive interaction betweenrobots and humans in shared work spaces.To model robot sensorimotor contingencies and human behavior we employ gen-erative models. Since generative models represent a joint distribution over relevantvariables, they are flexible enough to cover the range of tasks that we are tacklinghere. Generative models can represent variables that originate from multiple modali-ties, model temporal dynamics, incorporate latent variables and represent uncertaintyover any variable - all of which are features required to model sensorimotor contin-gencies. By using generative models, we can predict the temporal development of thevariables in the future, which is important for intelligent action selection.We present two lines of work. Firstly, we will focus on unsupervised learning ofmotor control with help of sensorimotor contingencies. Based on Gaussian Processforward models we demonstrate how the robot can execute goal-directed actions withthe help of planning techniques or reinforcement learning. Secondly, we present anumber of approaches to model human activity, ranging from pure unsupervised mo-tion prediction to including semantic action and affordance labels. Here we employdeep generative models, namely Variational Autoencoders, to model the 3D skeletalpose of humans over time and, if required, include semantic information. These twolines of work are then combined to implement physical human-robot interaction tasks.Our experiments focus on real-time applications, both when it comes to robot ex-periments and human activity modeling. Since many real-world scenarios do not haveaccess to high-end sensors, we require our models to cope with uncertainty. Additionalrequirements are data-efficient learning, because of the wear and tear of the robot andhuman involvement, online employability and operation under safety and complianceconstraints. We demonstrate how generative models of sensorimotor contingencies canhandle these requirements in our experiments satisfyingly.

Abstract [sv]

Frågan om hur man bygger intelligenta maskiner väcker frågan om hur man kanrepresentera världen för att möjliggöra intelligent beteende. I naturen bygger en sådanrepresentation på samspelet mellan en organisms sensoriska intryck och handlingar.Kopplingar mellan sinnesintryck och handlingar gör att många komplexa beteendenkan uppstå naturligt. I detta arbete tar vi dessa sensorimotoriska kopplingar som eninspiration för att bygga robotarsystem som autonomt kan interagera med sin miljöoch med människor. Målet är att bana väg för robotarsystem som självständiga kan lärasig att kontrollera sina rörelser och relatera sina egen sensorimotoriska upplevelser tillobserverade mänskliga handlingar. Genom att relatera robotens rörelser och förståelsenav mänskliga handlingar, hoppas vi kunna underlätta smidig och intuitiv interaktionmellan robotar och människor.För att modellera robotens sensimotoriska kopplingar och mänskligt beteende an-vänder vi generativa modeller. Eftersom generativa modeller representerar en multiva-riat fördelning över relevanta variabler, är de tillräckligt flexibla för att uppfylla demkrav som vi ställer här. Generativa modeller kan representera variabler från olika mo-daliteter, modellera temporala dynamiska system, modellera latenta variabler och re-presentera variablers varians - alla dessa egenskaper är nödvändiga för att modellerasensorimotoriska kopplingar. Genom att använda generativa modeller kan vi förutseutvecklingen av variablerna i framtiden, vilket är viktigt för att ta intelligenta beslut.Vi presenterar arbete som går i två riktningar. För det första kommer vi att fokuserapå självständig inlärande av rörelse kontroll med hjälp av sensorimotoriska kopplingar.Baserat på Gaussian Process forward modeller visar vi hur roboten kan röra på sigmot ett mål med hjälp av planeringstekniker eller förstärkningslärande. För det andrapresenterar vi ett antal tillvägagångssätt för att modellera mänsklig aktivitet, allt frånatt förutse hur människan kommer röra på sig till att inkludera semantisk information.Här använder vi djupa generativa modeller, nämligen Variational Autoencoders, föratt modellera 3D-skelettpositionen av människor över tid och, om så krävs, inkluderasemantisk information. Dessa två ideer kombineras sedan för att hjälpa roboten attinteragera med människan.Våra experiment fokuserar på realtidsscenarion, både när det gäller robot experi-ment och mänsklig aktivitet modellering. Eftersom många verkliga scenarier inte hartillgång till avancerade sensorer, kräver vi att våra modeller hanterar osäkerhet. Yt-terligare krav är maskininlärningsmodeller som inte behöver mycket data, att systemsfungerar i realtid och under säkerhetskrav. Vi visar hur generativa modeller av senso-rimotoriska kopplingar kan hantera dessa krav i våra experiment tillfredsställande.

Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2019. p. 41
Series
TRITA-EECS-AVL ; 2019:60
National Category
Robotics
Research subject
Computer Science
Identifiers
urn:nbn:se:kth:diva-256002 (URN)978-91-7873-246-3 (ISBN)
Public defence
2019-09-12, F3, Lindstedtsvägen 26, Stockholm, 13:00 (English)
Opponent
Supervisors
Funder
EU, Horizon 2020, socsmcs
Note

QC 20190816

Available from: 2019-08-16 Created: 2019-08-15 Last updated: 2019-08-16Bibliographically approved

Open Access in DiVA

No full text in DiVA

Other links

Publisher's full textScopushttp://www.iros2016.org/

Authority records BETA

Ghadirzadeh, AliMaki, AtsutoKragic, DanicaBjörkman, Mårten

Search in DiVA

By author/editor
Ghadirzadeh, AliBütepage, JudithMaki, AtsutoKragic, DanicaBjörkman, Mårten
By organisation
Computer Vision and Active Perception, CVAPCentre for Autonomous Systems, CAS
Robotics

Search outside of DiVA

GoogleGoogle Scholar

doi
isbn
urn-nbn

Altmetric score

doi
isbn
urn-nbn
Total: 949 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf