kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Global Search with Bernoulli Alternation Kernel for Task-oriented Grasping Informed by Simulation
KTH, School of Electrical Engineering and Computer Science (EECS), Centres, Centre for Autonomous Systems, CAS. KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0000-0002-3018-2445
KTH, School of Electrical Engineering and Computer Science (EECS), Centres, Centre for Autonomous Systems, CAS. KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.
KTH, School of Electrical Engineering and Computer Science (EECS), Centres, Centre for Autonomous Systems, CAS. KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0000-0003-3958-6179
KTH, School of Electrical Engineering and Computer Science (EECS), Centres, Centre for Autonomous Systems, CAS. KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0000-0003-2965-2953
2018 (English)In: Proceedings of The 2nd Conference on Robot Learning, PMLR 87, 2018, p. 641-650Conference paper, Oral presentation with published abstract (Refereed)
Abstract [en]

We develop an approach that benefits from large simulated datasets and takes full advantage of the limited online data that is most relevant. We propose a variant of Bayesian optimization that alternates between using informed and uninformed kernels. With this Bernoulli Alternation Kernel we ensure that discrepancies between simulation and reality do not hinder adapting robot control policies online. The proposed approach is applied to a challenging real-world problem of task-oriented grasping with novel objects. Our further contribution is a neural network architecture and training pipeline that use experience from grasping objects in simulation to learn grasp stability scores. We learn task scores from a labeled dataset with a convolutional network, which is used to construct an informed kernel for our variant of Bayesian optimization. Experiments on an ABB Yumi robot with real sensor data demonstrate success of our approach, despite the challenge of fulfilling task requirements and high uncertainty over physical properties of objects.

Place, publisher, year, edition, pages
2018. p. 641-650
National Category
Computer Systems
Research subject
Computer Science
Identifiers
URN: urn:nbn:se:kth:diva-248396OAI: oai:DiVA.org:kth-248396DiVA, id: diva2:1302880
Conference
2nd Conference on Robot Learning, October 29th-31st, 2018, Zürich, Switzerland.
Note

QC 20190507

Available from: 2019-04-07 Created: 2019-04-07 Last updated: 2022-06-26Bibliographically approved
In thesis
1. Learning for Task-Oriented Grasping
Open this publication in new window or tab >>Learning for Task-Oriented Grasping
2020 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

Task-oriented grasping refers to the problem of computing stable grasps on objects that allow for a subsequent execution of a task. Although grasping objects in a task-oriented manner comes naturally to humans, it is still very challenging for robots. Take for example a service robot deployed in a household. Such a robot should be able to execute complex tasks that might include cutting a banana or flipping a pancake. To do this, the robot needs to know what and how to grasp such that the task can be executed. There are several challenges when it comes to this. First, the robot needs to be able to select an appropriate object for the task. This pertains to the theory of \emph{affordances}. Second, it needs to know how to place the hand such that the task can be executed, for example, grasping a knife on the handle when performing cutting. Finally, algorithms for task-oriented grasping should be scalable and have high generalizability over many object classes and tasks. This is challenging since there are no available datasets that contain information about mutual relations between objects, tasks and grasps.In this thesis, we present methods and algorithms for task-oriented grasping that rely on deep learning. We use deep learning to detect object \emph{affordances}, predict task-oriented grasps on novel objects and to parse human activity datasets for the purpose of transferring this knowledge to a robot.For learning affordances, we present a method for detecting functional parts given a visual observation of an object and a task. We utilize the detected affordances together with other object properties to plan for stable, task-oriented grasps on novel objects.For task-oriented grasping, we present a system for predicting grasp scores that take into account both the task and the stability. The grasps are then executed on a real-robot and refined via bayesian optimization. Finally, for parsing human activity datasets, we present an algorithm for estimating 3D hand and object poses and shapes from 2D images so that the information about the contacts and relative hand placement can be extracted. We demonstrate that we can use the information obtained in this manner to teach a robot task-oriented grasps by performing experiments with a real robot on a set of novel objects.

Abstract [sv]

Uppdragsorienterad greppning refererar till problemet av att räkna fram stabila grepp på objekt som tillåter efterföljande exekvering av ett uppdrag. Trots att fatta objekt på ett uppdragsorienterat kan vara naturligt för människor, är det fortfarande väldigt utmanande för robotar. Ta exemplet av en servicerobot i ett hushåll. Denna sorts robot borde kuna utföra komplexa uppådrag som möjligtvis innefattar att hacka en banan eller vända på en pannkaka. För att kunna göra detta, måste roboten veta hur och vad den ska greppa så att uppdraget kan utföras. Det finns flera utmaningar gällande detta. Först, måste roboten kunna välja ett passande objekt för uppdraget. Detta tillhör till teorin om \emph{överkomlighet}.Efter detta, måste den veta hur den ska placera handen så att uppdraget kan utföras, till exempel att greppa en kniv vid skaftet när någonting ska skäras. Sist, algoritmer för uppdragsorienterad greppning bör vara uppskalningsbara och ha hög generaliseringsförmåga över många objektklasser och uppdrag. Detta är utmanande eftersom det finns inga tillgängliga dataset som innehåller information om ömsesidiga relationer mellan objekt,  uppdrag, och fattningar.I denna avhandling, presenterar vi metoder och algoritmer för uppdragsorienterad greppning som baseras på djup maskininlärning. Vi använder djup maskininlärning för att detektera objekters \emph{överkomlighet}, förutspå uppdragsorienterade grepp på nya objekt och analysera mänsklig aktivitetsdataset för ändamålet av att överföra denna kunskap till en robot. För att lära oss \emph{överkomlighet}, presenterar vi en metod för att detektera funktionella delar givet en visuell observation av ett objekt och ett uppdrag. Vi använder de detekterade \emph{överkomligheter} tillsammans med andra objektegenskaper för att planera ett stabilt, uppdragsorienterat grepp på nya objekt. För uppdragsorienterad greppning, presenterar vi ett system för att förutspå greppbetyg som tar hänsyn till både uppdraget och stabiliteten. Dessa grepp utförs sedan på en fysisk robot och är förfinade med hjälp av bayesisk optimering. Sedan, för att analysera mänskliga aktivitetsdataset, presenterar vi en algoritm för estimering av hand och objektposer och former från 2 dimensioner och utöka det till 3 dimensioner så att information om kontaktpunkter och relativa handplaceringar kan extraheras. Vi demonstrerar  att vi kan använda information vi har fått med denna metod att lära en robot uppdragsorienterade grepp genom att utföra experiment med en fysisk robot på nya objekt. 

Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2020. p. 136
Series
TRITA-EECS-AVL ; 2020:48
Keywords
robotics, computer vision
National Category
Computer Vision and Robotics (Autonomous Systems)
Research subject
Computer Science
Identifiers
urn:nbn:se:kth:diva-282832 (URN)978-91-7873-651-5 (ISBN)
Public defence
2020-10-22, F3, Lindstedtsvägen 26, Stockholm, 14:00 (English)
Opponent
Supervisors
Note

QC 20201001

Available from: 2020-10-01 Created: 2020-09-30 Last updated: 2022-06-25Bibliographically approved
2. Transfer-Aware Kernels, Priors and Latent Spaces from Simulation to Real Robots
Open this publication in new window or tab >>Transfer-Aware Kernels, Priors and Latent Spaces from Simulation to Real Robots
2020 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

Consider challenging sim-to-real cases lacking high-fidelity simulators and allowing only 10-20 hardware trials. This work shows that even imprecise simulation can be beneficial if used to build transfer-aware representations.

First, the thesis introduces an informed kernel that embeds the space of simulated trajectories into a lower-dimensional space of latent paths. It uses a sequential variational autoencoder (sVAE) to handle large-scale training from simulated data. Its modular design enables quick adaptation when used for Bayesian optimization (BO) on hardware. The thesis and the included publications demonstrate that this approach works for different areas of robotics: locomotion and manipulation. Furthermore, a variant of BO that ensures recovery from negative transfer when using corrupted kernels is introduced. An application to task-oriented grasping validates its performance on hardware.

For the case of parametric learning, simulators can serve as priors or regularizers. This work describes how to use simulation to regularize a VAE's decoder to bind the VAE's latent space to simulator parameter posterior. With that, training on a small number of real trajectories can quickly shift the posterior to reflect reality. The included publication demonstrates that this approach can also help reinforcement learning (RL) quickly overcome the sim-to-real gap on a manipulation task on hardware.

A longer-term vision is to shape latent spaces without needing to mandate a particular simulation scenario. A first step is to learn general relations that hold on sequences of states from a set of related domains. This work introduces a unifying mathematical formulation for learning independent analytic relations. Relations are learned from source domains, then used to help structure the latent space when learning on target domains. This formulation enables a more general, flexible and principled way of shaping the latent space. It formalizes the notion of learning independent relations, without imposing restrictive simplifying assumptions or requiring domain-specific information. This work presents mathematical properties, concrete algorithms and experimental validation of successful learning and transfer of latent relations.

Abstract [sv]

Betänk komplicerade fall av simulering-till-verklighet där det saknas simulatorer med hög precision och endast 10-20 hårdvaruförsök tillåts. Detta arbete visar att även oprecis simulering kan vara till nytta i dessa fall, om det används för att skapa överföringsbara representationer.

Avhandlingen introducerar först en informerad kärna som bäddar in rummet av simulerade trajektorier i ett lågdimensionellt rum med latenta banor. Denna använder en så kallad sekventiell variational autoencoder (sVAE) för att hantera storskalig träning utifrån simulerade data. Dess modulära design medför snabb anpassning till den nya domänen då den används för Bayesiansk optimering (BO) på verklig hårdvara. Avhandlingen och de inkluderade publikationerna visar att denna metod fungerar för flera olika områden inom robotik: rörelse och manipulation av objekt. Dessutom introduceras en variant av BO som garanterar återhämtning från negativ överföring om korrupta kärnor används. En tillämpning inom uppgiftsanpassade handgrepp bekräftar metodens prestanda på hårdvara.

När det gäller parametrisk inlärning, kan simulatorer tjäna som apriorifördelningar eller regulariserare. Detta arbete beskriver hur man kan använda simulering för att regularisera en VAEs avkodare för att koppla ihop det latenta VAE rummet till simuleringsparametrarnas aposteriorifördelning. I och med detta kan träning på ett litet antal verkliga banor snabbt anpassa aposteriorifördelningen till att återspegla verkligheten. Den inkluderade publikationen demonstrerar att detta tillvägagångssätt också kan hjälpa så kallad förstärkningsinlärning (RL) att snabbt överbrygga gapet mellan simulering och verklighet för en manipulationsuppgift på hårdvara.

En långsiktig vision är att skapa latenta rum utan att behöva förutsätta ett specifikt simuleringsscenario. Ett första steg är att lära in generella relationer som håller för sekvenser av tillstånd i en mängd angränsande domäner. Detta arbete introducerar en enhetlig matematisk formulering för att lära in oberoende analytiska relationer. Relationerna lärs in från källdomäner och används sedan för att strukturera det latenta rummet under inlärning i måldomänen. Denna formulering medger ett mer generellt, flexibelt och principiellt sätt att skapa det latenta rummet. Det formaliserar idén om inlärning av oberoende relationer utan att påtvinga begränsande antaganden eller krav på domänspecifik information. Detta arbete presenterar matematiska egenskaper, konkreta algoritmer och experimentell utvärdering av framgångsrik träning och överföring av latenta relationer.

Place, publisher, year, edition, pages
Stockholm, Sweden: KTH Royal Institute of Technology, 2020. p. 198
Series
TRITA-EECS-AVL ; 54
National Category
Robotics Computer Vision and Robotics (Autonomous Systems)
Research subject
Computer Science
Identifiers
urn:nbn:se:kth:diva-284138 (URN)
Public defence
2020-11-20, F3, Lindstedtsvägen 26, Stockholm, 14:00 (English)
Opponent
Supervisors
Note

QC 20201019

Available from: 2020-10-19 Created: 2020-10-15 Last updated: 2022-06-25Bibliographically approved

Open Access in DiVA

fulltext(15286 kB)146 downloads
File information
File name FULLTEXT01.pdfFile size 15286 kBChecksum SHA-512
b015629daab0dedc1ee150b00f5645100864174cfd3881b6f6fa3418c421d8e0d61f8cbdae04f29eeb2c3294ec053df623092f09bf5461008a5cd7f966716f69
Type fulltextMimetype application/pdf

Other links

ConferenceProceedingsFull text

Authority records

Antonova, RikaKokic, MiaStork, Johannes A.Kragic, Danica

Search in DiVA

By author/editor
Antonova, RikaKokic, MiaStork, Johannes A.Kragic, Danica
By organisation
Centre for Autonomous Systems, CASRobotics, Perception and Learning, RPL
Computer Systems

Search outside of DiVA

GoogleGoogle Scholar
Total: 146 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 593 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf