Endre søk
RefereraExporteraLink to record
Permanent link

Direct link
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annet format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annet språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Reinforcement Learning for Pivoting Task
KTH, Skolan för datavetenskap och kommunikation (CSC), Robotik, perception och lärande, RPL.
KTH, Skolan för datavetenskap och kommunikation (CSC), Robotik, perception och lärande, RPL.
KTH, Skolan för datavetenskap och kommunikation (CSC), Robotik, perception och lärande, RPL.
KTH, Skolan för datavetenskap och kommunikation (CSC), Robotik, perception och lärande, RPL.ORCID-id: 0000-0003-2965-2953
(engelsk)Manuskript (preprint) (Annet vitenskapelig)
Abstract [en]

In this work we propose an approach to learn a robust policy for solving the pivoting task. Recently, several model-free continuous control algorithms were shown to learn successful policies without prior knowledge of the dynamics of the task. However, obtaining successful policies required thousands to millions of training episodes, limiting the applicability of these approaches to real hardware. We developed a training procedure that allows us to use a simple custom simulator to learn policies robust to the mismatch of simulation vs robot. In our experiments, we demonstrate that the policy learned in the simulator is able to pivot the object to the desired target angle on the real robot. We also show generalization to an object with different inertia, shape, mass and friction properties than those used during training. This result is a step towards making model-free reinforcement learning available for solving robotics tasks via pre-training in simulators that offer only an imprecise match to the real-world dynamics.

Emneord [en]
Reinforcement Learning, Pivoting, Dexterous Manipulation
HSV kategori
Identifikatorer
URN: urn:nbn:se:kth:diva-215138OAI: oai:DiVA.org:kth-215138DiVA, id: diva2:1146611
Merknad

QC 20171023

Tilgjengelig fra: 2017-10-03 Laget: 2017-10-03 Sist oppdatert: 2019-12-04bibliografisk kontrollert
Inngår i avhandling
1. Vision-Based In-Hand Manipulation with Limited Dexterity
Åpne denne publikasjonen i ny fane eller vindu >>Vision-Based In-Hand Manipulation with Limited Dexterity
2019 (engelsk)Doktoravhandling, med artikler (Annet vitenskapelig)
Abstract [en]

In-hand manipulation is an action that allows for changing the grasp on an object without the need for releasing it. This action is an important component in the manipulation process and helps solving many tasks. Human hands are dexterous instruments suitable for moving an object inside the hand. However, it is not common for robots to be equipped with dexterous hands due to many challenges in control and mechanical design. In fact, robots are frequently equipped with simple parallel grippers, robust but lacking dexterity. This thesis focuses on achieving in-hand manipulation with limited dexterity. The proposed solutions are based only on visual input, without the need for additional sensing capabilities in the robot's hand.

Extrinsic dexterity allows simple grippers to execute in-hand manipulation thanks to the exploitation of external supports. This thesis introduces new methods for solving in-hand manipulation using inertial forces, controlled friction and external pushes as additional supports to enhance the robot's manipulation capabilities. Pivoting is seen as a possible solution for simple grasp changes: two methods, which cope with inexact friction modeling, are reported, and pivoting is successfully integrated in an overall manipulation task. For large scale in-hand manipulation, the Dexterous Manipulation Graph is introduced as a novel representation of the object. This graph is a useful tool for planning how to change a certain grasp via in-hand manipulation. It can also be exploited to combine both in-hand manipulation and regrasping to augment the possibilities of adjusting the grasp. In addition, this method is extended to achieve in-hand manipulation even for objects with unknown shape. To execute the planned object motions within the gripper, dual-arm robots are exploited to enhance the poor dexterity of parallel grippers: the second arm is seen as an additional support that helps in pushing and holding the object to successfully adjust the grasp configuration.

This thesis presents examples of successful executions of tasks where in-hand manipulation is a fundamental step in the manipulation process, showing how the proposed methods are a viable solution for achieving in-hand manipulation with limited dexterity.

Abstract [sv]

In-hand manipulation gör det möjligt att ändra fattningen om ett objekt utan att behöva släppa det. Detta är en viktig komponent och gör det möjligt att lösa många uppgifter.Den mänskliga händen är ett flexibelt instrument som är lämpligt för att flytta föremål inuti handen. Det är dock inte vanligt att robotar är utrustade med lika flexibla händer på grund av utmaningar inom reglerteknik och design av mekaniska system. I själva verket är robotar ofta utrustade med enkla parallel gripper, som är robusta men saknar finmotorik. Denna avhandling fokuserar på att uppnå in-hand manipulation med begränsad finmotorik. De föreslagna lösningarna baseras endast på visuell perception, utan behov av ytterligare sensorer i robotens hand.

Extrinsic dexterity (extrinsisk finmotorik) gör att enkla robothänder kan utföra in-hand manipulation tack vare utnyttjandet av externa stöd. Denna avhandling introducerar nya metoder för att lösa in-hand manipulation med tröghetskrafter, kontrollerad friktion och yttre tryck som ytterligare stöd för att förbättra robotens manipuleringsförmåga. Pivoting ses som en möjlig lösning för enkla greppförändringar: två metoder som hanterar inexakt friktionsmodellering presenteras samt som gungning är framgångsrikt integrerats i en fullständig manipuleringsuppgift. För storskalig in-hand manipulation introduceras Dexterous Manipulation Graph som en ny representation av objektet. Denna graf är ett användbart verktyg för att planera ändring av grepp via in-hand manipulation. Det kan också utnyttjas för att kombinera både in-hand manipulation och regrasping för att öka möjligheterna att justera greppet. Dessutom utvidgas denna metod för att uppnå in-hand manipulation även för föremål med okänd form. För att utföra de planerade objektrörelserna i robothanden utnyttjas dubbelarmade robotar för att förbättra den dåliga färdigheten hos parallel gripper: den andra armen ses som ett ytterligare stöd som hjälper till att skjuta och hålla objektet för att framgångsrikt justera greppkonfigurationen.

Denna avhandling presenterar exempel på framgångsrika utföranden av uppgifter där manuell manipulation är ett grundläggande steg i manipuleringsprocessen och visar hur de föreslagna metoderna är en rimlig och effektiv lösning för att uppnå handmanipulation med begränsad finmotorik.

sted, utgiver, år, opplag, sider
KTH Royal Institute of Technology, 2019
Serie
TRITA-EECS-AVL ; 2019:74
HSV kategori
Identifikatorer
urn:nbn:se:kth:diva-263051 (URN)978-91-7873-332-3 (ISBN)
Disputas
2019-11-25, Kollegiesalen, Stockholm, 10:00 (engelsk)
Opponent
Veileder
Merknad

QC 20191105

Tilgjengelig fra: 2019-11-05 Laget: 2019-10-28 Sist oppdatert: 2019-11-05bibliografisk kontrollert

Open Access i DiVA

fulltext(5710 kB)26 nedlastinger
Filinformasjon
Fil FULLTEXT01.pdfFilstørrelse 5710 kBChecksum SHA-512
06d74b080bbbc4d38ef7866788a59652a16390ee783c675e8f9bf2f693e45b0cc6839304514c6e92baa9012a00121bd70a48ada2d24545afbed5f4eedd496ed9
Type fulltextMimetype application/pdf

Andre lenker

https://arxiv.org/abs/1703.00472

Søk i DiVA

Av forfatter/redaktør
Antonova, RikaCruciani, SilviaSmith, ChristianKragic, Danica
Av organisasjonen

Søk utenfor DiVA

GoogleGoogle Scholar
Totalt: 26 nedlastinger
Antall nedlastinger er summen av alle nedlastinger av alle fulltekster. Det kan for eksempel være tidligere versjoner som er ikke lenger tilgjengelige

urn-nbn

Altmetric

urn-nbn
Totalt: 482 treff
RefereraExporteraLink to record
Permanent link

Direct link
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annet format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annet språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf