kth.sePublications KTH
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
EDO-Net: Learning Elastic Properties of Deformable Objects from Graph Dynamics
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0000-0001-9125-6615
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0000-0001-5700-684x
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0000-0001-8938-9363
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Robotics, Perception and Learning, RPL.ORCID iD: 0000-0003-3827-3824
Show others and affiliations
2023 (English)In: Proceedings - ICRA 2023: IEEE International Conference on Robotics and Automation, Institute of Electrical and Electronics Engineers (IEEE) , 2023, p. 3875-3881Conference paper, Published paper (Refereed)
Abstract [en]

We study the problem of learning graph dynamics of deformable objects that generalizes to unknown physical properties. Our key insight is to leverage a latent representation of elastic physical properties of cloth-like deformable objects that can be extracted, for example, from a pulling interaction. In this paper we propose EDO-Net (Elastic Deformable Object - Net), a model of graph dynamics trained on a large variety of samples with different elastic properties that does not rely on ground-truth labels of the properties. EDO-Net jointly learns an adaptation module, and a forward-dynamics module. The former is responsible for extracting a latent representation of the physical properties of the object, while the latter leverages the latent representation to predict future states of cloth-like objects represented as graphs. We evaluate EDO-Net both in simulation and real world, assessing its capabilities of: 1) generalizing to unknown physical properties, 2) transferring the learned representation to new downstream tasks.

Place, publisher, year, edition, pages
Institute of Electrical and Electronics Engineers (IEEE) , 2023. p. 3875-3881
National Category
Computer graphics and computer vision Computer Sciences
Identifiers
URN: urn:nbn:se:kth:diva-336773DOI: 10.1109/ICRA48891.2023.10161234ISI: 001036713003039Scopus ID: 2-s2.0-85168652855OAI: oai:DiVA.org:kth-336773DiVA, id: diva2:1798741
Conference
2023 IEEE International Conference on Robotics and Automation, ICRA 2023, London, United Kingdom of Great Britain and Northern Ireland, May 29 2023 - Jun 2 2023
Note

Part of ISBN 9798350323658

QC 20230920

Available from: 2023-09-20 Created: 2023-09-20 Last updated: 2026-10-29Bibliographically approved
In thesis
1. Adapting to Variations in Textile Properties for Robotic Manipulation
Open this publication in new window or tab >>Adapting to Variations in Textile Properties for Robotic Manipulation
2025 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

In spite of the rapid advancements in AI, tasks like laundry, tidying, and general household assistance remain challenging for robots due to their limited capacity to generalize manipulation skills across different variations of everyday objects.Manipulation of textiles, in particular, poses unique challenges due to their deformable nature and complex dynamics.  In this thesis, we aim to enhance the generalization of robotic manipulation skills for textiles by addressing how robots can adapt their strategies based on the physical properties of deformable objects. We begin by identifying key factors of variation in textiles relevant to manipulation, drawing insights from overlooked taxonomies in the textile industry. The core challenge of adaptation is addressed by leveraging the synergies between interactive perception and cloth dynamics models. These are utilized to tackle two fundamental estimation problems to achieve adaptation: property identification, as these properties define the system’s dynamic and how the object responds to external forces, and state estimation, which provides the feedback necessary for closing the action-perception loop.  To identify object properties, we investigate how combining exploratory actions, such as pulling and twisting, with sensory feedback can enhance a robot’s understanding of textile characteristics. Central to this investigation is the development of an adaptation module designed to encode textile properties from recent observations, enabling data-driven dynamics models to adjust their predictions accordingly to the perceived properties. To address state estimation challenges arising from cloth self-occlusions, we explore semantic descriptors and 3D tracking methods that integrate geometric observations, such as point clouds, with visual cues from RGB data.Finally, we integrate these modeling and perceptual components into a model-based manipulation framework and evaluate the generalization of the proposed method across a diverse set of real-world textiles. The results, demonstrating enhanced generalization, underscore the potential of adapting the manipulation in response to variations in textiles' properties and highlight the critical role of the action-perception loop in achieving adaptability.

Abstract [sv]

Trots de snabba framstegen inom AI förblir uppgifter som att tvätta, städa och allmän hushållshjälp utmanande för robotar på grund av deras begränsade förmåga att generalisera manipulationsfärdigheter över olika variationer av vardagsföremål. Manipulation av textilier utgör i synnerhet unika utmaningar på grund av deras deformerbara natur och komplexa dynamik.I denna avhandling syftar vi till att förbättra generaliseringen av robotiska manipulationsfärdigheter för textilier genom att undersöka hur robotar kan anpassa sina strategier baserat på de fysiska egenskaperna hos deformerbara objekt. Vi börjar med att identifiera nyckelfaktorer för variation i textilier som är relevanta för manipulation och drar insikter från förbisedda taxonomier inom textilindustrin.Den centrala utmaningen med anpassning adresseras genom att utnyttja synergierna mellan interaktiv perception och modeller för textildynamik. Dessa används för att lösa två grundläggande estimeringsproblem för att uppnå anpassning: egenskapsidentifiering, eftersom dessa egenskaper definierar systemets dynamik och hur objektet reagerar på yttre krafter, samt tillståndsestimering, som ger den återkoppling som krävs för att stänga åtgärds-perceptionsslingan. För att identifiera objektets egenskaper undersöker vi hur kombinationen av utforskande handlingar, såsom att dra och vrida, med sensorisk återkoppling kan förbättra robotens förståelse för textilens egenskaper. Centralt i denna undersökning är utvecklingen av en anpassningsmodul utformad för att koda textilens egenskaper från nyligen gjorda observationer, vilket gör det möjligt för datadrivna dynamikmodeller att justera sina förutsägelser utifrån de uppfattade egenskaperna.För att hantera utmaningar med tillståndsestimering som uppstår vid textilens självocklusioner utforskar vi semantiska deskriptorer och 3D-spårningsmetoder som integrerar geometriska observationer, såsom punktmoln, med visuella ledtrådar från RGB-data.Slutligen integrerar vi dessa modellerings- och perceptionskomponenter i ett modellbaserat manipulationsramverk och utvärderar generaliseringen av den föreslagna metoden på ett brett urval av textilier i verkliga miljöer. Resultaten, som visar förbättrad generalisering, understryker potentialen i att anpassa manipulation till variationer i textilernas egenskaper och framhäver den avgörande rollen för åtgärds-perceptionsslingan i att uppnå anpassningsförmåga.

Place, publisher, year, edition, pages
KTH Royal Institute of Technology, 2025. p. 82
Series
TRITA-EECS-AVL ; 2025:1
Keywords
Textile Variations, Robotic Manipulation, Generalization, Adaptation, Textila Variationer, Robotmanipulation, Generalisering, Anpassning
National Category
Computer graphics and computer vision Computer Sciences
Research subject
Computer Science
Identifiers
urn:nbn:se:kth:diva-357508 (URN)978-91-8106-125-3 (ISBN)
Public defence
2025-01-14, https://kth-se.zoom.us/j/66979575369, F3 (Flodis), Lindstedtsvägen 26 & 28, KTH Campus, Stockholm, 13:00 (English)
Opponent
Supervisors
Note

QC 20241213

Available from: 2024-12-13 Created: 2024-12-12 Last updated: 2025-10-29Bibliographically approved
2. Robotic Manipulation of Deformable Objects across Object Variations and Human Feedback
Open this publication in new window or tab >>Robotic Manipulation of Deformable Objects across Object Variations and Human Feedback
2026 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

Robots operating in human environments must handle objects whose appearance, geometry, physical behavior, and desired mode of manipulation vary across tasks and users. This is especially challenging for deformable objects, such as garments and textiles, whose behavior depends on contact, material response, deformation, and task intent. This thesis investigates methods for improving the generalization, robustness, and personalization of robotic manipulation systems for deformable objects.The thesis addresses this problem through three complementary directions. First, it studies object-centric representations, including skeleton-graphs and keypoints, as compact descriptions of task-relevant structure. These representations support the transfer of human-specified folding plans across garment instances and improve the generalization of imitation learning policies. Second, it considers mechanical-property variation, studying interaction-derived representations that capture object-specific mechanical context and support prediction across different deformation behaviors. Third, it investigates human feedback as a mechanism for refining policies after offline training, improving robustness through corrective interventions and personalization through feedback on preferred manipulation behavior.Overall, the results show that robust deformable object manipulation requires different mechanisms for different sources of variation. Structured representations help address visible object changes, interaction reveals mechanical properties that affect action outcomes, and human feedback provides information about failures and preferences that task success alone does not capture. The thesis contributes toward manipulation systems that can operate more reliably across changing objects, dynamics, and user-specific requirements.

Abstract [sv]

Robotar som verkar i mänskliga miljöer måste kunna hantera objekt vars utseende, geometri, fysiska beteende och önskade manipulationssätt varierar mellan uppgifter och användare. Detta är särskilt utmanande för deformerbara objekt, såsom plagg och textilier, vars beteende beror på kontakt, materialrespons, deformation och uppgiftsintention. Denna avhandling undersöker metoder för att förbättra generalisering, robusthet och personalisering i robotsystem för manipulation av deformerbara objekt.Avhandlingen behandlar detta problem genom tre kompletterande riktningar. För det första studeras objektcentrerade representationer, inklusive skelettgrafer och nyckelpunkter, som kompakta beskrivningar av uppgiftsrelevant struktur. Dessa representationer stödjer överföring av människospecificerade vikningsplaner mellan olika plagginstanser och förbättrar generaliseringen hos imitationsinlärda policyer. För det andra behandlas variation i mekaniska egenskaper genom interaktionsbaserade representationer som fångar objektspecifik mekanisk kontext och stödjer prediktion över olika deformationsbeteenden. För det tredje undersöks mänsklig återkoppling som en mekanism för att förfina policyer efter offline-träning, genom att förbättra robusthet med korrigerande interventioner och personalisering genom återkoppling på föredraget manipulationsbeteende.Sammantaget visar resultaten att robust manipulation av deformerbara objekt kräver olika mekanismer för olika variationskällor. Strukturerade representationer bidrar till att hantera synliga objektförändringar, interaktion avslöjar mekaniska egenskaper som påverkar resultatet av handlingar, och mänsklig återkoppling tillför information om misslyckanden och preferenser som enbart uppgiftens framgång inte fångar. Avhandlingen bidrar därmed till manipulationssystem som kan fungera mer tillförlitligt över föränderliga objekt, dynamik och användarspecifika krav.

Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2026. p. xi, 60
Series
TRITA-EECS-AVL ; 2026:95
Keywords
Robot Learning, Deformable Object Manipulation, Robotinlärning, manipulation av deformerbara objekt
National Category
Computer Sciences
Research subject
Computer Science
Identifiers
urn:nbn:se:kth:diva-391636 (URN)978-91-8106-749-1 (ISBN)
Public defence
2026-11-26, https://kth-se.zoom.us/j/61945064591, Kollegiesalen, Brinellvägen 8, Stockholm, 09:00 (English)
Opponent
Supervisors
Note

QC 20261030

Available from: 2026-10-30 Created: 2026-10-29 Last updated: 2026-10-30Bibliographically approved

Open Access in DiVA

No full text in DiVA

Other links

Publisher's full textScopus

Authority records

Longhini, AlbertaMoletta, MarcoReichlin, AlfredoWelle, Michael C.Kragic, Danica

Search in DiVA

By author/editor
Longhini, AlbertaMoletta, MarcoReichlin, AlfredoWelle, Michael C.Kragic, Danica
By organisation
Robotics, Perception and Learning, RPL
Computer graphics and computer visionComputer Sciences

Search outside of DiVA

GoogleGoogle Scholar

doi
urn-nbn

Altmetric score

doi
urn-nbn
Total: 248 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf