This thesis introduces methods for two robotic tasks: grasp synthesis and deformable object manipulation. These tasks are connected by interactive perception, where robots actively manipulate objects to improve sensory feed-back and task performance. Achieving a collision-free, successful grasp is essential for subsequent interaction, while effective manipulation of deformable objects broadens real-world applications. For robotic grasp synthesis, we address the challenge of approach-constrained grasping. We introduce two methods: GoNet and CAPGrasp. GoNet learns a grasp sampler that generates grasp poses with approach directions that lie in a selected discretized bin. In contrast, CAPGrasp enables sampling in a continuous space without requiring explicit approach direction annotations in the learning phase, improving the grasp success rate and providing more flexibility for imposing approach constraint. For robotic deformable object manipulation, we focus on manipulating deformable bags with handles—a common daily human activity. We first propose a method that captures scene dynamics and predicts future states in environments containing both rigid spheres and a deformable bag. Our approach employs an object-centric graph representation and an encoder-decoder framework to forecast future graph states. Additionally, we integrate an active camera into the system, explicitly considering the regularity and structure of motion to couple the camera with the manipulator for effective exploration.

To address the common data scarcity issue in both domains, we also develop simulation environments and propose annotated datasets for extensive benchmarking. Experimental results on both simulated and real-world platforms demonstrate the effectiveness of our methods compared to established baselines.

Denna avhandling introducerar metoder för två robotuppgifter: grepp-syntes och manipulering av deformerbara objekt. Dessa uppgifter är sam-mankopplade genom interaktiv perception, där robotar aktivt manipulerar objekt för att förbättra sensorisk feedback och uppgiftsutförande. Att uppnå ett kollisionsfritt, framgångsrikt grepp är avgörande för efterföljande interak-tion, medan effektiv manipulering av deformerbara objekt breddar verkliga tillämpningar. För robotisk greppsyntes tar vi oss an utmaningen med tillvägagångssätt-begränsat grepp. Vi introducerar två metoder: GoNet och CAPGrasp. GoNet lär sig en gripsamplare som genererar gripposer med inflygningsriktningar som ligger i en vald diskretiserad bin. CAPGrasp, däremot, möjliggör sampling i ett kontinuerligt utrymme utan att kräva explicita tillvägagångssättsanvisningar i inlärningsfasen, vilket förbättrar greppets framgångsfrekvens och ger mer flexibilitet för att införa begränsningar för tillvägagångssätt.

För robotmanipulering av deformerbara föremål fokuserar vi på att manipulera deformerbara påsar med handtag - en vanlig mänsklig aktivitet. Vi föreslår först en metod som fångar scenens dynamik och förutsäger framti-da tillstånd i miljöer som innehåller både stela sfärer och en deformerbar påse. Vårt tillvägagångssätt använder en objektcentrerad grafrepresentation och ett ramverk för kodare-avkodare för att förutsäga framtida graftillstånd. Dessutom integrerar vi en aktiv kamera i systemet, och tar uttryckligen hänsyn till rörelsens regelbundenhet och struktur för att koppla ihop kameran med manipulatorn för effektiv utforskning. För att ta itu med det vanliga problemet med databrist i båda domänerna utvecklar vi också simuleringsmiljöer och föreslår kommenterade datauppsättningar för omfattande benchmarking. Experimentella resultat på både simulerade och verkliga plattformar visar effektiviteten hos våra metoder jämfört med etablerade baslinjer.