kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Distributed planning and control of multi-robot systems under human presence
KTH, School of Electrical Engineering and Computer Science (EECS), Intelligent systems, Decision and Control Systems (Automatic Control).ORCID iD: 0000-0002-1881-1974
2025 (English)Licentiate thesis, monograph (Other academic)
Abstract [en]

The increasing integration of robotics into dynamic, safety-critical environments has necessitated the development of frameworks that enable seamless collaboration between humans and multi-robot systems. This thesis investigates the distributed planning and control of multi-robot systems under human presence, focusing on explicit and implicit Human-(multi)Robot Interaction (HRI) across both low-level control and high-level planning tasks. In this context, explicit means interaction through direct commands and implicit means interaction through indirect effects due to shared spaces. The contributions of this work aim to bridge human intuition and robotic precision, ensuring safety and task efficiency while addressing real-world challenges in domains such as precision agriculture and smart construction.

The first part of the thesis addresses explicit low-level human-in-the-loop (HIL) control by developing distributed barrier-function-based approaches that incorporate multiple safety constraints in multi-robot systems. This framework allows human input or overrides while ensuring inter-agent collision avoidance, connectivity maintenance, and adherence to spatial limits. A novel method transforms multiple safety constraints into a collective constraint using a smoothly approximated minimum function, enabling efficient optimization. Experiments demonstrate the integration of HIL scenarios in collaborative multi-robot tasks, highlighting robustness in maintaining system safety despite human interventions. Additionally, a robust Control Barrier Function (CBF)-based visual servoing framework for mobile manipulators is introduced, combining eye-in-hand and eye-to-hand setups. This approach ensures precise object tracking and placement under human supervision, crucial for safety-critical applications such as robotic assembly and construction.

The second part focuses on explicit high-level HIL planning, where Signal Temporal Logic (STL) and Linear Temporal Logic (LTL) are used to define spatiotemporal tasks for multi-robot systems. These tasks are executed using Model Predictive Control (MPC), enabling real-time, collision-free trajectory planning while dynamically incorporating human commands. A task allocation protocol ensures adaptability and safe integration of human directives in scenarios involving complex tasks, such as collaborative harvesting and pruning in precision agriculture. Laboratory and field experiments conducted in vineyards validate the applicability of this framework in dynamic environments. Further contributions include the development of methods for recurring task coordination and synchronization in large-scale multi-robot teams. These methods leverage recurring LTL formulations to address computational challenges associated with scaling, enabling robust synchronization and adaptability in real-world settings with up to ninety robots.

The final part of the thesis explores implicit low-level HIL by focusing on human motion prediction to enable safe and intuitive interactions between humans and robots. A Koopman-based Inverse Optimal Control (IOC) framework is introduced to estimate unknown dynamics and costs for human motion prediction. By reformulating human-related dynamics as bilinear systems, this method provides a robust and tractable alternative to traditional nonlinear IOC approaches. This framework is validated through theoretical analysis, simulation studies, and experiments, demonstrating its efficacy in enhancing human-aware navigation and task execution in multi-robot systems.

The overarching vision of this thesis is to develop scalable, human-centric frameworks that enable robots to dynamically adapt to human inputs while ensuring safety and operational efficiency. By addressing explicit and implicit HRI across low-level control and high-level planning, the work presented here lays the foundation for the seamless integration of multi-robot systems into dynamic, real-world environments, advancing the state of the art in human-robot collaboration.

Abstract [sv]

Den ökande integrationen av robotteknik i dynamiska, säkerhetskritiska miljöer har krävt utveckling av ramverk som möjliggör sömlöst samarbete mellan människor och multirobotsystem. Denna avhandling undersöker distribuerad planering och styrning av multirobotsystem vid mänsklig närvaro, med fokus på explicit och implicit Human-(multi)Robot Interaction (HRI) vid både lågnivåkontroll och även högnivåplaneringsuppgifter. I det här sammanhanget defineras explicit interaktion som interaktioner genom direkta kommandon och implicit interaktion som interaktioner genom indirekta effekter på grund av delade utrymmen. Målet med detta arbete är att integrera mänsklig intuitionen och robotprecision samt säkerställa säkerhet och effektivitet av arbetet, med fokus på verkliga utmaningar inom områden som precisionsjordbruk och smart konstruktion.

Den första delen av avhandlingen behandlar explicit HIL-kontroll (human-in-the-loop) på låg nivå genom att utveckla distribuerade barriärfunktionsbaserade metoder som inför flera säkerhetsbegränsningar i multirobotsystem. Detta ramverk tillåter mänsklig input eller överskridningar samtidigt som det säkerställer kollisionsundvikande mellan agenter, upprätthållande av konnektivitet och efterlevnad av spatiala gränser. En ny metod omvandlar flera säkerhetsbegränsningar till en kollektiv begränsning med hjälp av en smidigt approximerad minimifunktion, vilket möjliggör effektiv optimering. Experiment demonstrerar integrationen av HIL-scenarier i kollaborativa multirobotuppgifter, vilket belyser robustheten i att upprätthålla systemsäkerhet trots mänskliga ingripanden. Dessutom introduceras ett robust CBF-baserat (Control Barrier Function) ramverk för visuell servoing för mobila manipulatorer, som kombinerar ögon-i-hand och öga-till-hand-uppsättningar. Detta tillvägagångssätt säkerställer exakt objektspårning och placering vid mänsklig övervakning, vilket är avgörande för applikationer i säkerhetskritiska miljöer som robotmontering och konstruktion.

Den andra delen av avhandlingen fokuserar på explicit HIL-planering på hög nivå, där Signal Temporal Logic (STL) och Linear Temporal Logic (LTL) används för att definiera spatiotemporala uppgifter för multirobotsystem. Dessa uppgifter utförs med hjälp av MPC (Model Predictive Control), vilket möjliggör kollisionsfri banplanering i realtid samtidigt som mänskliga kommandon införs dynamiskt. Ett protokoll för uppgiftstilldelning säkerställer anpassningsförmåga och säker integrering av mänskliga direktiv i scenarier som involverar komplexa uppgifter, såsom skörd och beskärning i precisionsjordbruk. Laboratorie- och fältexperiment som utförts i vingårdar validerar den praktiska tillämpbarheten av detta ramverk i dynamiska miljöer. Ytterligare bidrag inkluderar utvecklingen av metoder för återkommande uppgiftskoordinering och synkronisering i storskaliga multirobotteam. Dessa metoder utnyttjar upprepande LTL-formuleringar för att hantera beräkningsutmaningar i samband med skalning, vilket möjliggör robust synkronisering och anpassningsförmåga i verkliga miljöer med upp till nittio robotar.

Den sista delen av avhandlingen utforskar implicit HIL på låg nivå genom att fokusera på förutsägbarhet av mänsklig rörelse för att möjliggöra säkra och intuitiva interaktioner mellan människor och robotar. Ett Koopman-baserat IOC-ramverk (Inverse Optimal Control) introduceras för att uppskatta okänd dynamik och kostnader för förutsägbarhet av mänskliga rörelser. Genom att omformulera människorelaterad dynamik som bilinjära system ger denna metod ett robust och hanterbart alternativ till traditionella olinjära IOC-metoder. Detta ramverk valideras genom teoretisk analys, simuleringsstudier och experiment, och visar att ramverket är effektivt för att förbättra navigering och uppgiftsutförande vid mänsklig närvaro i multirobotsystem.

Den övergripande visionen för denna avhandling är att utveckla skalbara och människocentrerade ramverk som gör det möjligt för robotar att anpassa sig till mänskliga ingångar dynamiskt samtidigt som säkerhet och operativ effektivitet säkerställs. Genom att behandla både explicit och implicit HRI med lågnivåkontroll och högnivåplanering, lägger detta arbete grunden för en sömlös integration av multirobotsystem i dynamiska, verkliga miljöer, vilket främjar den senaste tekniken inom samarbete mellan människa och robot.

Place, publisher, year, edition, pages
KTH Royal Institute of Technology, 2025. , p. 109
Series
TRITA-EECS-AVL ; 2025:24
Keywords [en]
Human-Robot Interaction, Control Barrier Function, Temporal Logic, Human-In-the-Loop control
National Category
Robotics and automation
Research subject
Electrical Engineering
Identifiers
URN: urn:nbn:se:kth:diva-360010ISBN: 978-91-8106-202-1 (print)OAI: oai:DiVA.org:kth-360010DiVA, id: diva2:1937629
Presentation
2025-03-11, https://kth-se.zoom.us/j/68774468465, Harry Nyquist, Malvinas väg 10, Stockholm, Stockholm, 10:00 (English)
Opponent
Supervisors
Note

QC 20250214

Available from: 2025-02-14 Created: 2025-02-13 Last updated: 2025-02-25Bibliographically approved

Open Access in DiVA

fulltext(19756 kB)236 downloads
File information
File name FULLTEXT01.pdfFile size 19756 kBChecksum SHA-512
15a37f1e7b85790a4d2d468f1a7aaca0063a4dbefef871a1292f805cf725a3baf6747407a949fd824b2bd84ce8dd9774eb3e1f2a78d4db5f572b4afa720f908b
Type fulltextMimetype application/pdf

Authority records

Nan Fernandez-Ayala, Victor

Search in DiVA

By author/editor
Nan Fernandez-Ayala, Victor
By organisation
Decision and Control Systems (Automatic Control)
Robotics and automation

Search outside of DiVA

GoogleGoogle Scholar
Total: 236 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

isbn
urn-nbn

Altmetric score

isbn
urn-nbn
Total: 888 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf