Human-robot collaboration (HRC) envisioned for factories of the future would require close physical collaboration between humans and robots in safe and shared working environments with enhanced efficiency and flexibility. The PhD study aims for multimodal human-robot collaboration in assembly. For this purpose, various modalities controlled by high-level human commands are adopted to facilitate multimodal robot control in assembly and to support efficient HRC. Voice commands, as a commonly used communication channel, are firstly considered and adopted to control robots. Also, hand gestures work as nonverbal commands that often accompany voice instructions, and are used for robot control, specifically for gripper control in robotic assembly. Algorithms are developed to train and identify the commands so that the voice and hand gesture instructions are associated with valid robot control commands at the controller level. A sensorless haptics modality is developed to allow human operators to haptically control robots without using any external sensors. Within such context, an accurate dynamic model of the robot (within both the pre-sliding and sliding regimes) and an adaptive admittance observer are combined for reliable haptic robot control. In parallel,  brainwaves work as an emerging communication modality and are used for adaptive robot control during seamless assembly, especially in noisy environments with unreliable voice recognition or when an operator is occupied with other tasks and unable to make gestures. Deep learning is explored to develop a robust brainwave classification system for high-accuracy robot control, and the brainwaves act as macro commands to trigger pre-defined function blocks that in turn provide micro control for robots in collaborative assembly. Brainwaves offer multimodal support to HRC assembly, as an alternative to haptics, auditory and gesture commands. Next, a multimodal data-driven control approach to HRC assembly assisted by event-driven function blocks is explored to facilitate collaborative assembly and adaptive robot control. The proposed approaches and system design are analysed and validated through experiments of a partial car engine assembly. Finally, conclusions and future directions are given.

Samarbete mellan människa och robot (HRC) i framtidens fabriker kräver en nära fysisk samverkan mellan människor och robotar i säkra och delade arbetsmiljöer, för ökad effektivitet och flexibilitet. Doktorandstudien syftar till multimodalt samarbete mellan människa och robot vid montering. För detta ändamål används olika modaliteter som styrs av mänskliga kommandon på hög nivå för att stödja effektiv HRC och underlätta robotstyrning vid montering. Röstkommandon, som är en vanlig kommunikationskanal, används i första hand för att styra roboten. Handgester för icke-verbala kommandon åtföljer ofta röstinstruktioner och används för robotstyrning, speciellt för gripkontroll vid robotmontering. Algoritmer har utvecklats för att träna och identifiera kommandona så att röst- och handgestinstruktionerna associeras med giltiga robotkontrollkommandon på styrenhetsnivå. En sensorlös haptikmodalitet har utvecklats för att tillåta mänskliga operatörer att haptiskt styra robotar utan att använda några externa sensorer. I ett sådant sammanhang kombineras en exakt dynamisk modell av roboten (inom både glid- och förglidningsregimer) och en adaptiv inträdesobservatör för tillförlitlig haptisk robotkontroll. Parallellt är hjärnvågor en framväxande kommunikationsmodalitet som används för adaptiv robotstyrning under sömlös montering, särskilt i bullriga miljöer med opålitlig röstigenkänning eller när en operatör är upptagen med andra uppgifter och inte kan göra gester. Maskininlärning, Deep learning, utforskas för att utveckla ett robust hjärnvågsklassificeringssystem för robotstyrning med hög noggrannhet, och hjärnvågorna fungerar som makrokommandon för att aktivera fördefinierade funktionsblock som i sin tur ger mikrokontroll för robotar i kollaborativ montering. Hjärnvågorna ger ett multimodalt stöd till HRC-montering, som ett alternativ till haptik, hörsel- och gestkommandon. Därefter utforskas en multimodal datadriven kontrollmetod för HRC-montering med hjälp av händelsestyrda funktionsblock för att underlätta samverkande montering och adaptiv robotstyrning. De föreslagna tillvägagångssätten och systemdesignen analyseras och valideras genom experiment på ett delmontage av en bilmotor. Slutligen presenteras slutsatser och framtida riktningar.