This thesis investigates how social robots can support adult second language (L2) learners in improving conversational skills. It recognizes the challenges inherent in adult L2 learning, including increased cognitive demands and the unique motivations driving adult education. While social robots hold potential for natural interactions and language education, research into conversational skill practice with adult learners remains underexplored. Thus, the thesis contributes to understanding these conversational dynamics, enhancing speaking practice, and examining cultural perspectives in this context.

To begin, this thesis investigates robot-led conversations with L2 learners, examining how learners respond to moments of uncertainty. The research reveals that when faced with uncertainty, learners frequently seek clarification, yet many remain unresponsive. As a result, effective strategies are required from robot conversational partners to address this challenge. These interactions are then used to evaluate the performance of off-the-shelf Automatic Speech Recognition (ASR) systems. The assessment highlights that speech recognition for L2 speakers is not as effective as for L1 speakers, with performance deteriorating for both groups during social conversations. Addressing these challenges is imperative for the successful integration of robots in conversational practice with L2 learners.

The thesis then explores the potential advantages of employing social robots in collaborative learning environments with multi-party interactions. It delves into strategies for improving speaking practice, including the use of non-verbal behaviors to encourage learners to speak. For instance, a robot's adaptive gazing behavior is used to effectively balance speaking contributions between L1 and L2 pairs of participants. Moreover, an adaptive use of encouraging backchannels significantly increases the speaking time of L2 learners.

Finally, the thesis highlights the importance of further research on cultural aspects in human-robot interactions. One study reveals distinct responses among various socio-cultural groups in interaction between L1 and L2 participants. For example, factors such as gender, age, extroversion, and familiarity with robots influence conversational engagement of L2 speakers. Additionally, another study investigates preconceptions related to the appearance and accents of nationality-encoded (virtual and physical) social robots. The results indicate that initial perceptions may lead to negative preconceptions, but that these perceptions diminish after actual interactions.

Despite technical limitations, social robots provide distinct benefits in supporting educational endeavors. This thesis emphasizes the potential of social robots as effective facilitators of spoken language practice for adult learners, advocating for continued exploration at the intersection of language education, human-robot interaction, and technology.

Denna avhandling undersöker hur sociala robotar kan ge vuxna andraspråks\-inlärare stöd att förbättra sin konversationsförmåga på svenska. Andraspråks\-inlärning för vuxna, särskilt i migrationskontext, är mer komplext än för barn, bland annat på grund av att förutsättningarna för språkinlärning försämras med åren och att drivkrafterna ofta är andra. Sociala robotar har stor potential inom språkundervisning för att träna naturliga samtal, men fortfarande har lite forskning om hur robotar kan öva konversation med vuxna elever genomförts. Därför bidrar avhandlingen till att förstå samtal mellan andraspråksinlärare och robotar, förbättra dessa samtalsövningar och undersöka hur kulturella faktorer påverkar interaktionen.

Till att börja med undersöker avhandlingen hur andraspråkselever reagerar då de blir förbryllade eller osäkra i robotledda konversationsövningar. Resultaten visar att eleverna ofta försöker få roboten att ge förtydliganden när de är osäkra, men att de ibland helt enkelt inte svarar något alls, vilket innebär att roboten behöver kunna hantera sådana situationer. Konversationerna mellan andraspråksinlärare och en robot har även använts för att undersöka hur väl ledande system för taligenkänning kan tolka det adraspråkstalare säger. Det kan konstateras att systemen har väsentligt större svårigheter att känna igen andraspråkstalare än personer med svensk bakgrund, samt att de har utmananingar att tolka såväl svenska talare som andraspråkselever i friare sociala konversationer, vilket måste hanteras när robotar ska användas i samtalsövningar med andraspråkselever.

Avhandlingen undersöker sedan strategier för att uppmuntra andraspråks\-elever att prata mer och för att fördela ordet jämnare i trepartsövningar där två personer samtalar med roboten. Strategierna går ut på att modifiera hur roboten tittar på de två personerna eller ger icke-verbal återkoppling (hummanden) för att signalera förståelse och intresse för det eleverna säger.

Slutligen belyser avhandlingen vikten av ytterligare forskning om kulturella aspekter i interaktioner mellan människa och robot. En studie visar att faktorer som kön, ålder, tidigare erfarenhet av robotar och hur extrovert eleven är påverkar både hur mycket olika personer talar och hur de svarar på robotens försök att uppmuntra dem att tala mer genom icke-verbala signaler.

En andra studie undersöker om och hur förutfattade meningar relaterade till utseende och uttal påverkar hur människor uppfattar (virtuella och fysiska) sociala robotar som givits egenskaper (röst och ansikte) som kan kopplas till olika nationella bakgrunder. Resultaten visar att människors första intryck av en kulturellt färgad robot speglar förutfattade meningar, men att denna uppfattning inte alls får samma genomslag när personer faktiskt interagerat med roboten i ett realistiskt sammanhang.

En huvudsaklig slutsats i avhandlingen är att sociala robotar, trots att tekniska begränsningar finns kvar, har tydliga fördelar som kan utnyttjas inom utbildning. Specifikt betonar avhandlingen potentialen hos sociala robotar att leda samtalsövningar för vuxna andraspråkselever och förespråkar fortsatt forskning i skärningspunkten mellan språkundervisning, människa-robotinteraktion och teknik.

The goal of this thesis is to develop computational approaches generating autonomous social robot behaviors that can interact with multiple people and dynamically adapt to shape their interactions. Positive interactions between people impact their well-being and are essential to a fulfilled and healthy life. In this thesis, we coin the term Interaction-Shaping Robotics (ISR) as the study of robots that shape interactions between other agents, e.g., people, and capture previous efforts from the Human-Robot Interaction (HRI) community and emphasize the potential positive or negative, intended or unintended effects of these robots. Previous efforts have explored phenomena that indicate interaction-shaping capabilities of social robots, however, how to de-velop autonomous social robots that can adapt to positively shape interactions between people based on perceived human-human dynamics remains largely unexplored. In this thesis, we contribute to the technical advancement of social interaction-shaping robots by developing heuristics and machine learning methods and demonstrating their effectiveness in studies with real users. We focus on shaping behaviors, i.e., balancing people’s participation in interactions to foster inclusion among newly-arrived and already present children in a music game and support adult second language learners and native speakers in a language game. Especially when leveraging learning techniques, an effective interaction-shaping robot needs to act socially appropriately. We design heuristics that are appropriate by design and establish the feasibility of autonomy for interaction-shaping robots through minimal perception of group dynamics and simple behavior rules. Allowing for learning behaviors for more complex interactions, we provide a formal definition of the problem of interaction-shaping and show that using imitation learning (IL) or offline reinforcement learning (RL) based on previously collected HRI data is feasible without compromising the interaction. To meet the challenge of acting appropriately, we explore techniques applied prior to deployment when learning offline from data and shielding - a technique from the safe RL community - to eventually allow for learning during deployment in interaction. Overall, this thesis demonstrates the feasibility and promise of computational methods for autonomous interaction-shaping robots and demonstrates that these methods generate effective and appropriate robot behavior when balancing participation to ensure the inclusion of all human group members.

Målet med denna avhandling är att utveckla beräkningsbaserade meto-der för att generera autonoma sociala robotbeteenden som kan interagera med flera människor och dynamiskt anpassa sig för att forma deras interak-tioner. Positiva interaktioner mellan människor påverkar deras välbefinnande och är avgörande för ett meningsfullt och hälsosamt liv. I denna avhandling myntar vi termen "Interaction-Shaping Robotics"(ISR) som studerandet av robotar som formar interaktioner mellan andra aktörer, t.ex. människor, och sammanställer tidigare studier inom människ-robot-interaktion (eng. Human-Robot Interaction, HRI) samt betonar den potentiella positiva eller negativa, avsiktliga eller oavsiktliga, inverkan av dessa robotar. Tidigare studier har utforskat fenomen som indikerar på interaktionsformande förmågor hos sociala robotar, men utvecklandet av autonoma sociala robotar som kan anpassa sig för att positivt forma interaktioner mellan människor baserat på observerad människa-till-människa dynamik är fortfarande till stor del outforskat. I denna avhandling bidrar vi till den tekniska utvecklingen av sociala interaktionsformande robotar genom att utveckla heuristiker och maskininlärningsmetoder och demonstrera deras effektivitet i studier med användare. Vi fokuserar på att forma beteenden, d.v.s. balansera människors deltagande i interaktioner för att främja inkludering bland nyanlända och redan närvarande barn i ett musikspel och stödja vuxna andraspråksinlärare och modersmålstalare i ett språkspel. Särskilt när man utnyttjar maskininlärningsmetoder, behöver en effektiv interaktionsformande robot agera socialt korrekt. Vi designar heuristiker som är lämpliga by design” och fastställer genomförbarheten av autonomi för interaktionsformande robotar genom minimal perception av gruppdynamik och enkla beteenderegler. Genom att tillåta inlärning av beteenden för mer komplexa interaktioner, tillhandahåller vi en formell definition av problemet av interaktionsformande och visar att användning av imitationsinlärning (eng. imitation learning, IL) off-line förstärkningsinlärning (eng. reinforcement learning, RL), baserat på tidigare insamlad HRI-data är genomförbart utan att kompromissa med interaktionen. För att möta utmaningen att agera korrekt, utforskar vi tekniker som tillämpas innan implementering när man lär sig off-line från data och ”shielding” - en teknik inom säker RL - för att så småningom möjliggöra inlärning under implementering vid interaktion. Sammanfattningsvis visar denna avhandling genomförbarheten och utsikten av beräkningsbaserade metoder för autonoma interaktionsformande robotar och demonstrerar att dessa metoder genererar effektiva och lämpliga robotbeteenden när de balanserar deltagande för att säkerställa inkludering av alla mänskliga gruppmedlemmar.