This work presents several methods, tools, and experiments that contribute to the development of interlocutor-aware Embodied Conversational Agents (ECAs). Interlocutor-aware ECAs take the interlocutor's behavior into consideration when generating their own non-verbal behaviors. This thesis targets the development of such adaptive ECAs by identifying and contributing to three important and related topics:

1) Data collection methods are presented, both for large scale crowdsourced data collection and in-lab data collection with a large number of sensors in a clinical setting. Experiments show that experts deemed dialog data collected using a crowdsourcing method to be better for dialog generation purposes than dialog data from other commonly used sources. 2) Methods for behavior modeling are presented, where machine learning models are used to generate facial gestures for ECAs. Both methods for single speaker and interlocutor-aware generation are presented. 3) Evaluation methods are explored and both third-party evaluation of generated gestures and interaction experiments of interlocutor-aware gestures generation are being discussed. For example, an experiment is carried out investigating the social influence of a mimicking social robot. Furthermore, a method for more efficient perceptual experiments is presented. This method is validated by replicating a previously conducted perceptual experiment on virtual agents, and shows that the results obtained using this new method provide similar insights (in fact, it provided more insights) into the data, simultaneously being more efficient in terms of time evaluators needed to spend participating in the experiment. A second study compared the difference between performing subjective evaluations of generated gestures in the lab vs. using crowdsourcing, and showed no difference between the two settings. A special focus in this thesis is given to using scalable methods, which allows for being able to efficiently and rapidly collect interaction data from a broad range of people and efficiently evaluate results produced by the machine learning methods. This in turn allows for fast iteration when developing interlocutor-aware ECAs behaviors.

Det här arbetet presenterar ett flertal metoder, verktyg och experiment som alla bidrar till utvecklingen av motparts-medvetna förkloppsligade konversationella agenter, dvs agenter som kommunicerar med språk, har en kroppslig representation (avatar eller robot) och tar motpartens beteenden i beaktande när de genererar sina egna icke-verbala beteenden. Den här avhandlingen ämnar till att bidra till utvecklingen av sådana agenter genom att identifiera och bidra till tre viktiga områden:

Datainstamlingsmetoder  både för storskalig datainsamling med hjälp av så kallade "crowdworkers" (en stor mängd personer på internet som används för att lösa ett problem) men även i laboratoriemiljö med ett stort antal sensorer. Experiment presenteras som visar att t.ex. dialogdata som samlats in med hjälp av crowdworkers är bedömda som bättre ur dialoggenereringspersiktiv av en grupp experter än andra vanligt använda datamängder som används inom dialoggenerering. 2) Metoder för beteendemodellering, där maskininlärningsmodeller används för att generera ansiktsgester. Såväl metoder för att generera ansiktsgester för en ensam agent och för motparts-medvetna agenter presenteras, tillsammans med experiment som validerar deras funktionalitet. Vidare presenteras även ett experiment som undersöker en agents sociala påverkan på sin motpart då den imiterar ansiktsgester hos motparten medan de samtalar. 3) Evalueringsmetoder är utforskade och en metod för mer effektiva perceptuella experiment presenteras. Metoden är utvärderad genom att återskapa ett tidigare genomfört experiment med virtuella agenter, och visar att resultaten som fås med denna nya metod ger liknande insikter (den ger faktiskt fler insikter), samtidigt som den är effektivare när det kommer till hur mycket tid utvärderarna behövde spendera. En andra studie studerar skillnaden mellan att utföra subjektiva utvärderingar av genererade gester i en laboratoriemiljö jämfört med att använda crowdworkers, och visade att ingen skillnad kunde uppmätas. Ett speciellt fokus ligger på att använda skalbara metoder, då detta möjliggör effektiv och snabb insamling av mångfasetterad interaktionsdata från många olika människor samt evaluaring av de beteenden som genereras från maskininlärningsmodellerna, vilket i sin tur möjliggör snabb iterering i utvecklingen.

This doctoral thesis investigates the potential of advanced speech and languagetechnologies, driven by deep learning, to improve clinical diagnostics and patientcare, primarily within the Swedish healthcare context. The research encompasseseight key papers, which are presented across three main sections:(1) Data Capture and Machine Learning for Speech: This section explores the use ofmultimodal data and advanced speech processing techniques for clinical applications.It includes research on utilizing multimodal data capture (speech, gaze, and digitalpen input) from clinical interviews to identify potential digital biomarkers for theearly detection and differentiation of dementia (Paper A). It also develops anautomated deep learning system to evaluate the oral diadochokinesis test for motorspeech disorders, which demonstrates higher accuracy than human raters andproposes a human-in-the-loop clinical interface (Paper B). Furthermore, this sectionevaluates the performance of Automatic Speech Recognition (ASR) systems,comparing word error rates between native (L1) and non-native (L2) Swedishspeakers (Paper C), and investigates data augmentation techniques to improve ASRaccuracy for individuals with aphasia, demonstrating a path towards more inclusivetechnology (Paper D).(2) Evaluation of LLMs in the Medical Domain: This section focuses on establishingrobust methods for assessing Large Language Models (LLMs) within a medicalcontext. It details the development of a specialized Swedish Medical LLM Benchmark,comprising over 2600 questions across various medical domains, designed to assessLLM performance in a clinically relevant, language-specific manner (Paper E).Additionally, the medical reasoning capabilities of LLMs, such as DeepSeek R1, arerigorously assessed, focusing on their capacity for general medical diagnosticreasoning (Paper F).(3) Application and Best Practice for Working with AI in Healthcare: This sectionaddresses the practical, ethical, and user experience (UX) considerations forvimplementing AI in healthcare. It proposes a novel user interface paradigm throughan AI-powered journaling application designed for personal health management,illustrating a low-risk, user-centric approach to AI integration (Paper G).Complementing this, it develops harm reduction strategies for the thoughtful use ofLLMs in the medical domain, providing perspectives for both patients and cliniciansto maximize utility while mitigating risks, thereby establishing best practices forresponsible AI engagement (Paper H).Collectively, this work advances the field by providing new tools and methodologiesfor early disease detection using speech and multimodal data, establishing robustevaluation methods for ASR and LLMs in the medical domain, and offering pathwaysand frameworks for responsible, user-centered, and effective AI implementation inhealthcare.

Denna doktorsavhandling undersöker potentialen hos avancerade tal- ochspråkteknologier, drivna av djupinlärning, för att förbättra klinisk diagnostik ochpatientvård, främst inom svensk hälso- och sjukvård. Forskningen omfattar åttacentrala artiklar, vilka presenteras inom tre huvudsakliga avsnitt:(1) Datainsamling och maskininlärning för tal: Detta avsnitt utforskar användningenav multimodal data och avancerade talbearbetningstekniker för kliniskatillämpningar. Det inkluderar forskning om användning av multimodaldatainsamling från kliniska intervjuer för att identifiera digitala biomarkörer fördemens (Artikel A). Vidare utvecklas ett automatiserat system med djupinlärning föratt utvärdera oral diadochokinesis-testet vid motoriska talrubbningar, vilket visarhögre noggrannhet än mänskliga bedömare och föreslår ett kliniskt gränssnitt medmänniska-i-loopen (Artikel B). Avsnittet utvärderar även prestandan hos system förautomatisk taligenkänning (ASR) genom att jämföra felkvoter mellan talare medsvenska som modersmål respektive andraspråk (Artikel C) och undersökerdataaugmenteringstekniker för att förbättra ASR-noggrannheten för personer medafasi (Artikel D).(2) Utvärdering av stora språkmodeller (LLM:er) inom det medicinska området:Detta avsnitt fokuserar på att etablera robusta metoder för att bedöma storaspråkmodeller (LLM:er) i en medicinsk kontext. Det beskriver utvecklingen av ettspecialiserat svenskt medicinskt LLM-benchmark, bestående av över 2600 frågorinom olika medicinska domäner, avsett att utvärdera LLM:ers prestanda på ettkliniskt relevant och språkspecifikt sätt (Artikel E). Därtill bedöms den medicinskaresonemangsförmågan hos LLM:er, såsom DeepSeek R1, noggrant, med fokus påderas kapacitet för generell medicinsk diagnostiskt resonerande (Artikel F).(3) Applikationer och bästa praxis för AI inom hälso- och sjukvård: Detta avsnittbehandlar praktiska, etiska och användarupplevelsemässiga (UX) överväganden vidimplementering av AI inom hälso- och sjukvården. Ett nyttviianvändargränssnittsparadigm föreslås genom en AI-driven applikation för att föra enpersonlig hälsodagbok. Den är utformad för personlig hälsohantering och illustreraren lågrisk, användarcentrerad strategi för AI-integration (Artikel G). Somkomplement utvecklas strategier för harm reduction för genomtänkt användning avLLM:er inom det medicinska området. Dessa strategier erbjuder perspektiv för bådepatienter och kliniker för att maximera nyttan och samtidigt minimera riskerna, ochetablerar därmed bästa praxis för ansvarsfullt AI-engagemang (Artikel H).Sammantaget bidrar detta arbete till forskningsfältet genom att tillhandahålla nyaverktyg och metoder för tidig sjukdomsdetektion med hjälp av tal- och multimodaldata, etablera robusta utvärderingsmetoder för ASR och LLM:er inom det medicinskaområdet, samt erbjuda vägledning och ramverk för en ansvarsfull, användarcentreradoch effektiv implementering av AI inom hälso- och sjukvården.