Gestures play a crucial role in human communication, enhancing interpersonal interactions through non-verbal expression. Burgeoning technology is allowing virtual avatars to leverage communicative gestures to enhance their life-likeness and communication quality with AI-generated gestures. Traditionally, evaluations of AI-generated gestures have been confined to 2D settings. However, Virtual Reality (VR) offers an immersive alternative with the potential to affect the perception of virtual gestures. This paper introduces a novel evaluation approach of computer generated gestures, investigating the impact of a fully immersive environment in comparison to a traditional 2D setting. The goal is to find the differences, benefits and drawbacks of the two alternatives. Furthermore, the study also aims to investigate three gesture generation algorithms submitted to the 2023 Genea Challenge and evaluate their performance in the two virtual settings. Experiments showed that the VR setting has an impact on the rating of generated gestures. Participants tended to rate gestures observed in VR slightly higher on average than in 2D. Furthermore, the results of the study showed that the generation models used for the study had a consistent ranking. However, the setting had limited impact on the models’ performance, having a bigger impact on the perception of ’true movement’ which had higher ratings in VR than in 2D. The findings of this research are significant for advancing the understanding of gestural capabilities in ECAs within immersive environments and provide practical insights into the differences between immersive and non-immersive settings. As VR and AI-powered conversational agents become more integrated into daily life, this study contributes valuable knowledge that could inform the development of more immersive and effective communication agents, shaping the future of human-computer and humanrobot interactions.

Gester spelar en stor roll i interpersonella interaktioner genom icke-verbala uttryck av känslor och tankar. Gester kan förmedla en mängd olika signaler, från tydliga avsikter till tvetydiga gester som återspeglar undermedvetna tankar eller känslor. Ny teknik gör det möjligt för virtuella avatarer att utnyttja AI-genererade kommunikativa gester för att förbättra deras mänsklighet och kommunikationskvalitet. Traditionellt sett har utvärderingar av AI-genererade gester varit begränsade till 2D-miljöer. Dock erbjuder virtual reality (VR) en ny, immersiv plattform som har potentialen att påverka uppfattningen och tolkningen av genererade gester. Denna uppsats ämnar undersöka hur olika miljöer kan påverka uppfattningen och tolkningen av gester genom att jämföra effektiviteten av kommunikation via gester i VR mot traditionella 2D-miljöer. Genom en jämförande utvärdering som involverar både monadiska och dyadiska scenarier syftar denna studie till att avgöra om VR främjar en mer autentisk och nyanserad uppfattning av gester, vilket därmed förbättrar den övergripande kommunikationsupplevelsen. Resultaten från experimenten visade att VR-miljön hade en uppriktig påverkan på uppfattningen av genererade gester positivt, vilket resulterade i att observatörerna i snitt gav högre betyg i VR än i 2D. Dessutom visade resultaten att de genereringsmodeller som användes för studien hade en konsekvent rangordning över alla scenarier och miljöer. Miljön hade dock begränsad inverkan på modellerna själva, men en större inverkan på uppfattningen av ”riktig rörelse” (GT-systemet), som var lättare att upptäcka i VR än i 2D. Uppsatsens slutsatser är viktiga för att främja förståelsen av virtuella avatarers kapacitet att gestikulera i immersiva miljöer och ger praktiska insikter i skillnaderna mellan immersiva och icke-immersiva miljöer. I och med att VR-teknologi och AI-drivna konversationsagenter blir alltmer integrerade i vardagen kan denna studie förhoppningsvis bidra med värdefull kunskap som kan informera utvecklingen av mer immersiva och effektiva kommunikationsagenter, vilket har möjligheten att forma framtidens människadator och människa-robot interaktioner.