The overall aim of this study was to understand the affordances and challenges with gesture-based hand tracking interaction for testing virtual proprioception in a high-intensity MR scenario. In order to explore this topic it was important to understand virtual proprioception in users, this was done by evaluating their actions and the perceived effect of intensity as seen in user responses as well as the time taken to act and the success rate for completing tasks. Afterwards, an assessment of the affordances and challenges of how head mounted displays (HMDs) may contribute to increased user performance regardless of intensity was performed based on qualitative data. Quantitative findings indicate that a majority of the participants improved their overall performance from tests 1-3; however, users instinctually looked down to pick up the pistol more for each test stemming from a lack of spatial awareness under high intensity interactions. Qualitative findings show that a majority did not feel the need for haptic feedback or had no preference regarding performing interactions in MR scenarios. The major affordance of using hand tracking is naturalistic gun-shooting mechanics whereas the biggest challenge lies within responsive and accurate finger gesture recognition and hand strain across users. The outcome of this study demonstrates a potential for further development of precision-based, gesture hand tracking interactions for studying virtual proprioception in various gaming and sports simulation models.

Det övergripande syftet med denna studie var att förstå möjligheter och utmaningar med ”hand tracking” för att testa virtuell proprioception i ett högintensivt MR-scenario. För att undersöka detta var det viktigt att förstå användarnas virtuella proprioception, vilket gjordes genom att utvärdera deras agerande under testmomentet och den upplevda effekten av intensitet, som sågs i användarnas svar samt den tid det tog att agera och hur väl de lyckades med att slutföra uppgifter. Därefter genomfördes en bedömning av möjligheter och utmaningar med hur head-mounted displays (HMD) kan bidra till ökad användarprestation oavsett intensitet, baserat på kvalitativa data. Kvantitativa resultat visar att en majoritet av deltagarna förbättrade sitt testresultat från test 1–3; dock tittade användarna instinktivt ner för att plocka upp pistolen i ökande grad för varje test, vilket sannolikt berodde på bristande kroppslig ”awareness” vid högintensiva interaktioner. Kvalitativa resultat visar att en majoritet inte kände något behov av haptisk återkoppling och inte hade någon preferens gällande interaktioner i MR-scenarier. Den största ”affordance” med att använda ”hand tracking” är naturlig pistolskjutmekanik, medan den största utmaningen ligger i responsiv och exakt igenkänning av fingerrörelser samt handtrötthet bland användarna. Resultatet av denna studie visar på en potential för vidare utveckling av precisionsbaserade, handstyrda interaktioner för att studera virtuell proprioception i olika spel- och sportssimuleringsmodeller.