KnuckleBoard: Knuckle-based Input in Augmented Reality while Sitting, Standing, and Walking
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
KnuckleBoard: Knogbaserad inmatning i Augmented Reality när du sitter, står och går (Swedish)
Abstract [en]
The way people engage with digital content has changed substantially as a result of Augmented Reality (AR), especially in dynamic, mobile scenarios. Input in AR, often essential in contexts for tasks like messaging or note-taking, typically relies on traditional methods such as mid-air keyboards and controllers. However, these input methods can result in user fatigue, require significant visual attention, and are not designed for use in public spaces. This makes them impractical for mobile contexts where users are not static, such as walking outside or using the subway. This study addresses these issues by exploring a novel on-body input method using haptic gloves, which leverages the knuckles as interactive buttons to provide tactile feedback. We conducted a controlled experiment with 18 participants while they were sitting, standing, and walking to assess this approach’s user-friendliness. From the preliminary evaluation of our proof of concept the findings revealed that despite a steeper learning curve, the knuckle input method was preferred in dynamic scenarios like walking due to its engaging nature and reduced need for visual focus. Conversely, controller-based interaction was favoured in static scenarios like sitting, owing to its accuracy and ease of use. Our findings suggest that using the knuckles as on-body landmarks for input, enhanced user experience and preference by leveraging the body memory users develop over time, suggesting that novel soft and wearable or on-skin interfaces can improve interaction by making it easier to locate and press buttons situated on our own body intuitively and without visual guidance.
Abstract [sv]
Augmented Reality (AR) har förändrat hur användare interagerar med digitalt innehåll, särskilt i dynamiska scenarier där användaren är gående. Inmatning i AR, som ofta är nödvändig i dessa scenarier för att till exempel skicka meddelanden eller ta anteckningar, sker vanligtvis med traditionella metoder som tangentbord och kontroller i luften. Dessa metoder kan dock leda till att användaren tröttas ut, de kräver stor visuell uppmärksamhet och är inte utformade för att användas i offentliga miljöer. Detta gör dem opraktiska för mobila sammanhang där användarna inte är stationära, till exempel när de går utomhus eller åker tunnelbana. Den här studien tar upp dessa problem genom att utforska en ny metod för textinmatning som med hjälp av haptiska handskar utnyttjar knogarna som interaktiva knappar för taktil feedback. För att utvärdera hur effektiv denna metod är genomförde vi ett kontrollerat experiment med 18 deltagare som stod, gick och satt medan de matade in text. Resultaten visade att metoden med att skriva med hjälp av knogarna föredrogs i dynamiska scenarier, trots en brantare inlärningskurva, på grund av dess engagerande natur och minskade behov av visuellt fokus. Omvänt föredrogs skrivning med en kontroll i statiska scenarier, som sittande, på grund av dess noggrannhet och användarvänlighet. Våra resultat tyder på att användningen av knogarna som kroppsliga gränssnitt för textinmatning förbättrade deltagarnas användarupplevelse genom att utnyttja det kroppsminne som användare utvecklar över tid, vilket tyder på att nya mjuka och bärbara gränssnitt, eller gränssnitt på huden, kan förbättra interaktionen genom att det är lätt att hitta och trycka på på vår egen kropp utan visuell vägledning.
Place, publisher, year, edition, pages
2024. , p. 23
Series
TRITA-EECS-EX ; 2024:724
Keywords [en]
human-computer-interaction, haptics, on-body input, Augmented Reality, glove, on-the-go
Keywords [sv]
människa-dator-interaktion, haptik, textinmatning på kroppen, Augmented Reality, handske, on-the-go
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-359763OAI: oai:DiVA.org:kth-359763DiVA, id: diva2:1936575
External cooperation
Ericsson
Supervisors
Examiners
2025-02-172025-02-112025-02-17Bibliographically approved