Onboarding for Take-Off: An Evaluation of Onboarding Strategies for Improving First-Time Usability in a Navigational Tool for Flight Simulation
2025 (English)Independent thesis Advanced level (professional degree), 20 credits / 30 HE credits
Student thesisAlternative title
Introduktion inför start : En utvärdering av introduktionsstrategier för att stödja förstagångsanvändning i ett navigationsverktyg för flygsimulatorer (Swedish)
Abstract [en]
Navigating complex digital tools can be challenging for first-time users, particularly when the application targets a wide range of users. This study explores how in-app onboarding can improve first-time usability and learnability in Navigraph Charts as a case. The application is an advanced navigation tool for flight simulation that includes features such as charts, route planning, and real-time data. By comparing clickstream data from novice and expert users, several areas of usability challenges were identified and further investigated through exploratory usability testing. Results suggested that many issues stemmed from a lack of initial guidance rather than interface flaws alone. Based on these findings, two in-app onboarding variants were developed, grounded in different learning theories, one based on direct instruction and the other on productive failure. A second round of evaluating usability tests revealed that onboarding significantly improved task completion among novice users. While both variants proved effective, each exhibited different strengths and limitations. Which onboarding variant to implement in a similar application depends on the application’s learning objectives, user profile, and complexity. Trade-offs between the variants are further discussed in this study.
Abstract [sv]
Navigera i komplexa digitala verktyg kan vara utmanande för förstagångsanvändare, särskilt när applikationen riktar sig till en bred användargrupp. Denna studie undersöker hur inbyggd onboarding kan förbättra användbarhet (usability) och lärbarhet (learnability) vid första användningstillfället, med Navigraph Charts som exempel. Applikationen är ett avancerat navigationsverktyg för flygsimulering som innehåller funktioner såsom kartor, ruttplanering och realtidsdata. Genom att jämföra klickdata (clickstream data) från nybörjare och erfarna användare identifierades flera områden där användare upplevde svårigheter. Dessa undersöktes vidare genom användbarhetstester. Resultaten visade att många problem uppstod till följd av bristande initial vägledning snarare än enbart brister i gränssnittet. Utifrån dessa insikter utformades två onboarding-varianter, förankrade i två olika lärandeteorier. Den ena baserad på direkt instruktion och den andra baserad på produktivt misslyckande (productive failure). En andra omgång av utvärderande användartester visade att inbyggd onboarding signifikant förbättrade andel slutförda uppgifter bland nybörjare. Båda varianterna visade sig vara effektiva, men med olika styrkor och begränsningar. Vilken onboardingstrategi som bör implementeras i en liknande applikation beror på applikationens lärandemål, användarprofil och komplexitet. Avvägningar mellan varianterna diskuteras vidare i studien.
Place, publisher, year, edition, pages
2025. , p. 51
Series
TRITA-ITM-EX ; 2025:143
Keywords [en]
Usability, Learnability, User Experience (UX), First-Time User Experience (FTUE), User Onboarding, In-App Onboarding, Productive Failure, Direct Instruction, Flight Simulation
Keywords [sv]
Användbarhet, Lärbarhet, Användarupplevelse (UX), Förstagångsanvändning (FTUE), Onboarding, Inbyggd onboarding, Produktivt misslyckande, Direkt instruktion, Flygsimulering, Flyg
National Category
Engineering and Technology Educational Sciences Mechanical Engineering
Identifiers
URN: urn:nbn:se:kth:diva-364179OAI: oai:DiVA.org:kth-364179DiVA, id: diva2:1964394
External cooperation
Navigraph KB
Subject / course
Technology and Learning
Educational program
Master of Science in Engineering - Engineering and of Education
Presentation
2025-06-03, 00:00
Supervisors
Examiners
2025-06-052025-06-052025-06-05Bibliographically approved