Modelling Hypotheses in Continuous Experimentation: A Template-Based Approach
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesis
Abstract [en]
Context: In the pursuit of efficient methodologies for assessing user value and product success in the market, organizations are increasingly turning to strategic practices such as extensive market research and analysis. However, companies typically operate with a high degree of uncertainty and face the challenge of quickly validating their ideas and achieving market traction. As the software development lifecycle becomes more iterative and rapid, the need for efficient and effective continuous experimentation (CE) becomes paramount. Objective: The primary objective of this research is to develop a structured and standardized hypothesis template model that can transform assumptions into well-formed, testable hypotheses, yielding meaningful experimentation results. The goal is to formalize experiment hypotheses, thereby automating and improving this critical component of the CE process. Method: To achieve this, a mixed-methods approach was employed, combining a systematic literature review (SLR) with semi-structured interviews with industry experts. The SLR provided a foundational understanding of existing hypothesis types and structures, while the interviews offered practical insights into current industry practices and challenges. Result: The results demonstrate that the proposed hypothesis model effectively captures the essential components of hypothesis formulation, providing a comprehensive template model for modelling hypotheses. The model was validated through feedback from industry experts, highlighting its strengths in promoting consistency and reducing human error. Conclusion: In conclusion, the research presents a robust hypothesis model that significantly enhances the hypothesis-driven experimentation process in software development. By addressing common challenges and offering a clear framework, the model facilitates more effective and efficient CE. Future work based of model evaluation and feedback from industry experts includes simplifying the model for broader accessibility, integrating device-specific considerations, improving the handling of problem hypotheses, and developing machine-readable experiment hypotheses for CE automation.
Abstract [sv]
Sammanhang: I strävan efter effektiva metoder för att bedöma användarvärde och produkt framgång på marknaden vänder sig organisationer alltmer till strategiska metoder som t.ex omfattande marknadsundersökningar och analyser. Företag verkar dock vanligtvis med en hög grad av osäkerhet och möta utmaningen att snabbt validera sina idéer och uppnå marknad dragning. I takt med att mjukvaruutvecklingens livscykel blir mer iterativ och snabb, kommer behovet av effektiv och effektiv kontinuerlig experimentering (CE) blir av största vikt. Mål: Det primära målet med denna forskning är att utveckla en strukturerad och standardiserad hypotesmallmodell som kan omvandla antaganden till välformade, testbara hypoteser, ger meningsfulla experimentresultat. Målet är att formalisera experimenthypoteser, därigenom automatisera och förbättra denna kritiska komponent i CE-processen. Metod: För att uppnå detta användes en blandad metod, som kombinerar en systematisk litteraturöversikt (SLR) med semistrukturerade intervjuer med branschexperter. SLR tillhandahålls en grundläggande förståelse av befintliga hypotestyper och strukturer, medan intervjuerna erbjöd praktiska insikter i nuvarande branschpraxis och utmaningar. Resultat: Resultaten visar att den föreslagna hypotesmodellen effektivt fångar väsentliga komponenter i hypotesformulering, vilket ger en omfattande mallmodell för modellering av hypoteser. Modellen validerades genom feedback från branschexperter, lyfta fram dess styrkor när det gäller att främja konsekvens och minska mänskliga fel. Slutsats: Sammanfattningsvis presenterar forskningen en robust hypotesmodell som signifikant förbättrar den hypotesdrivna experimentprocessen inom mjukvaruutveckling. Genom att tilltala gemensamma utmaningar och erbjuder ett tydligt ramverk, underlättar modellen effektivare och effektiv CE. Framtida arbete baserat på modellutvärdering och feedback från branschexperter inkluderar förenkla modellen för bredare tillgänglighet, integrera enhetsspecifika överväganden, förbättra hanteringen av problemhypoteser och utveckla maskinläsbara experiment hypoteser för CE-automatisering.
Place, publisher, year, edition, pages
2024. , p. 84
Series
TRITA-EECS-EX ; 2024:525
Keywords [en]
Assumption, Hypothesis, Continuous Experimentation, Modelling, Automation
Keywords [sv]
Antagande, Hypotes, Kontinuerlig Experimentering, Modellering, Automation
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-352606OAI: oai:DiVA.org:kth-352606DiVA, id: diva2:1894753
External cooperation
Aalto University
Supervisors
Examiners
2024-10-012024-09-032024-10-01Bibliographically approved