kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Modelling Hypotheses in Continuous Experimentation: A Template-Based Approach
KTH, School of Electrical Engineering and Computer Science (EECS).
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

Context: In the pursuit of efficient methodologies for assessing user value and product success in the market, organizations are increasingly turning to strategic practices such as extensive market research and analysis. However, companies typically operate with a high degree of uncertainty and face the challenge of quickly validating their ideas and achieving market traction. As the software development lifecycle becomes more iterative and rapid, the need for efficient and effective continuous experimentation (CE) becomes paramount. Objective: The primary objective of this research is to develop a structured and standardized hypothesis template model that can transform assumptions into well-formed, testable hypotheses, yielding meaningful experimentation results. The goal is to formalize experiment hypotheses, thereby automating and improving this critical component of the CE process. Method: To achieve this, a mixed-methods approach was employed, combining a systematic literature review (SLR) with semi-structured interviews with industry experts. The SLR provided a foundational understanding of existing hypothesis types and structures, while the interviews offered practical insights into current industry practices and challenges. Result: The results demonstrate that the proposed hypothesis model effectively captures the essential components of hypothesis formulation, providing a comprehensive template model for modelling hypotheses. The model was validated through feedback from industry experts, highlighting its strengths in promoting consistency and reducing human error. Conclusion: In conclusion, the research presents a robust hypothesis model that significantly enhances the hypothesis-driven experimentation process in software development. By addressing common challenges and offering a clear framework, the model facilitates more effective and efficient CE. Future work based of model evaluation and feedback from industry experts includes simplifying the model for broader accessibility, integrating device-specific considerations, improving the handling of problem hypotheses, and developing machine-readable experiment hypotheses for CE automation.

Abstract [sv]

Sammanhang: I strävan efter effektiva metoder för att bedöma användarvärde och produkt framgång på marknaden vänder sig organisationer alltmer till strategiska metoder som t.ex omfattande marknadsundersökningar och analyser. Företag verkar dock vanligtvis med en hög grad av osäkerhet och möta utmaningen att snabbt validera sina idéer och uppnå marknad dragning. I takt med att mjukvaruutvecklingens livscykel blir mer iterativ och snabb, kommer behovet av effektiv och effektiv kontinuerlig experimentering (CE) blir av största vikt. Mål: Det primära målet med denna forskning är att utveckla en strukturerad och standardiserad hypotesmallmodell som kan omvandla antaganden till välformade, testbara hypoteser, ger meningsfulla experimentresultat. Målet är att formalisera experimenthypoteser, därigenom automatisera och förbättra denna kritiska komponent i CE-processen. Metod: För att uppnå detta användes en blandad metod, som kombinerar en systematisk litteraturöversikt (SLR) med semistrukturerade intervjuer med branschexperter. SLR tillhandahålls en grundläggande förståelse av befintliga hypotestyper och strukturer, medan intervjuerna erbjöd praktiska insikter i nuvarande branschpraxis och utmaningar. Resultat: Resultaten visar att den föreslagna hypotesmodellen effektivt fångar väsentliga komponenter i hypotesformulering, vilket ger en omfattande mallmodell för modellering av hypoteser. Modellen validerades genom feedback från branschexperter, lyfta fram dess styrkor när det gäller att främja konsekvens och minska mänskliga fel. Slutsats: Sammanfattningsvis presenterar forskningen en robust hypotesmodell som signifikant förbättrar den hypotesdrivna experimentprocessen inom mjukvaruutveckling. Genom att tilltala gemensamma utmaningar och erbjuder ett tydligt ramverk, underlättar modellen effektivare och effektiv CE. Framtida arbete baserat på modellutvärdering och feedback från branschexperter inkluderar förenkla modellen för bredare tillgänglighet, integrera enhetsspecifika överväganden, förbättra hanteringen av problemhypoteser och utveckla maskinläsbara experiment hypoteser för CE-automatisering.

Place, publisher, year, edition, pages
2024. , p. 84
Series
TRITA-EECS-EX ; 2024:525
Keywords [en]
Assumption, Hypothesis, Continuous Experimentation, Modelling, Automation
Keywords [sv]
Antagande, Hypotes, Kontinuerlig Experimentering, Modellering, Automation
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-352606OAI: oai:DiVA.org:kth-352606DiVA, id: diva2:1894753
External cooperation
Aalto University
Supervisors
Examiners
Available from: 2024-10-01 Created: 2024-09-03 Last updated: 2024-10-01Bibliographically approved

Open Access in DiVA

fulltext(2327 kB)271 downloads
File information
File name FULLTEXT01.pdfFile size 2327 kBChecksum SHA-512
5e9924c944af1b4c7601483d58d26dbcbefd9bd6a0d14c0a5108a6580a3b7fc0e4f1efca8b07b3f0cf26c9c359115c0f7b1223c11b7a0771d7f6fddef2bec181
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 271 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 180 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf