Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
A/B testing data-driven user experinece
KTH, School of Information and Communication Technology (ICT).
2017 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

A/B testing was an unpopular part in big data area in the past. Because of the unequal investment (finance and techniques) return have always been disappointing to the market. Fortunately, in recent years with lowering barriers to entry, many companies have the ability to initiate A/B testing. The barriers are expressed as specific cost on techniques and financial. A/B testing has become an emerging technique of optimizing web pages or applications. However, the feedback from real market is less productive in some ways than we anticipated. One of the important reasons leading to the rising complaints is that A/B testing is abused. At present, more developers step into A/B testing thinking it can easily help them to increase the conversion rate by using popular A/B testing analysis tools such as Google Analytics and Optimizely, but the important knowledge and research before testing are ignored. A/B testing is based on hypothesis and the outcome of the hypothesis belongs to predictive conclusion. So the test initiating from an arbitrary hypothesis will inevitably lead to errors. What is worse is that with increasing business needs, sometimes only one metric is not enough to decide whether the change is good or not. Also, when more metrics are involved into the evaluation system, the decision making becomes more complicated. Therefore, the decision engine is implemented for solving these kind of problems by selection of representative testing scenarios and related metrics, statistical significance of sample and algorithms applicability. In comparison to popular analysis tools, the decision engine is more comprehensive, it is guidance and algorithms selective. It also has the ability to run multiple metrics simultaneously. The data-driven decision engine evolves A/B testing to the next generation.

Abstract [sv]

A/B testning var en impopulär del i stora dataområde i det förflutna. På grund av den ojämna investeringar (finans och teknik) avkastning har alltid varit en besvikelse för marknaden. Lyckligtvis under senare år med att sänka inträdeshinder, många företag har förmågan att initiera A/B testning. Barriärerna uttrycks som specifik kostnad på teknik och finansiella. A/B testning har blivit en ny teknik för att optimera webbsidor eller applikationer. Dock är återkopplingen från verkliga marknaden mindre produktiva på vissa sätt än vi väntat. En av de viktiga orsakerna till de stigande klagomål är att A/B testning missbrukas. För närvarande fler utvecklare kliva in A/B testning tro att det kan enkelt hjälpa dem att öka konverteringsgraden genom att använda populära A/B-testning analysverktyg som Google Analytics och Optimizely, men det viktiga kunskap och forskning innan testning ignoreras. A/B testning är baserad på hypotesen och resultatet av hypotesen tillhör prediktiv slutsats. Så testet inleda från en godtycklig hypotes kommer oundvikligen att leda till fel. Vad är värre är att med ökande affärsbehov, ibland bara ett mätvärde är inte tillräckligt för att avgöra om förändringen är bra eller inte. Dessutom, när fler mätvärden är inblandade i utvärderingssystemet, blir beslutsfattandet mer komplicerat. Därför är beslutet motorn genomförs för att lösa denna typ av problem genom val av representativa testscenarier och statistik, statistisk signifikans av prov och algoritmer användbarhet. I jämförelse med populära analysverktyg, är beslutet motorn mer omfattande, det är vägledning och algoritmer selektiv. Den har också förmågan att köra flera mätvärden samtidigt. Den datadriven beslutsmotor utvecklas A/B testning till nästa generation.

Place, publisher, year, edition, pages
2017. , 52 p.
Series
TRITA-ICT-EX, 2017:5
Keyword [en]
Big data, A/B testing, Data-driven, Decision engine, Metrics
Keyword [sv]
Stora data, A / B-testning, Datadrivna, Beslut motor Statistik
National Category
Computer and Information Science
Identifiers
URN: urn:nbn:se:kth:diva-207080OAI: oai:DiVA.org:kth-207080DiVA: diva2:1095629
Subject / course
Computer Science
Educational program
Master of Science - Software Engineering of Distributed Systems
Supervisors
Examiners
Available from: 2017-05-15 Created: 2017-05-15 Last updated: 2017-05-15Bibliographically approved

Open Access in DiVA

No full text

By organisation
School of Information and Communication Technology (ICT)
Computer and Information Science

Search outside of DiVA

GoogleGoogle Scholar

Total: 5 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf