kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Evaluating Marketing Initiatives using Explainable Machine Learning: An Alternative to Attribution Models
KTH, School of Electrical Engineering and Computer Science (EECS).
2023 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Utvärdera Marknadsföringsinitiativ med hjälp av definierad maskininlärning : Alternativ till Attributionsmodeller (Swedish)
Abstract [en]

Since its inception, Marketing has always needed more clearly defined incrementality, i.e., a measurement of advertisement effectiveness. Nowadays, Marketing is an evergrowing business; within it, Digital Marketing is taking the spotlight. Digital Marketing brings multiple benefits, such as a global reach and a lower cost associated with customer communication. However, more importantly, customer interaction and engagement can be clearly tracked, which can help measure Marketing impact.

Nowadays, this problem is tackled in two ways, A/B testing and attribution models. Even though statistically solid and proven, A/B testing, a form of hypothesis testing, faces implementation issues and other practical aspects, leading to only sometimes being used in real-world applications. On the other hand, Attribution models are not comparable, thus not quantifiable, and good attribution models are hard to develop, leaving companies relying on third-party providers.

In short, this paper suggests that the impact of each marketing campaign can be measured in a two-step process: (1) Training a model to predict a customer's conversion, given their previous advertisement interactions; (2) Applying explainable machine learning methods to said model to infer the importance of each advertisement interaction in a user journey. The main methods used are permutation feature importance and Shapley values. The dataset is designed such that each type of advertisement interaction is a model's feature; thus, an importance value can be calculated for each interaction. On top of that, a local method - counterfactual explanations - and a possible implementation of a hyper-personal application are discussed.

The proposed solution is shown to provide more accurate attributions than most common attribution models, with the possibility of augmenting the accuracy by changing the underlying model. It is also suggested that it could benefit significantly from more data on customer demographics, generating insights into how campaigns affect different customer segments.

Abstract [sv]

Marknadsföring har sedan dess begynnelse alltid behövt en tydligare definition av inkrementalitet, det vill säga, mätningen av annonsens effektivitet. Marknadsföring är numera en ständigt växande verksamhet och inom den är det den digitala marknadsföringen som står i fokus. Digital marknadsföring ger flera fördelar t.ex. global räckvidd och lägre kostnader för kundkommunikation. Viktigare är dock att kundernas interaktion och engagemang kan spåras tydligt, detta bidrar i sig till att mäta marknadsföringens effektivitet.

Det här problemet hanteras på två sätt: AB-testning och tilldelningsmodeller. Även om AB-testning är statistiskt sett både gedigen och beprövad leder oftast problem med genomförandet och andra praktiska aspekter till att det endast ibland används i korrekta tillämpningar. Å andra sidan är tillskrivningsmodeller inte jämförbara - de saknar mätbarhet - och det är svårt att utveckla bra tillskrivningsmodeller vilket gör att företagen förlitar sig på tredjepartsleverantörer.

I korthet föreslår denna artikel att effekten av varje marknadsföringskampanj kan mätas i en tvåstegsprocess. (1) Träning av en modell för att förutsäga en kunds konvertering baserad på deras tidigare annonsinteraktioner. (2) Tillämpning av difinierade maskininlärningsmetoder på nämnda modeller för att härleda betydelsen av varje annonsinteraktion i en användares resa.

De viktigaste metoderna som användes var permutation feature importance och Shapley-värden. Datamängden utformad så att varje typ av annonsinteraktion blir en modells funktion; på så sätt kan ett betydelsevärde beräknas för varje interaktion. Dessutom diskuteras en lokal metod - kontrafaktiska förklaringar - och ett möjligt genomförande av en hyperpersonlig applikation. Den föreslagna lösningen visade sig ge mer exakta tillskrivningar än de flesta vanliga tillskrivningsmodeller, med möjlighet att öka noggrannheten genom att ändra den underliggande modellen. Det föreslås också att den skulle kunna dra stor nytta av mer data om kundernas demografi, vilket skulle generera insikter om hur kampanjer påverkar olika kundsegment.

Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology , 2023. , p. 35
Series
TRITA-EECS-EX ; 2023:103
Keywords [en]
Explainable Machine Learning, Attribution models, Marketing Automation, Search Engine Optimization, A/B testing
Keywords [sv]
Definierad maskininlärning, Attributionsmodeller, Automatisering av marknadsföring, Optimering av sökmotor, A/B-tester
National Category
Computer Sciences Computer Engineering Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-325852OAI: oai:DiVA.org:kth-325852DiVA, id: diva2:1751350
External cooperation
Avaus
Supervisors
Examiners
Available from: 2023-06-27 Created: 2023-04-17 Last updated: 2023-11-06Bibliographically approved

Open Access in DiVA

fulltext(313 kB)218 downloads
File information
File name FULLTEXT01.pdfFile size 313 kBChecksum SHA-512
22a0ae1e790301e358af1d7d0f7aa18521edda2d44976722c357091de982914f4a3131dc89ae534121f186f8d3c252c382a11cd9323ad4c445bcf9e4b0c61b84
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer SciencesComputer EngineeringComputer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 218 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 283 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf