A comprehensive understanding of customers’ future Lifetime Value (LTV) enables companies to assess the return on marketing investment and may provide a useful tool when determining a company’s value. Furthermore, LTV predictions allow marketers to segment customers based on the predicted LTV and, in turn, effectively allocate marketing resources for acquisition, retention, and cross-selling. Given the heavy-tailed distribution of LTV, we evaluate the model’s predictive performance from two aspects: discrimination and calibration. Model discrimination assesses a model’s ability to differentiate high-value customers from low-value ones. Model calibration measures how closely the prediction values match the label values. However, this evaluation process can be time-consuming and resource-intensive due to the manual process of weighting the two measures. This thesis investigates the two aspects and defines a weighted mean for model evaluation. Based on our analysis, we conjecture that the model discrimination is weighted 19 times higher than model calibration. In the related work, we also observe a lack of information on how the accuracy measures improve as the time period of historical data is increased. This thesis investigates how the predictive accuracy improves as the time period is increased. Empirically, we define our results based on two real-world public data sets and one privately sourced data set.

För många bolag är Lifetime Value (LTV), eller Livstidsvärde, ett bra mått för att identifiera värdefulla kunder och uppskatta ett bolags framtida värde. Måttet definieras som det totala affärsvärdet för en enskild kund under hela deras relation till bolaget. Vid applicering av maskininlärning för att förutsäga LTV på individuell basis, utvärderas modellen utifrån två aspekter: modellens förmåga att bestämma fördelningen av kundbasens LTV och hur nära det förutsagda värdet är det verkliga värdet. I relaterade studier noterar vi en brist på information om den relativa vikten av dessa aspekter och en lösning som möjliggör en automatiserad evalueringsmetod. Projektets syfte är därför att utveckla en metod för vägning av evalueringsparametrar, tillhörande respektive aspekt. Därtill genomförs en analys av hur modellens prestanda förbättras när modellen får tillgång till mer historisk data för nya kunder. Genom denna metod definierar vi en evalueringsmetrik och fastställer att LTV modellen ger avtagande förbättring vid ökade mängder av historisk data.