In many modern video games, there exists a large capacity to continuously adjust in-game parameters and observe their effect on revenue. Benchmarking optimization policies' ability to optimize revenue over these parameters becomes a central issue, but is often hindered by long time horizons and the risk associated with deploying potentially poorly calibrated optimizers in production. Instead, this report investigates if it is possible to create a simulation of user behavior, in which revenue responses can be observed after changes in the parameter levels, and if optimizers can, as a pilot study, be reliably evaluated on said simulation. To this end, a Gaussian process was fitted to a large dataset of real parameter and revenue levels observed in a certain video game, and used as the base for a user simulation. Multiple variations of Linear regression-based gradient descent methods and Bayesian optimization were then benchmarked on different versions and realizations of this simulation. In general, the regression-based gradient methods appeared to outperform Bayesian optimization when sufficiently many users (300) were included in the simulation, while Bayesian optimization performs better when the number of users was very small (15). The reason for this is likely that the gradient estimates capture more information than Bayesian optimization when the number of users is large, but become noise-dominated as it decreases. Meanwhile, Bayesian optimization is robust to large magnitudes of observational noise, and adjusts its model assumptions accordingly. However, the reliability of these results is limited by dissimilarity between the simulation and the real system. For the simulation to become more faithful, the simulation must incorporate heterogeneity across the users' responses to different parameter vectors, and user revenues must be made correlated across time. Whether pure revenue maximization is a desirable objective is discussed. It is suggested to investigate if metrics such perceived autonomy and competence can be incorporated into the objective, which might increase user retention and long-term revenue.

I många moderna spel finns det möjlighet att kontinuerligt justera spelparametrar och observera deras effekt på omsättning. Att benchmarka olika optimeringsmetoders förmåga att optimera omsättning över dessa parametrar blir centralt, men hindras ofta av långa tidshorisonter och risken associerad med att produktionssätta potentiellt dåligt kalibrerade optimeringsmetoder. Denna rapport fokuserar istället på om det är möjligt att skapa en simulering av användarbeteende, i vilken ändringar i omsättning kan observeras efter att ha justerat parameternivåerna, och om optimerare i en pilotstudie tillförligtligt kan evalueras på sagda simulering. Till detta ändamål anpassades en gaussisk process till ett stort dataset som inehöll parameter- och omsättningsvärden för ett riktigt spel, och användes som basen i en användarsimulering. Flera variationer av linjärregresionsbaserad gradientnedstigning och bayesisk optimering utvärderades sedan på olika versioner och realizationer av sagda simulering. I stora drag presterade gradientnedstigning bättre än bayesisk optimering om det fanns tillräckligt många användare inkluderade i simuleringen (300), medan bayesisk optimering presterade bättre när antalet användare var väldigt litet (15). Anledningen bakom detta är sannolikt att gradientestimeringarna fångar mer information än bayesisk optimering när antalet användare är stort, men blir korrumperade av brus när det minskar. Å andra sidan är bayesisk optimering robust inför stora magnituder av observationsbrus, och justerar sina modelantaganden efter det. Resultatens validitet begränsas dock av olikheter mellan simuleringen och det verkliga systemet. För att simuleringen ska bli mer lik det verkliga systemet måste den ta hänsyn till heterogenitet mellan användares svar på olika parametervektorer, och användares spenderande måste göras korrelerat över tidsdimensionen. Om ren maximering av omsättningen kan ses som ett önskvärt mål diskuteras. Det föreslås att undersöka om mått såsom upplevd autonomitet och skicklighet kan inkluderas i målfunktionen, vilket kan öka användarretention och långsiktig omsättning.