Recent advancements in machine learning have opened up new possibilities for algorithmic trading, enabling the optimization of trading strategies in complex market environments. This thesis aims to improve algorithmic trading methods by developing machine learning models for the realistic simulation of limit order books and the learning of optimal strategies. Consisting of three papers, the thesis combines theoretical insights with practical applications.

The first paper presents a generative model for the dynamic evolution of a limit order book, using recurrent neural networks. The model captures the complete dynamics of the limit order book by decomposing the probability of each transition of the limit order book into a product of conditional probabilities for order type, price level, order size, and time delay. Each of these conditional probabilities is modeled by a recurrent neural network. Additionally, the paper introduces several evaluation metrics for generative models related to order execution. The generative model is trained on both synthetic data generated by a Markov model and real data from the Nasdaq Stockholm exchange.

The second paper proposes an iterative deterministic policy gradient method for stochastic control problems in finance, which incorporates both temporary and permanent market impact. The method is based on a derived policy gradient theorem and uses mini-batch stochastic gradient descent for optimization. It is applied to both order execution and option hedging, demonstrating consistently strong performance across several objectives and market dynamics. 

The third paper studies a policy gradient method with parameter-based exploration, where a single deterministic policy is sampled at the beginning of an episode and used throughout the whole episode. A marginal equivalence between parameter-based and action-based exploration is shown, facilitating the adaption of previously established convergence results for policy gradient methods with action-based exploration. Convergence rates to first-order stationary points are derived under mild assumptions, and global convergence is established under an introduced Fisher-non-degenerate condition for parameter-based exploration.

Den senaste tidens framsteg inom maskininlärning har skapat nya förutsättningar för algoritmisk handel och möjliggjort optimering av handelsstrategier i komplexa miljöer. Syftet med denna avhandling är att förbättra metoder för algorithmisk handel genom att utveckla modeller baserade på maskininlärning för realistisk simulering av orderböcker samt för lärande av optimala strategier. Avhandlingen består av tre artiklar och kombinerar teoretiska insikter med praktiska tillämpningar.

Den första artikeln utvecklar en generativ modell för den dynamiska utvecklingen av en orderbok baserad på rekurrenta neurala nätverk. Modellen fångar orderbokens fullständiga dynamik genom att bryta ner sannolikheten för varje förändring av orderboken i en produkt av betingade sannolikheter för ordertyp, prisnivå, orderstorlek och tidsfördröjning. Var och en av dessa betingade sannolikheter modelleras med ett rekurrent neuralt nätverk. Dessutom introducerar artikeln flera evalueringsmetoder för generativa modeller relaterade till orderexekvering. Den generativa modellen tränas framgångsrikt både för syntetisk data, genererad av en Markovmodell, och verklig data från Nasdaq Stockholm.

Den andra artikeln föreslår en iterativ deterministisk policygradientmetod för stokastiska kontrollproblem inom finans, som inkluderar både temporär och permanent marknadspåverkan. Metoden är baserad på ett härlett policy gradient teorem och använder stokastisk gradientnedstigning för optimering. Den tillämpas framgångsrikt på både orderexekvering och optionshedging och visar konsekvent bra resultat för varierande objektiv och marknadsdynamik.

Den tredje artikeln studerar en policygradientmetod med parameterbaserad utforskning, där en enda deterministisk policy väljs slumpmässigt i början av en episod och används under hela episoden. En ekvivalens mellan parameterbaserad och handlingsbaserad utforskning visas, vilket möjliggör anpassning av tidigare etablerade konvergensresultat för policygradientmetoder med handlingsbaserad utforskning. Konvergenshastigheter till första ordningens stationära punkter härleds under milda antaganden, och global konvergens etableras under ett introducerat villkor gällande Fisher-icke-degenerering för parameterbaserad utforskning.