In this thesis generative models in machine learning are developed with the overall aim to improve methods for algorithmic trading on high-frequency electronic exchanges based on limit order books. The thesis consists of two papers.

In the first paper a new generative model for the dynamic evolution of a limit order book, based on recurrent neural networks, is developed. The model captures the full dynamics of the limit order book by decomposing the probability of each transition of the limit order book into a product of conditional probabilities of order type, price level, order size, and time delay. Each such conditional probability is modeled by a recurrent neural network. In addition several evaluation metrics for generative models related to order execution are introduced. The generative model is successfully trained to fit both synthetic data generated by a Markov model and real data from the Nasdaq Stockholm exchange.

The second paper explores reinforcement learning methods to find optimal policies for trading execution in Markovian models. A number of different approaches are implemented and compared, including a baseline time-weighted average price (TWAP) strategy, tabular Q-learning, and deep Q-learning based on predefined features as well as with the entire limit order book as input. The results indicate that it is preferable to use deep Q-learning with the entire limit order book as input to design efficient execution policies. In order to improve the understanding of the decisions taken by the agent, the learned action-value function for the deep Q-learning with predefined features is visualized as a function of selected features.  

I denna avhandling utvecklas generativa modeller i maskininlärning med syfte att förbättra metoder för algoritmisk handel på högfrekventa elektroniska marknader baserat på orderböcker. Avhandlingen består av två artiklar.

Den första artikeln utvecklar en generativ modell för den dynamiska utvecklingen av en orderbok baserad på rekurrenta neurala nätverk. Modellen fångar orderbokens fullständiga dynamik genom att bryta ned sannolikheten för varje förändring av orderboken i en produkt av betingade sannolikheter för ordertyp, prisnivå, orderstorlek och tidsfördröjning. Var och en av de betingade sannolikheterna modelleras med ett rekurrent neuralt nätverk.  Dessutom introduceras flera evalueringsmetoder för generativa modeller relaterade till orderexekvering. Den generativa modellen tränas framgångsrikt både för syntetisk data, genererad av en Markovmodell, och riktig data från Nasdaq Stockholm.

Den andra artikeln utforskar förstärkningsinlärning för att hitta optimala strategier för orderexekvering i Markovska modeller. Flera olika metoder implementeras och jämförs, inklusive en referensstrategi med tidsviktat medelpris, tabulär Q-inlärning och djup Q-inlärning baserade både på fördefinierade statistikor och med hela orderboken som indata. Resultaten indikerar att det är fördelaktigt att använda hela orderboken som indata för djup Q-inlärning. För att förbättra förståelsen för besluten som agenten tar, visualiseras Q-funktionen för djup Q-inlärning som funktion av de fördefinierade statistikorna.