This thesis explores the challenge of accurately predicting and classifying retail order flow in stock markets, using Nasdaq Stockholm as a case study. Retail order flow refers to the subset of stock market transactions initiated by individual investors as opposed to institutional ones. Understanding the nuances of this flow is vital as it can significantly influence market dynamics. Despite the extensive literature on market prediction using various data sources, few studies have specifically isolated and analyzed the characteristics of retail activities using machine learning. The complexity and lack of focus on this area in previous research was the primary motivation to carry out this thesis, given the sophisticated data analysis and machine learning techniques required. Our approach utilized a binary classification system leveraging state-of-the-art machine learning models including Logistic Regression, Random Forest, AdaBoost, Recurrent Neural Networks, and Long Short-Term Memory. We also engaged in data preprocessing to manage issues such as outliers and imbalanced datasets. Our results demonstrate potential for the applied models to discriminate effectively between retail and non-retail order flows, with the ensemble and deep learning models showing particularly promising performance. The successful classification model not only provides Nasdaq with a tool to better understand and predict market behaviors but also contributes to academic discussions about the dynamics of market participants. Future researchers and market analysts can build on these findings to develop better market models. By identifying the distinct behaviors and impacts of retail investors, this thesis fills a notable gap in existing financial literature and provides a robust framework for further exploration and application in real-world scenarios.

Denna avhandling undersöker utmaningen med att förutsäga och klassificera privatkundhandelns orderflöden på aktiemarknader, med Nasdaq Stockholm som fallstudie. Privatkundhandels orderflöde avser de transaktioner på aktiemarknaden som initieras av privata aktörer, till skillnad från institutionella aktörer. Förståelsen av detaljerna i detta flöde kan vara viktigt för att precist kartlägga marknadsdynamiken. Trots en omfattande mängd litteratur om marknadsprediktioner med hjälp av olika datakällor, har få studier specifikt isolerat och analyserat karaktärsdragen hos privatkundshandeln med användning av maskininlärning. Komplexiteten och det tidigare forskningens bristande fokus på detta område var huvudorsaken till genomförandet av denna avhandling, med tanke på de avancerade dataanalys- och maskininlärningstekniker som krävs. Vår metodik använde ett binärt klassificeringssystem som applicerar moderna maskininlärningsmodeller, inklusive Logistic Regression, Random Forest, AdaBoost, Recurrent Neural Networks och Long Short-Term Memory. Vi genomförde även bearbetning av data för att hantera problem som avvikande värden och obalanserade dataset. Resultaten visar att de applicerade modellerna har potential att effektivt skilja mellan privatkunder samt icke-privatkunder från orderflöden, där både ensemble- och djupinlärningsmodellerna visade särskilt lovande prestanda. Den framgångsrika klassificeringsmodellen ger inte bara Nasdaq ett verktyg för att bättre förstå och förutsäga marknadsbeteenden, utan bidrar även till akademiska diskussioner om dynamiken mellan investerare i marknaden. Framtida forskare och marknadsanalytiker kan bygga vidare på detta resultat för att utveckla bättre marknadsmodeller. Genom att identifiera de unika beteendena och påverkan från privata investerare fyller denna avhandling en märkbar lucka i den befintliga finansiella litteraturen och erbjuder ett robust ramverk för fortsatt utforskning och tillämpning.