kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Reinforcement Learning for Market Making
KTH, School of Engineering Sciences (SCI), Mathematics (Dept.), Mathematical Statistics.
KTH, School of Engineering Sciences (SCI), Mathematics (Dept.), Mathematical Statistics.
2022 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Förstärkningsinlärningsbaserad likviditetsgarantering (Swedish)
Abstract [en]

Market making – the process of simultaneously and continuously providing buy and sell prices in a financial asset – is rather complicated to optimize. Applying reinforcement learning (RL) to infer optimal market making strategies is a relatively uncharted and novel research area. Most published articles in the field are notably opaque concerning most aspects, including precise methods, parameters, and results. This thesis attempts to explore and shed some light on the techniques, problem formulations, algorithms, and hyperparameters used to construct RL-derived strategies for market making. First, a simple probabilistic model of a limit order book is used to compare analytical and RL-derived strategies. Second, a market making agent is trained on a more complex Markov chain model of a limit order book using tabular Q-learning and deep reinforcement learning with double deep Q-learning. Results and strategies are analyzed, compared, and discussed. Finally, we propose some exciting extensions and directions for future work in this research field.

Abstract [sv]

Likviditetsgarantering (eng. ”market making”) – processen att simultant och kontinuerligt kvotera köp- och säljpriser i en finansiell tillgång – är förhållandevis komplicerat att optimera. Att använda förstärkningsinlärning (eng. ”reinforcement learning”) för att härleda optimala strategier för likviditetsgarantering är ett relativt outrett och nytt forskningsområde. De flesta publicerade artiklarna inom området är anmärkningsvärt återhållsamma gällande detaljer om de tekniker, problemformuleringar, algoritmer och hyperparametrar som används för att framställa förstärkningsinlärningsbaserade strategier. I detta examensarbete så gör vi ett försök på att utforska och bringa klarhet över dessa punkter. Först används en rudimentär probabilistisk modell av en limitorderbok som underlag för att jämföra analytiska och förstärkningsinlärda strategier. Därefter brukas en mer sofistikerad Markovkedjemodell av en limitorderbok för att jämföra tabulära och djupa inlärningsmetoder. Till sist presenteras även spännande utökningar och direktiv för framtida arbeten inom området.

Place, publisher, year, edition, pages
2022. , p. 132
Series
TRITA-SCI-GRU ; 2022:233
Keywords [en]
Reinforcement learning, Market making, Deep reinforcement learning, Limit order book, Algorithmic trading, High-frequency trading, Machine learning, Artificial intelligence, Q-learning, DDQN
Keywords [sv]
Förstärkningsinlärning, Market making, Djup förstärkningsinlärning, Limitorderbok, Algoritmisk handel, Högfrekvenshandel, Maskininlärning, Artificiell intelligens, Q-learning, DDQN
National Category
Other Mathematics
Identifiers
URN: urn:nbn:se:kth:diva-317970OAI: oai:DiVA.org:kth-317970DiVA, id: diva2:1695877
External cooperation
Skandinaviska Enskilda Banken
Subject / course
Financial Mathematics
Educational program
Master of Science - Industrial Engineering and Management
Supervisors
Examiners
Available from: 2022-09-15 Created: 2022-09-15 Last updated: 2022-09-15Bibliographically approved

Open Access in DiVA

fulltext(11083 kB)5634 downloads
File information
File name FULLTEXT01.pdfFile size 11083 kBChecksum SHA-512
1062dce070b50d94f1aaa1f04c9fb74d46262eed3cce5f012584f3836acf25373a01f7e06b7403f301f0ea78caa86fff2765d610417d9ceea6ecef28621f0dfa
Type fulltextMimetype application/pdf

By organisation
Mathematical Statistics
Other Mathematics

Search outside of DiVA

GoogleGoogle Scholar
Total: 5639 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 12329 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf