Financial market prediction is a critical area of research with significant implications for market participants such as traders and market makers. In this thesis, we investigate the effectiveness of attention-based time-series forecasting models in the context of foreign exchange (FX) trading. The forecasting of a multi-step spread prediction is done by introducing a model that draws its inspiration from, and utilizes the self-attention mechanism in the seminal work "Attention is All You Need".

This model is trained and tested using mean squared error (MSE) on one week of intraday market data in the EUR/SEK currency pair and evaluated using root mean square error (RMSE), mean absolute error (MAE), and confusion matrices. Comparative analysis is conducted against traditional models including recurrent neural networks (RNN) and long short-term memory (LSTM) architectures, as well as two simplistic models.

The results demonstrate that our attention-based model outperforms all baseline models, providing some evidence of the effectiveness of attention mechanisms in capturing complex temporal dependencies in financial data. However, the model faces challenges in accurately predicting periods of no movement, which are crucial for market makers. Future work is primarily focused on addressing this shortfall through various proposed enhancements.

In conclusion, the attention-based model shows promise in enhancing predictive performance in FX trading. By addressing identified limitations and implementing proposed enhancements, the model has the potential to become a valuable tool for market participants, facilitating informed decision-making and risk management strategies for market makers.

Finansiell marknadsprogons är ett kritiskt forskningsområde med betydande implikationer för marknadsdeltagare så som handlare och marknadsbildare. I denna uppsatts undersöker vi effektiveten hos självuppmärksammhetsbaserade tidsserieprognosmodeller inom ramen för valutahandel (FX). Prognosering av skillnad mellan köp och säljpris i flera steg görs genom att introducera en modell som hämtar sin inspiration från och använder sig av självuppmärksamhetsmekanismen i rapporten "Attention is All You Need".

Modellen är tränad och testad med medelvärdet av kvadratfelet på prediktionen (MSE) på en veckas intradagsdata i valutaparet EUR/SEK, och evalueras med roten ur kvadratfelet på prediktionen (RMSE), medelvärdet på absoluta felet (MAE), samt förvirringsmatriser. En jämförande analys mot mer traditionella modeller i sekvensmodellering, rekursiva nätverk (RNN) och långt-och kortsiktigt minne (LSTM), samt två enklare modeller görs.

Resultaten visar att vår framtagna modell överträffar alla jämförelsemodeller och framför viss evidens för effektiviteten hos uppmärsamhetsmodellen i att fånga komplexa tidsberoenden i finansiell data. Dock står modellen inför utmaningar gällande att förutsäga perioder utan rörelse, vilket är kritiskt för en marknadsbildare. Framtida arbete addresserar primärt denna brist i modellen med flertalet förslag på förbättring.

Sammafattningsvis så visar den uppmärksamhetsbaserade modellen lovande resultat i sin predektiva presetanda inom FX handel. Genom att addressera och identifiera begränsningarna, samt implementera de förslagna förbättrningarna så har modellen potential att bli ett värdefullt verktyg för marknadsdeltagare. Modellen har potential att underlätta beslutsfattande och riskhanteringsstrategier för en marknadsbildare.