kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Multi-step and Multi-variate Weather Forecasting using a Spatio-Temporal Transformer Structure Neural Network
KTH, School of Engineering Sciences (SCI), Engineering Mechanics, Aerospace, moveability and naval architecture.
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Multivariat och flerstegs väderprognos med en spatio-temporal transformerstrukturerad neuralt nätverk (Swedish)
Abstract [en]

Due to the increasing emphasis on environmental protection and the higher demands for air traffic management, the aviation industry is seeking a method to better predict the environmental variables regarding aircraft emissions. The study introduces STSCBRE (Spatio-Temporary Self-attention CNN-BiLSTM Network with Relative Embedding), a novel model for multi-step, multi-variate time series forecasting, aimed at improving environmental variable prediction in aviation emissions analysis. It enhances Transformer architecture by incorporating relative position encoding and variable embedding to capture spatio-temporal dependencies more effectively. Unlike traditional Transformers, which rely on absolute positioning and often overlook spatial factors, STSCBRE restructures multi-head attention to better utilize spatiotemporal dependencies. The presented model outperforms others in NRMSE and maintains systematic prediction errors below 2%. An ablation test is performed to enhance the model's transparency and assess the contribution of each module within the overall framework.

Abstract [sv]

På grund av det ökande fokuset på miljöskydd och de högre kraven på flygtrafikledning, söker flygindustrin en metod för att bättre förutsäga miljövariabler relaterade till flygutsläpp. Studien introducerar STSCBRE (Spatio-Temporal Self-attention CNN-BiLSTM Network with Relative Embedding), en ny modell för flerstegs och multivariat tidsserieprognos som syftar till att förbättra förutsägelser av miljövariabler inom flygutsläpp. Modellen förbättrar Transformer-arkitekturen genom att införliva relativ positionskodning och variabelinbäddning för att mer effektivt fånga rumsliga och tidsmässiga beroenden. Till skillnad från traditionella Transformer-modeller, som förlitar sig på absolut positionering och ofta förbiser rumsliga faktorer, omstrukturerar STSCBRE multihead-attention för att bättre utnyttja rumsliga och tidsmässiga beroenden. Modellen överträffar andra i NRMSE och upprätthåller systematiska förutsägelser med fel under 2%. Ett ablationstest har utförts för att öka modellens transparens och bedöma varje moduls bidrag inom den övergripande strukturen.

Place, publisher, year, edition, pages
2024.
Series
TRITA-SCI-GRU ; 2024:364
Keywords [en]
Multi-step, Multi-variate, Transformer, Self-attention, Relative embedding, Weather forecasting, Spatio-temporal network
Keywords [sv]
Flersteg, Multivariat, Transformator, Självuppmärksamhet, Relativ inbäddning, Väderprognoser, Rumsligt-tillfälligt nätverk
National Category
Aerospace Engineering
Identifiers
URN: urn:nbn:se:kth:diva-353899OAI: oai:DiVA.org:kth-353899DiVA, id: diva2:1900967
Subject / course
Aeronautical Engineering
Educational program
Master of Science - Aerospace Engineering
Supervisors
Examiners
Available from: 2024-09-25 Created: 2024-09-25 Last updated: 2024-09-25Bibliographically approved

Open Access in DiVA

fulltext(3771 kB)237 downloads
File information
File name FULLTEXT01.pdfFile size 3771 kBChecksum SHA-512
7d6930e0cab78797bb4e2049f8ed802336c016e3bd21c0c1af1c34b252e35a36dfb12a6ee213c55e0b5c963224f8976ab98418167e74a151674154703baabbb6
Type fulltextMimetype application/pdf

By organisation
Aerospace, moveability and naval architecture
Aerospace Engineering

Search outside of DiVA

GoogleGoogle Scholar
Total: 237 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 164 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf