kth.sePublications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Enhancing Ultra-Reliable Low-Latency Communications Availability in Multi-Connectivity Scenarios Using Deep Reinforcement Learning: An Entropy-based Deep Reinforcement Learning Framework for Optimising Transmission Path Selection via Spatial Diversity
KTH, School of Electrical Engineering and Computer Science (EECS).
2025 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE creditsStudent thesisAlternative title
Förbättring av tillgängligheten för extremt-tillförlitlig och lågfördröjningskommunikation i fleranslutningsscenarier med hjälp av djup förstärkningsinlärning : Ett entropibaserat djup förstärkningsinlärningsramverk för optimering av transmissionsvägsval genom rumslig diversitet (Swedish)
Abstract [en]

Ultra-reliable low-latency communication (URLLC) services are crucial for applications that require real-time control, such as industrial automation. Conventional diversity techniques — in time, frequency, or space — improve communication service availability but often lead to redundant transmissions and excessive resource consumption, which is problematic in bandwidth- limited systems. In this thesis, the feasibility of enhancing the availability of URLLC services through dynamic spatial diversity within multi-connectivity scenarios is investigated. Specifically, an entropy-based deep reinforcement learning (DRL) framework is proposed utilising the soft actor-critic (SAC) algorithm to optimise spatial diversity by dynamically selecting transmission paths and determining the number of packet instances to send. The proposed solution, implemented in a 3GPP-compliant simulator, was evaluated in a factory automation setting featuring packet duplication via dual connectivity. Thanks to its efficient use of packet duplication and ability to balance the load, the DRL-based approach substantially outperformed the single-path transmission and static packet duplication benchmarks, enabling up to 13 and 23 percentage points more users to achieve two-nines availability for the 1200- bit and 1600-bit traffic scenarios, respectively.

Abstract [sv]

Extremt-tillförlitlig lågfördröjningskommunikation (URLLC) tjänster är av- görande för applikationer som kräver realtidskontroll, såsom industriell automation. Konventionella diversitetstekniker — i tid, frekvens eller rum — förbättrar tillgängligheten av kommunikationstjänster men leder ofta till onödig resurskonsumption, vilket är ett problem i bandbreddsbegränsade system. I detta examensarbete undersöks genomförbarheten av att förbättra tillgängligheten av URLLC-tjänster genom dynamisk rumslig diversitet i multianslutningsscenarier. Specifikt föreslås ett entropibaserat ramverk för djup förstärkningsinlärning (DRL) som tillämpar soft actor-critic-algoritmen (SAC) för att optimera rumslig diversitet genom att dynamiskt välja trans- missionsvägar samt bestämma antal paket som ska skickas. Den föreslagna lösningen, implementerad i en 3GPP-kompatibel simulator, utvärderades i en fabriksautomationsmiljö med paketduplicering via dubbelanslutning. Tack vare dess effektiva användning av paketduplicering och förmågan att balansera belastningen, det DRL-baserade metoden överträffade avsevärt riktvärderna med enkelvägstransmission och statisk paketduplicering, vilket möjliggjorde att 13 och 23 procentenheter fler användare uppnådde en tillgänglighet med två nior för trafikscenarierna med 1200 respektive 1600 bitar.

Place, publisher, year, edition, pages
2025. , p. 73
Series
TRITA-EECS-EX ; 2025:1
Keywords [en]
5G, ultra-reliable low-latency communication (URLLC), availability, packet duplication, dual connectivity, deep reinforcement learning (DRL), spatial diversity, soft actor-critic (SAC), factory automation
Keywords [sv]
5G, extremt-tillförlitlig och lågfördröjningskommunikation (URLLC), till- gänglighet, paketduplicering, dubbelanslutning, djup förstärkningsinlärning (DRL), rumslig diversitet, soft actor-critic (SAC), fabriksautomation
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-361666OAI: oai:DiVA.org:kth-361666DiVA, id: diva2:1947194
External cooperation
Ericsson AB
Supervisors
Examiners
Available from: 2025-03-27 Created: 2025-03-25 Last updated: 2025-03-27Bibliographically approved

Open Access in DiVA

fulltext(2298 kB)77 downloads
File information
File name FULLTEXT02.pdfFile size 2298 kBChecksum SHA-512
039d7bcab926a35241e8c695e73fe5b1da8da2ed13489b3648c7983c8f891ce4dae0d31f3743d8a922da58a57f42b538124bbe1b6e3690fbd840e2891cd00d21
Type fulltextMimetype application/pdf

By organisation
School of Electrical Engineering and Computer Science (EECS)
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 77 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 420 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf