Enhancing Ultra-Reliable Low-Latency Communications Availability in Multi-Connectivity Scenarios Using Deep Reinforcement Learning: An Entropy-based Deep Reinforcement Learning Framework for Optimising Transmission Path Selection via Spatial Diversity
2025 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Förbättring av tillgängligheten för extremt-tillförlitlig och lågfördröjningskommunikation i fleranslutningsscenarier med hjälp av djup förstärkningsinlärning : Ett entropibaserat djup förstärkningsinlärningsramverk för optimering av transmissionsvägsval genom rumslig diversitet (Swedish)
Abstract [en]
Ultra-reliable low-latency communication (URLLC) services are crucial for applications that require real-time control, such as industrial automation. Conventional diversity techniques — in time, frequency, or space — improve communication service availability but often lead to redundant transmissions and excessive resource consumption, which is problematic in bandwidth- limited systems. In this thesis, the feasibility of enhancing the availability of URLLC services through dynamic spatial diversity within multi-connectivity scenarios is investigated. Specifically, an entropy-based deep reinforcement learning (DRL) framework is proposed utilising the soft actor-critic (SAC) algorithm to optimise spatial diversity by dynamically selecting transmission paths and determining the number of packet instances to send. The proposed solution, implemented in a 3GPP-compliant simulator, was evaluated in a factory automation setting featuring packet duplication via dual connectivity. Thanks to its efficient use of packet duplication and ability to balance the load, the DRL-based approach substantially outperformed the single-path transmission and static packet duplication benchmarks, enabling up to 13 and 23 percentage points more users to achieve two-nines availability for the 1200- bit and 1600-bit traffic scenarios, respectively.
Abstract [sv]
Extremt-tillförlitlig lågfördröjningskommunikation (URLLC) tjänster är av- görande för applikationer som kräver realtidskontroll, såsom industriell automation. Konventionella diversitetstekniker — i tid, frekvens eller rum — förbättrar tillgängligheten av kommunikationstjänster men leder ofta till onödig resurskonsumption, vilket är ett problem i bandbreddsbegränsade system. I detta examensarbete undersöks genomförbarheten av att förbättra tillgängligheten av URLLC-tjänster genom dynamisk rumslig diversitet i multianslutningsscenarier. Specifikt föreslås ett entropibaserat ramverk för djup förstärkningsinlärning (DRL) som tillämpar soft actor-critic-algoritmen (SAC) för att optimera rumslig diversitet genom att dynamiskt välja trans- missionsvägar samt bestämma antal paket som ska skickas. Den föreslagna lösningen, implementerad i en 3GPP-kompatibel simulator, utvärderades i en fabriksautomationsmiljö med paketduplicering via dubbelanslutning. Tack vare dess effektiva användning av paketduplicering och förmågan att balansera belastningen, det DRL-baserade metoden överträffade avsevärt riktvärderna med enkelvägstransmission och statisk paketduplicering, vilket möjliggjorde att 13 och 23 procentenheter fler användare uppnådde en tillgänglighet med två nior för trafikscenarierna med 1200 respektive 1600 bitar.
Place, publisher, year, edition, pages
2025. , p. 73
Series
TRITA-EECS-EX ; 2025:1
Keywords [en]
5G, ultra-reliable low-latency communication (URLLC), availability, packet duplication, dual connectivity, deep reinforcement learning (DRL), spatial diversity, soft actor-critic (SAC), factory automation
Keywords [sv]
5G, extremt-tillförlitlig och lågfördröjningskommunikation (URLLC), till- gänglighet, paketduplicering, dubbelanslutning, djup förstärkningsinlärning (DRL), rumslig diversitet, soft actor-critic (SAC), fabriksautomation
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-361666OAI: oai:DiVA.org:kth-361666DiVA, id: diva2:1947194
External cooperation
Ericsson AB
Supervisors
Examiners
2025-03-272025-03-252025-03-27Bibliographically approved