Cyber-Physical Systems (CPSs) are becoming ubiquitous in modern society, enabling new applications that rely on the seamless interaction between computing, communication, and physical processes. In this context, ultra-reliable low-latency communications (URLLC) emerges as a crucial element, reliably allowing the real-time exchange of critical data.

In wireless networks, reliability is commonly evaluated based on the percentage of packets delivered successfully, with timeliness sometimes considered. Nevertheless, in CPSs, performance is typically assessed by operational metrics such as availability (as the ability to provide service at any given time) and reliability (as the ability to maintain consistent service over an extended period). To bridge the gap between these two domains, we study the CPSs performance in terms of wireless communications and derive a mapping function between the well-known network metrics (such as packet error ratio) and operational metrics (namely communication service availability and reliability) for deterministic traffic arrivals. This thesis then deals with wireless system orchestration techniques that aim to facilitate URLLC for CPSs, factoring in spectrum and energy efficiency. It investigates two scenarios: i) a single service, where the focus is only on URLLC, and ii) mixed services, where other services simultaneously run on the same network as URLLC.

In the first part, we assume that the impact of other nearby services on URLLC service is negligible. Accordingly, we concentrate on diversity techniques and power control as primary methods to enhance communication service availability and reliability at the cost of redundant transmissions and excessive resource usage. Thus, we devise a deep reinforcement learning (DRL) orchestrator that optimizes the number of hybrid automatic repeat request retransmissions and transmission power to enhance these metrics. We use a deep Q-network framework along with a branching soft actor-critic (BSAC) framework to address scalability issues in per-device orchestration. Our 3GPP-compliant simulations show that our approach achieves significant gains in computational time and memory requirements compared to the state-of-the-art. Besides, our approach requires substantially less energy or spectrum to achieve the target metrics. Additionally, we offer valuable insights into the practical implementation of DRL solutions for URLLC service in real-world wireless communication systems.

In the second part, we examine mixed services with an emphasis on distributed learning as a coexistent service. We consider 5G-NR's quality of service mechanisms to prioritize URLLC traffic and develop models to characterize distributed training workflow in terms of training delay, model size, and convergence. This leads to an optimization problem that uses device selection to minimize distributed learning convergence time, while meeting URLLC availability requirements. We transform this coexistence problem into a DRL problem and tackle it with our adjusted BSAC framework. Our simulations reveal that our approach achieves URLLC service availability performance comparable to the scenario where all communication resources are solely dedicated to URLLC service, and significantly higher than the performance achieved using a static slicing approach with unvarying dedicated resources to slices.  Finally, we propose a hierarchical reinforcement learning architecture for dynamic resource slicing on a large timescale, thereby enhancing network flexibility, scalability, and profitability.

Cyberfysiska system (CPS) blir alltmer relevanta och påtagliga i det moderna samhället. I sådana system sker en sömlös interaktion mellan datorberäkningar, kommunikation och fysiska processer. I detta sammanhang spelar system för kommunikation med extremt hög tillförlitlighet och låg fördröjning, s.k. URRLC (Ultra Reliable Low Latency Communication), en nyckelroll vid överföring av viktiga och tidskritiska data. I denna avhandling undersöks existerande tekniska lösningar för att erbjuda URLLC-tjänster i CPS-tillämpningar samt dessas prestanda och begränsningar. Vidare presenteras och utvärderas våra förslag till förbättringar för URRLC-tekniker inom ramen för 5G och inom andra nätarkitekturer.

Avhandlingen inleds med en översikt av de utmaningar som möter konstruktörer av CPS inom trådlösa nätverk, samt med en jämförelse av de vanligaste förekommande trådbundna och trådlösa kommunikationsstandarderna,  inklusive 5G. Därefter presenteras en omfattande översikt av olika prestandakriterier  för CPS samt för de senaste tekniska lösningar för URLLC-tjänster.

Tillförlitligheten för ett trådlösa nätverk utvärderas vanligen genom att mäta andelen datapaket som levereras i tid. Relevanta prestandamått för CPS är däremot systemets tillgänglighet (förmågan att tillhandahålla tjänster vid en godtycklig tidpunkt) och tillförlitlighet, som här definieras som förmågan att kunna bibehålla tjänsten över tid. I syfte att överbrygga klyftan mellan dessa två domäner studeras prestanda hos CPS som utnyttjar trådlösa nätverk som kommunikationsmedium. I avhandlingen härleds ett samband mellan väletablerade prestandamått för nätverk (t.ex. paketfel) och prestandamått för CPS (tillgänglighet och tillförlitlighet) för en deterministisk trafikmodell. Denna avhandling analyserar olika implementeringsstrategier för trådlösa system för att dessa skall uppfylla de prestandakrav som ställs på CPS. Kritiska parametrar är här spektrum- och energieffektivitet.

Två scenarier studeras:  i) ett där enbart en URLLC-tjänst erbjuds, och ii) i ett scenario där URRLC tjänsten tvingas dela resurser med andra tjänster. Antagandet i det första scenariot är att resurstillgången är så god, att påverkan från övriga tjänster på URLLC är försumbar. I detta scenario koncentrerar vi oss på diversitetssteknologier och effektreglering som primära metoder för att öka kommunikationstjänstens tillförlitlighet till priset av redundanta överföringar och överkonsumtion av resurser. En maskininlärningsteknik, s.k.Deep Reinforcement Learning (DRL)) används för att optimerar omsändningsförfarande (ARQ) och sändareffekt i syfte att förbättra tillgänglighet och tillförlitlighet. . Ett djupt Q-nätverk med en s.k. ”Branching Soft Actor-Critic” (BSAC) teknik,  har använts för att lösa skalbarhetsproblem.  Vår metod utvärderas med en 3GPP-kompatibel simulator för fabriksautomatiseringsscenarier. Vi kan visa påtagliga vinster vad avser våra prestandamått men även var gäller beräkningstid och minneskrav  i jämförelse med den tidigare arbeten. Den skalbara DRL metoden resulterar i betydligt lägre total energiförbrukning och spektrumbehov för att uppnå uppsatta prestandamål. Metoden erbjuder även viktiga insikter i den praktiska implementeringen av DRL lösningar för URLLC i verkliga trådlösa kommunikationssystem.

I det andra scenariot undersöker vi hur tjänster som konkurrerar med URRLC-tjänsten om resurserna, påverkar prestanda. Vi fokuserar på ett fall där ett system för distribuerad maskininlärning är en samexisterande tjänst. Den befintliga tjänsten “5G-NR quality of service” utnyttjas här för att prioritera URLLC-trafik. Vi utvecklar modeller för att karakterisera den trafik som arbetsflödet för maskininlärning (t.ex. träning av fördröjning, modellstorlek, konvergens och noggrannhet) ger upphov till, för att kunna analysera samspelet mellan denna trafik och URLLC-tillgängligheten. Eftersom systemet har begränsade resurser (när det gäller bandbredd och överföringskraft) och tillgänglighetskraven för URLLC är strikta, måste maskinlärningen stå tillbaka och endast låta en delmängd av sina enheter delta i varje iteration av den distribuerade träningen. Vi formulerar ett optimeringsproblem som minimerar den genomsnittliga träningstiden för maskinlärningstjänsten i syfte att uppnå en viss noggrannhet utan att kompromissa med URLLC -tillgängligheten. Vi omvandlar detta samexistensproblem till ett DRL problem och använder åter vår BSAC metod för att angripas problemet. Realistiska simuleringar av scenarier för fabriksautomation har använts för utvärdering av vår metod. Resultatet är en väsentlig minskning av träningstiden inom den distribuerade maskinlärningstjänsten samtidigt som den bibehåller URLLC-tillgängligheten över det krävda tröskelvärdet. Vår metod åstadkommer en högre prestandanivå för URLLC-tillgängligheten jämfört med de konventionella statiska “slicing” metoderna och prestanda snarlika med det första scenariot, där samtliga kommunikationsresurser var dedikerade till URLLC-tjänsten, uppnås. För att övervinna begränsningar i den statiska “slicing” metoden och åstadkomma mera flexibla, skalbara och lönsamma nätverk, föreslår vi en implementering av en hierarkisk RL-metod som dynamisk allokerar kommunikation och beräkningsresurser till tjänster över en större tidskala.