There is a lot of unexploited potential in using data-driven and self-learning methods to dramatically improve automatic decision-making and control in complex industrial systems. So far, and on a relatively small scale, these methods have demonstrated some potential to achieve performance gains for the automated tuning of complex distributed systems. However, many difficult questions and challenges remain in relation to how to design methods and organise their deployment and operation into large-scale real-world systems. For systematic and scalable integration of state-of-the-art machine learning into such systems, we propose a structured architectural approach.

To understand the essential elements of this architecture, we identify a set of foundational challenges and then derive a set of five research questions. These questions drill into the essential and complex interdependency between data streams, self-learning algorithms that never stop learning and the supporting reference and run-time architectural structures. While there is a need for traditional one-shot supervised models, pushing the technical boundaries of automating all classes of machine learning model training will require a continual approach. 

To support continual learning, real-time data streams are complemented with accurate synthetic data generated for use in model training. By developing and integrating advanced simulations, models can be trained before deployment into a live system, for which system accuracy is then measured quantitatively in realistic scenarios. Reinforcement learning, exploring an action space and qualifying effective dynamic action combinations, is here employed for effective network policy learning. While single-agent and centralised model training may be appropriate in some cases, distributed multi-agent self-learning is essential in industrial scale systems, and thus such a scalable and energy-efficient approach is developed, implemented and analysed in detail. 

Energy usage minimisation in software and hardware intense communication systems, such as the 5G radio access system, is an important and difficult problem in its own right. Our work has focused on energy-aware approaches to applying self-learning methods both to energy reduction applications and algorithms. Using this approach, we can demonstrate clear energy savings while at the same time improving system performance.

Perhaps most importantly, our work attempts to form an understanding of the broader industrial system issues of applying self-learning approaches at scale. Our results take some clear, formative, steps towards large-scale industrialisation of self-learning approaches in communication systems such as 5G.

Datadrivna och självlärande system besitter en mycket stor outnyttjad potential för att förbättra automatisk kontroll och automatiskt beslutsfattande i komplexa industriella system. I mindre skala så har dessa metoder visats ha en viss potential rörande förbättrad prestanda för  automatisk justering av komplexa distribuerande system. Trots detta återstår många svåra frågor och utmaningar kring hur man utformar metoder och hur man organiserar implementering och drift för dessa i storskaliga realtidssystem. 

För systematisk och skalbar integrering av moderna maskininlärningstekniker i dessa verkliga och kommersiellt fungerande system föreslår vi här en strukturerad metod. För att förstå de viktigaste beståndsdelarna och arkitektoniska utmaningarna så namnger och förklarar vi en uppsättning sådana. Ur dessa härleder vi sedan fem forskningsfrågor, vilka undersöker det komplexa beroendeförhållandet mellan dataströmmar, självlärande algoritmer med kontinuerlig inlärning, samt stödjande referens- och driftstrukturer.Det finns fortfarande ett behov av övervakade ''one-shot''-modeller, men för att tänja på de tekniska gränserna avseende automatiserad träning av alla olika slags självlärande system så krävs en kontinuerlig metod. För att främja kontinuerlig inlärning kompletteras realtidsdataströmmar med adekvata syntetiska data, genererade för att möjliggöra träning av modellerna.Genom att utveckla och integrera avancerade simuleringar kan system och modeller tränas innan de implementeras för att användas ''live'', där systemets prestanda and korrekthet kan mätas kvantitativt i realistiska scenarier. För effektiv inlärning av en policy för nätverk så används förstärkningsinlärning (''reinforcement learning''), som utforskar en rymd av möjliga handlingar, ofta i kvalificerade kombinationer.

Medan centraliserad träning kan vara lämpligt i vissa fall så är distribuerade och självlärande agenter nödvändiga komponenter i industriellt storskaliga system. Därför utvecklar, implementerar och detaljanalyserar vi en sådan skalbar och energieffektiv metod.Att minska energianvändningen i mjuk- och hårdvaruintensiva kommunikationssystem, som 5G-radiosystemet, är en svår och viktig utmaning i sig. Vårt arbete har fokuserat på en energimedveten ansats med självlärande metoder, både  för tillämpningarna och för de grundläggande algoritmerna. Genom denna ansats har vi lyckats påvisa avsevärda energibesparingar samtidigt som systemets prestanda förbättrats. Till sist så är nyckelresultatet i vårt arbete analysen av de största utmaningarna för självlärande system i industriell skala och vi har därmed  tagit ett stort steg emot storskalig industrialisering av självlärande metoder inom kommunikationssystem