kth.sePublications KTH
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Comprehensive Reinforcement Learning Explanations Using Queries
Ericsson Cognitive Network Solutions, Ericsson, Cairo, Egypt.ORCID iD: 0009-0004-9420-6903
KTH, School of Industrial Engineering and Management (ITM), Engineering Design, Mechatronics and Embedded Control Systems. Ericsson Research, Ericsson, Stockholm, Sweden.ORCID iD: 0000-0002-6650-2789
Ericsson Research, Ericsson, Stockholm, Sweden.ORCID iD: 0000-0002-5945-1020
2026 (English)In: Explainable Artificial Intelligence: Third World Conference, xAI 2025, Istanbul, Turkey, July 9–11, 2025, Proceedings, Part V / [ed] Guidotti R. and Schmid U. and Longo L., Springer Nature , 2026, p. 27-40Conference paper, Published paper (Refereed)
Abstract [en]

Generating detailed explanations that are easy to comprehend and interact with is a challenging problem for complex Reinforcement Learning (RL) agents. While various methods explain different aspects of the agents, it is difficult to aggregate and generate tailored insights for different users. Thus, we propose a comprehensive explainability approach that utilizes interactive natural language queries and generates different types of explanations. First, we introduce a new approach to generate meaningful counterfactual explanations using natural language queries. Further, we complement the natural language explanations with customized feature attributions for detailed insights. This helps in facilitating the interaction with explanations as well as tailoring the explanations for different purposes and levels of expertise. We demonstrate our proposal using an industrial telecommunication use case which shows its applicability and utility in a complex real-world scenario.

Place, publisher, year, edition, pages
Springer Nature , 2026. p. 27-40
Series
Communications in Computer and Information Science, ISSN 1865-0929, E-ISSN 1865-0937 ; 2580
Keywords [en]
Natural language processing systems; Counterfactuals; Explainability; Explainable reinforcement learning; Natural language explanations; Natural language queries; New approaches; Real-world scenario; Reinforcement learning agent; Reinforcement learnings; Reinforcement learning
National Category
Artificial Intelligence
Identifiers
URN: urn:nbn:se:kth:diva-373645DOI: 10.1007/978-3-032-08333-3_2ISI: 001669297300002Scopus ID: 2-s2.0-105020691300OAI: oai:DiVA.org:kth-373645DiVA, id: diva2:2018843
Conference
3rd World Conference on Explainable Artificial Intelligence, xAI 2025, Istanbul, Turkey, July 9–11, 2025
Funder
Wallenberg AI, Autonomous Systems and Software Program (WASP)
Note

Part of ISBN 9783032083326, 9783032083333

QC 20251204

Available from: 2025-12-04 Created: 2025-12-04 Last updated: 2026-05-29Bibliographically approved
In thesis
1. Explainable Artificial Intelligence for Telecommunications
Open this publication in new window or tab >>Explainable Artificial Intelligence for Telecommunications
2026 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

Artificial Intelligence (AI) is a key driver of technological development in many industrial sectors. It is being embedded into many components of telecommunications networks to optimize their functionality in various ways. AI technologies are advancing rapidly, with increasingly sophisticated techniques being introduced. Therefore, understanding how an AI model operates and arrives at its output is crucial to ensure the integrity of the overall system. One way to achieve this is by applying Explainable  Artificial Intelligence (XAI) techniques to generate information about the operation of an AI model. This thesis develops and evaluates XAI techniques to improve the transparency of AI models.

In supervised learning, several XAI methods that compute feature importance were applied to identify the root cause of network operation issues. Their characteristics were compared and analyzed for local, cohort, and global scopes. However, the generated attributive explanations do not provide actionable insight to resolve the underlying issue. Therefore, another type of explanation, namely counterfactual, was explored during the study. This type of explanation indicates the changes necessary to obtain a different result. Counterfactual explanations were utilized to prevent potential issues such as Service Level Agreement (SLA) violations from occurring. This method was shown to significantly reduce SLA violations in an emulated network, but requires explanation-to-action conversion.

Unlike the previous method, a Reinforcement Learning (RL) agent can perform an action in its environment to achieve its goal, eliminating the need for explanation-to-action conversion. Therefore, understanding its behavior becomes important, especially when it controls a critical infrastructure. In this thesis, two state-of-the-art Explainable Reinforcement Learning (XRL) methods, namely reward decomposition and Autonomous Policy Explanation (APE), were investigated and implemented to generate explanations for different users, technical and non-technical, respectively. While the reward decomposition explains the output of a model and the feature attribution explains the input, the connection between them was missing in the literature. In this thesis, the combination of feature importance and reward decomposition methods was proposed to generate detailed explanations as well as to identify and mitigate bias in the AI models. In addition, a detailed contrastive explanation can be generated to explain why an action is preferred over another. For non-technical users, APE was integrated with the attribution method to generate explanations for a certain condition. APE was also integrated with a counterfactual method to generate a meaningful explanation. However, APE has a limitation in scaling up with the number of predicates. Therefore, an alternative textual explainer, namely Clustering-Based Summarizer (CBS), was proposed to address this limitation. The evaluation of textual explanations is limited in the literature. Therefore, a rule extraction technique was proposed to evaluate textual explanations based on their characteristics, fidelity, and performance. In addition, two refinement techniques were proposed to improve the F1 score and reduce the number of duplicate conditions. 

In summary, this thesis has developed the following contributions: a) implementation and analysis of different XAI methods; b) methods to utilize explanations and explainers; c) evaluation methods for AI explanations; and d) methods to improve explanation quality. This thesis revolves around network automation in the telecommunications field. The explainability methods for supervised learning were applied to a network slice assurance use case, and for reinforcement learning, it was applied to a network optimization use case (namely, Remote Electrical Tilt (RET)). In addition, applications in other open-source environments were also presented, showing broader applications in different use cases.

Abstract [sv]

Artificiell Intelligens (AI) är en viktig drivkraft för teknologisk utveckling inom många industriella sektorer. Den implementeras i många delar av telekommunikationsnätverk för att optimera deras funktionalitet på olika sätt. AI-teknologier utvecklats snabbt, med alltmer sofistikerade tekniker som introduceras. Därför är det avgörande att förstå hur en AI-modell fungerar och kommer fram till sitt resultat för att säkerställa systemets integritet. Ett sätt att uppnå detta är att tillämpa förklarbara-AI-tekniker för att generera information om en AI-modells funktion. Denna avhandling utvecklar och utvärderar förklarbara-AI-tekniker för att förbättra transparensen hos AI-modeller.

Inom övervakad inlärning tillämpades flera förklarbara-AI-metoder som beräknar variabelsviktighet för att identifiera den bakomliggande orsaken till nätverksdriftsproblem. Deras egenskaper jämfördes och analyserades på lokal, grupp- och global nivå. Dock ger de genererade attributiva förklaringarna ingen handlingsbar insikt för att lösa det underliggande problemet. Därför utforskades en annan typ av förklaring, nämligen kontrafaktisk, under studien. Den här typen av förklaring indikerar de förändringar som krävs för att erhålla ett annat resultat. Kontrafaktiska förklaringar användes för att förhindra potentiella problem, såsom brott mot servicenivåavtal (Service Level Agreements, SLA). Den här metoden visade sig minska SLA-överträdelser i ett emulerat nätverk avsevärt, men kräver en konvertering från förklaring till handling.

Till skillnad från den tidigare metoden kan en förstärkningsinlärningsagent utföra en handling i sin miljö för att uppnå sitt mål, vilket eliminerar behovet av konvertering från förklaring till handling. Därför blir det viktigt att förstå dess beteende, särskilt när den styr en kritisk infrastruktur. I denna avhandling undersöktes och implementerades två nya metoder för förklarbar förstärkningsinlärning, nämligen belöningsdekomposition och Autonomous Policy Explanation (APE), för att generera förklaringar för olika användare, tekniska och icke-tekniska. Medan belöningsdekomposition förklarar en modells utdata och variabelsattribution förklarar indata, saknades kopplingen mellan dessa i litteraturen. I denna avhandling föreslogs en kombination av metoder för variabelsviktighet och belöningsdekomposition för att generera detaljerade förklaringar samt för att identifiera och mildra bias i AI-modellerna. Dessutom kan en detaljerad kontrastiv förklaring genereras för att förklara varför en åtgärd föredras framför en annan. För icke-tekniska användare integrerades APE med attributmetoden för att generera förklaringar för ett visst tillstånd. APE integrerades också med en kontrafaktisk metod för att skapa en meningsfull förklaring. Dock har APE en begränsning när det gäller skalbarhet med antalet predikat. Därför föreslogs en alternativ textförklarare, nämligen Clustering-Based Summarizer (CBS), för att hantera denna begränsning. Utvärderingen av textuella förklaringar är begränsad i litteraturen. Därför föreslogs en regelutvinningsmetod för att utvärdera textuella förklaringar baserat på deras egenskaper, tillförlitlighet och prestanda.Dessutom föreslogs två förfiningstekniker för att förbättra F1-poängen och minska antalet duplicerade villkor.

Sammanfattningsvis, avhandlingen har utvecklat följande bidrag: a) implementering och analys av olika förklarbara-AI-metoder; b) metoder för att använda förklaringar och förklarare; c) utvärderingsmetoder för AI-förklaringar; och d) metoder för att förbättra förklaringars kvalitet. Avhandlingen kretsar kring nätverksautomation inom telekommunikationsområdet. Förklaringsbarhetsmetoderna för övervakad inlärning tillämpades på ett fall för nätverksskiveförsäkran, och för förstärkningsinlärning tillämpades de på ett nätverksoptimeringsfall (nämligen fjärrstyrd elektrisk tilt). Dessutom presenterades tillämpningar i andra öppna miljöer, vilket visar bredare användningsområden i olika tillämpningsfall.

Place, publisher, year, edition, pages
Stockholm, Sweden: KTH Royal Institute of Technology, 2026. p. 68
Series
TRITA-ITM-AVL ; 2026:3
Keywords
Artificial Intelligence, Explainability, Supervised Learning, Reinforcement Learning, Network Slice Assurance, Network Optimization, Telecommunications, Artificiell intelligens, Förklarbarhet, Övervakad inlärning, Förstärkande inlärning, Nätverk Slice Assurance, Nätverksoptimering, Telekommunikation
National Category
Computer Sciences Telecommunications Artificial Intelligence
Research subject
Machine Design
Identifiers
urn:nbn:se:kth:diva-375341 (URN)978-91-8106-506-0 (ISBN)
Public defence
2026-02-06, F3 / https://kth-se.zoom.us/j/63010540491, Lindstedtsvägen 26 & 28, Stockholm, 09:30 (English)
Opponent
Supervisors
Funder
Wallenberg AI, Autonomous Systems and Software Program (WASP)
Available from: 2026-01-13 Created: 2026-01-12 Last updated: 2026-02-02Bibliographically approved

Open Access in DiVA

No full text in DiVA

Other links

Publisher's full textScopus

Authority records

Terra, Ahmad

Search in DiVA

By author/editor
Hefny, MayarTerra, AhmadValencia, Agustín
By organisation
Mechatronics and Embedded Control Systems
Artificial Intelligence

Search outside of DiVA

GoogleGoogle Scholar

doi
urn-nbn

Altmetric score

doi
urn-nbn
Total: 52 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf