Fault Classification in Mobile Networks using Multimodal Deep Learning
2024 (engelsk)Independent thesis Advanced level (degree of Master (Two Years)), 20 poäng / 30 hp
Oppgave
Abstract [en]
Telecommunication networks are essential in modern communication, yet their complexity presents significant challenges in anomaly detection and classification. Traditional methods, focusing on single data sources like text logs or time series, often overlook complex anomaly patterns. This thesis explores the applications of multimodal approaches that synergize text logs and time series data through techniques ranging from concatenation to advanced cross-modality attention mechanisms, aiming to enhance anomaly classification. We evaluated our approach in a real-world scenario within Ericsson’s Radio Access Network (RAN) domain, using the class-average F1 score for performance benchmarking across different anomaly classes. Our results show that, although unimodal models with transformer encoders achieved an impressive class-average F1 score of 80.3%, our multimodal models were competitive at 78.64%. Importantly, in the absence of transformer encoders in the model architecture, multimodal models outperformed unimodal baselines by a huge margin, underscoring their efficacy and merit, particularly in environments with computational limitations. The results indicate that self-attention mechanisms play a crucial role in understanding complex multimodal anomaly signatures, and warrant further exploration of multimodal deep learning techniques in the telecom domain. This research sets the stage for future advancements in telecom network diagnostics, contributing to the development of more effective and adaptable anomaly classification and detection solutions.
Abstract [sv]
Telekommunikationsnätverk är avgörande för modern kommunikation, men deras komplexitet utgör betydande utmaningar för detektion och klassificering av anomalier. Traditionella metoder, som fokuserar på enskilda datakällor som textloggar eller tidsserier, missar ofta komplexa anomalimönster. Denna avhandling utforskar användningen av multimodala metoder som kombinerar textloggar och tidsseriedata genom tekniker som sträcker sig från sammanfogning till avancerade tvärmodala uppmärksamhetsmekanismer, i syfte att förbättra klassificeringen av anomalier. Vi utvärderade vårt tillvägagångssätt i ett verkligt scenario inom Ericssons RAN-domän, med användning av det genomsnittliga F1-värdet för klasser som prestandamått över olika anomaliklasser. Våra resultat visar att även om unimodala modeller med transformer-encoders uppnådde ett imponerande genomsnittligt F1-värde på 80,3%, var våra multimodala modeller konkurrenskraftiga med 78,64%. Viktigt är att i avsaknad av transformer-encoders i modellarkitekturen, överträffade de multimodala modellerna de unimodala baslinjerna med stor marginal, vilket understryker deras effektivitet och förtjänst, särskilt i miljöer med beräkningsbegränsningar. Resultaten indikerar att självuppmärksamhetsmekanismer spelar en avgörande roll för att förstå komplexa multimodala anomalitecken, och motiverar ytterligare utforskning av multimodala djupinlärningstekniker inom telekomdomänen. Denna forskning banar väg för framtida framsteg inom diagnostik av telekomnätverk, och bidrar till utvecklingen av mer effektiva och anpassningsbara lösningar för klassificering av anomalier.
sted, utgiver, år, opplag, sider
2024. , s. 61
Serie
TRITA-EECS-EX ; 2024:718
Emneord [en]
Multimodal learning, Anomaly detection, Telecom networks, Text logs, Time series, Fusion techniques, Attention mechanisms, Transformers, Deep learning, Machine learning, Telecom software diagnostics, RAN, Ericsson, KTH, Master thesis
Emneord [sv]
Multimodalt lärande, Anomalidetektion, Telekomnätverk, Textloggar, Tidsserier, Fusionstekniker, Uppmärksamhetsmekanismer, Transformatorer, Djupinlärning, Maskininlärning, Diagnostik av telekomprogramvara, RAN, Ericsson, KTH, Masteruppsats
HSV kategori
Identifikatorer
URN: urn:nbn:se:kth:diva-356545OAI: oai:DiVA.org:kth-356545DiVA, id: diva2:1913902
Eksternt samarbeid
Global AI Accelerator, Ericsson AB Stockholm
Veileder
Examiner
2025-01-222024-11-172025-01-22bibliografisk kontrollert