The telecommunications system has become more complex over the past years with numerous interacting components within the network. This makes maintaining and testing this ever-growing system challenging. This thesis addresses the critical need for advanced fault detection methods in telecom systems, specifically within the Radio Access Network (RAN). We explore the application of Machine Learning (ML) methods to improve anomaly detection in Multivariate Time Series (MVTS) data generated from the Research and Development (R&D) environment of Ericsson AB. The main goal of this project is to design and train an ML-based anomaly detection model that outperforms traditional rule-based methods in identifying and pinpointing anomalies. Traditional fault detection methods such as rule-based methods, often rely on manual thresholds. These methods struggle with the size and complexity of data. Furthermore, finding the optimal threshold is challenging, labor- intensive, and requires domain knowledge. On the other hand, ML approaches offer a promising solution by learning patterns from data and identifying anomalies without predefined thresholds. This thesis provides several ML model architectures, such as forecasting- based and reconstruction-based models, to detect anomalies in telecom data. We investigate the effectiveness of these models at detecting faults and compare their performance to rule-based methods using precision, recall, and F1-score. Additionally, we evaluate the impact of different model architectures and the volume of training data on their performance. Furthermore, the proposed models were evaluated on the Server Machine Dataset (SMD) and compared to one of the leading benchmarks in multivariate anomaly detection, OmniAnomaly. Results show that ML models outperform traditional rule-based methods for MVTS RAN signals under investigation. More complex models incorporating Long Short-Term Memory (LSTM) and jointly optimized forecasting and reconstruction approaches, achieved higher F1 scores, with the jointly optimized model attaining an F1 score of 0.77 on the SMD data, demonstrating its potential for anomaly detection in more complex datasets. The results indicate that ML-based methods can offer a more robust and scalable solution for anomaly detection, leading to more effective troubleshooting in telecom systems. This thesis advances fault detection in telecom system testing by providing a proof-of-concept for ML-based anomaly detection in RAN. It demonstrates the benefits of ML-based approaches over traditional approaches and serves as a starting point for achieving fully automated fault detection in RAN.

Telekommunikationssystemet har blivit mer komplext under de senaste åren med många interagerande komponenter inom nätverket. Detta gör att underhåll och testning av detta ständigt växande system blir utmanande. Denna avhandling behandlar det kritiska behovet av avancerade felavkänningsme- toder i telekomsystem, särskilt inom Radio Access Network (RAN). Vi undersöker tillämpningen av maskininlärningsmetoder (ML) för att förbättra avvikelseavkänning i multivariata tidsseriedata (MVTS) som genereras från Ericsson AB forsknings- och utvecklingsmiljö (FoU). Huvudmålet med detta projekt är att designa och träna en ML-baserad modell för avvikelseavkänning som överträffar traditionella regelbaserade metoder i att identifiera och lokalisera avvikelser. Traditionella felavkänningsmetoder som regelbaserade metoder förlitar sig ofta på manuella tröskelvärden. Dessa metoder har svårt att hantera storleken och komplexiteten av data. Dessutom är det utmanande, tidskrävande och kräver expertkunskap att hitta det optimala tröskelvärdet. Å andra sidan erbjuder ML-ansatser en lovande lösning genom att lära sig mönster från data och identifiera avvikelser utan fördefinierade tröskelvärden. Denna avhandling presenterar flera ML-modellarkitekturer, såsom pro- gnosbaserade och rekonstruktionsbaserade modeller, för att upptäcka av- vikelser i telekomdata. Vi undersöker effektiviteten av dessa modeller i att upptäcka fel och jämför deras prestanda med regelbaserade metoder genom precision, återkallelse och F1-poäng. Dessutom utvärderar vi effekten av olika modellarkitekturer och mängden träningsdata på deras prestanda. De föreslagna modellerna utvärderades också på Server Machine Dataset (SMD) och jämfördes med ett av de ledande riktmärkena inom multivariat avvikelseavkänning, OmniAnomaly. Resultaten visar att ML-modeller överträffar traditionella regelbaserade metoder för MVTS RAN-signaler under undersökning. Mer komplexa mo- deller som inkorporerar Long Short-Term Memory (LSTM) och gemensamt optimerade prognos- och rekonstruktionsmetoder uppnådde högre F1-poäng, där den gemensamt optimerade modellen nådde en F1-poäng på 0,77 på SMD-data, vilket visar dess potential för avvikelseavkänning i mer komplexa datamängder. Resultaten indikerar att ML-baserade metoder kan erbjuda en mer robust och skalbar lösning för avvikelseavkänning, vilket leder till mer effektiv felsökning i telekomsystem. Denna avhandling främjar felavkänning inom telekomsystemtestning genom att tillhandahålla ett proof-of-concept för ML-baserad avvikelseavkänning i RAN. Den visar fördelarna med ML-baserade metoder över traditionella metoder och fungerar som en utgångspunkt för att uppnå helt automatiserad felavkänning i RAN.