Analyzing historical failure records can be useful in identifying whether a similar issue has arisen in previous software troubleshooting efforts in a telecommunications company. With the breakthroughs in Natural Language Processing (NLP), it is possible to achieve fast and convenient information retrieval in an automated way. Frequency-based models and BERT-based language models are two popular candidates for this task. In general, while frequency-based models are known for their ease of implementation and lower latency, they typically underperform in accuracy when compared to language models. Yet recent studies show this is not always the case. In this project, we explore the performance of different NLP models in view of accuracy and latency based on our proposed end-to-end recommendation system. The system instantly generates a list of similar failure records given a new one. It consists of three parts: data pre-processing, information retrieval, and information re-ranking. All the models are evaluated with our adaptive Recall@k that utilizes an adaptive k to alleviate the problem of imbalances in the available labeled data. Our study not only delves into the baseline BERT model but also assesses different transfer learning techniques and searching algorithms to achieve state-of-the-art results and conduct further comparisons. The experiments demonstrate that traditional models have the potential to match the performance of the fancy and computationally intensive finetuned BERT models. In addition, frequency-based models usually need shorter inference time than BERT models. Finally, using Approximate Nearest Neighbors (ANN) searching algorithms reduces latency significantly compared with the traditional brute-force search.

Att analysera historiska felposter kan vara användbart för att identifiera om ett liknande problem har uppstått i tidigare programvarufelsökningsinsatser i ett telekommunikationsföretag. Med genombrotten inom Natural Language Processing (NLP) är det möjligt att uppnå snabb och bekväm informationshämtning på ett automatiserat sätt. Frekvensbaserade modeller och BERT-baserade språkmodeller är två populära kandidater för denna uppgift. I allmänhet, medan frekvensbaserade modeller är kända för sin enkla implementering och lägre latens, presterar de vanligtvis underpresterande i noggrannhet jämfört med språkmodeller. Ändå visar nyare studier att detta inte alltid är fallet. I detta projekt utforskar vi prestanda för olika NLP-modeller med tanke på noggrannhet och latens baserat på vårt föreslagna rekommendationssystem från slut till slut. Systemet genererar omedelbart en lista med liknande felposter som ges en ny. Den består av tre delar: förbearbetning av data, informationsinhämtning och omrangering av information. Alla modellerna utvärderas med vår adaptiva Recall@k som använder en adaptiv k för att lindra problemet med obalanser i tillgänglig märkt data. Vår studie går inte bara in på BERT-modellens baslinje utan bedömer också olika tekniker för överföringsinlärning och sökalgoritmer för att uppnå toppmoderna resultat och genomföra ytterligare jämförelser. Experimenten visar att traditionella modeller har potential att matcha prestandan hos de snygga och beräkningsintensiva finjusterade BERTmodellerna. Dessutom behöver frekvensbaserade modeller vanligtvis kortare slutledningstid än BERT-modeller. Slutligen, användning av ANNsökningsalgoritmer (Approximate Nearest Neighbors) minskar latensen avsevärt jämfört med den traditionella brute-force-sökningen.