Intrusion detection systems (IDS) are indispensable for defending networked systems, yet security analysts are often overwhelmed by the large volume of false alerts they generate. Despite numerous attempts to reduce false positives, even highly accurate IDSs can trigger excessive alerts due to concept drift, such as changes in benign behaviors. This flood of alerts presents two critical challenges: the burden of investigating a large number of alerts and the uncertainty of situational awareness when choosing defensive actions. Since false alerts are inevitable, analysts need to: i) continuously update IDSs to address concept drift, ii) prioritize informative alerts to support efficient investigations, and iii) respond quickly to potential threats under uncertainty. Therefore, security analysts consume a significant amount of time on the three tasks, highlighting the necessity of reducing time consumption.

The papers included in this thesis are organized into two parts. The first part introduces an anomaly-based intrusion detection system using a transformer. Each field in a log line is mapped to a token using both field-based and global vocabularies. To reduce irrelevant noise, fields unrelated to attacks are excluded from the anomaly score computation. The model is trained in a self-supervised manner by masking tokens and attempting to infer the masked fields. An anomaly score is then computed from the inference error, and alerts are raised when the score exceeds a predefined threshold. Our simulations demonstrate that the bidirectional transformer with field-based vocabulary outperforms baseline LSTM approaches. Then, we explore an intrusion detection framework that integrates flow-level anomaly detection, flow-context-based anomaly detection, and concept drift detection. A generative model maps flows in the networked system into an anomaly detection-friendly latent space and identifies anomalous behavior in individual log lines, forming the basis of flow-level anomaly detection. To capture system-wide context, a graph neural network correlates each log line with others across time and hosts, producing flow-context-based anomaly scores. Through anomaly masking, comparing predictions with and without suspicious log lines, the framework highlights significant differences when malicious activities are present. The flow-level and flow-context scores are then combined into a final anomaly score. In parallel, once concept drift is detected by a second generative model, two sample selection strategies are employed to identify log lines for investigation, enabling analysts to update the model efficiently and maintain detection accuracy over time.

The second part of this thesis models the networked system using a Markov framework to study operations under false alerts. We first employ likelihood ratio testing to detect intrusions and prioritize alerts that confirm attacker presence. By pruning attack-graph states to form multiple hypotheses and investigating alerts to maximally shift likelihood ratios, our approach achieves a faster mean time to detection. We then address the challenge of alert investigation for improved situational awareness by proposing two prioritization policies that rank alerts at each time step according to their informational value. To enhance practicality, we introduce methods that reduce computational complexity, and simulations show substantial gains in overall computational efficiency. Finally, we examine automated incident response that combines low-cost and high-cost defensive measures, including blocking and eviction. We introduce a decentralized belief-maintenance method that significantly reduces communication overhead, and extensive simulations demonstrate that this approach achieves low overall cost while remaining highly practical.

Overall, the deep learning-based anomaly detection and Markov model-based operational strategies developed in this thesis provide practical support for security analysts by reducing false alerts, lowering the number of alerts to investigate, and enabling more effective defensive decision-making.

Intrångsdetekteringssystem (IDS) är oumbärliga för att försvara nätverkssystem, men säkerhetsanalytiker blir ofta överväldigade av den stora mängden falska varningar de genererar. Trots många försök att minska falska larm kan även mycket exakta IDS utlösa alltför många varningar på grund av konceptavvikelser, såsom förändringar i normala nätverksbeteenden. Denna flod av varningar presenterar två kritiska utmaningar: bördan av att utreda ett stort antal varningar och osäkerheten kring situationsmedvetenhet när defensiva åtgärder ska väljas. Falska varningar är oundvikliga, därför måste analytiker: i) kontinuerligt uppdatera IDS för att hantera konceptavvikelser, ii) prioritera informativa varningar för att stödja effektiva utredningar, och iii) reagera snabbt på potentiella hot under osäkerhet. Därför förbrukar säkerhetsanalytiker en betydande mängd tid på de tre uppgifterna, vilket belyser behovet av att minska tidsåtgången. 

Artiklarna som ingår i denna avhandling är uppdelade i två delar. Den första delen introducerar ett anomalibaserat intrångsdetekteringssystem med hjälp av en transformer. Varje fält i en logglinje översätts till en token med hjälp av både fältbaserade och globala vokabulärer. För att minska irrelevant brus exkluderas fält som inte är relaterade till attacker från beräkningen av anomalipoäng. Modellen tränas på ett självövervakat (en: self-supervised) sätt genom att maskera tokens och försöka inferera de maskerade fälten. En anomalipoäng beräknas sedan från inferensfelet, och varningar utlöses när poängen överstiger ett fördefinierat tröskelvärde. Våra simuleringar visar att den dubbelriktade transformern med fältbaserad vokabulär överträffar LSTM-baserade jämförelsemetoder. Sedan utforskar vi ett ramverk för intrångsdetektering som integrerar anomalidetektering på flödesnivå, anomalidetektering baserad på flödeskontext och detektering av konceptdrift. En generativ modell kartlägger flöden i det nätverkssystemet till ett latent utrymme anpassat för anomalidetektering och identifierar avvikande beteenden i enskilda logglinjer, vilket utgör grunden för anomalidetektering på flödesnivå. För att fånga systemomfattande kontext korrelerar ett grafiskt neuralt nätverk varje logglinje med andra över tid och värdar, vilket producerar flödeskontextbaserade anomalipoäng. Genom anomalimaskering, där man jämför förutsägelser med och utan misstänkta logglinjer, belyser ramverket signifikanta skillnader när skadlig aktivitet förekommer. Poängen på flödesnivå och flödeskontext kombineras sedan till en slutlig anomalipoäng. I samband med detta kan konceptdrift detekteras av en andra generativ modell, då används två strategier för urval av stickprov för att identifiera logglinjer för undersökning. Detta gör det möjligt för analytiker att uppdatera modellen effektivt och bibehålla detekteringsprestandan över tid. 

Den andra delen av denna avhandling modellerar det nätverksanslutna systemet med hjälp av ett Markov-ramverk för att studera säkerhetsåtgärder under falska varningar. Vi använder först sannolikhetskvottestning för att upptäcka intrång och prioritera varningar som bekräftar angriparens närvaro. Genom att beskära attackgraftillstånd i flera hypoteser och undersöka varningar för att öka sannolikhetskvoterna, uppnår vår metod en snabbare medeltid till detektering. Vi adresserar sedan utmaningen med varningsutredning för förbättrad situationsmedvetenhet genom att föreslå två prioriteringspolicyer som rangordnar varningar vid varje tidpunkt enligt deras informationsvärde. För att göra ramverket praktiskt applicerbart introducerar vi metoder som minskar beräkningskomplexiteten. Simuleringar visar betydande förbättringar i både situationsmedvetenhet och effektivitet. Slutligen undersöker vi automatiserad incidentrespons som kombinerar lågkostnads- och högkostnadsförsvarsåtgärder, inklusive blockering och utkastning. Vi introducerar en decentraliserad metod för att upprätthålla övertygelser som avsevärt minskar kommunikationskostnaden, och omfattande simuleringar visar att denna metod uppnår låg totalkostnad samtidigt som den förblir mycket praktisk. 

Sammantaget ger de djupinlärningsbaserade anomalidetekterings- och Markovmodellbaserade operativa strategierna som utvecklats i denna avhandling praktiskt stöd för säkerhetsanalytiker genom att minska falska varningar, genom att sänka antalet varningar att utreda och genom att möjliggöra ett mer effektivt defensivt beslutsfattande.