Perspectives of Deep Learning for Neonatal Sepsis Detection
2023 (English)Doctoral thesis, monograph (Other academic)
Abstract [en]
Newborns, whether born at term or preterm, are highly vulnerable and face life-threatening situations during their initial weeks of life every year. Even with hospitalization in a neonatal intensive care unit (NICU) and careful clinical monitoring, identifying infection-related incidents like sepsis is a challenging task. Advances in patient monitoring systems has enabled the collection of a large amount of data at the patient bedside. However, the databases are often distributed in independent sub-systems, which makes it difficult to present a complete patient history to the medical practitioners. The medical data remain difficult to interpret for medical practitioners, due to the quantity of data and their complex structure. To enable reliable predictions from large datasets arising in clinical contexts, leveraging the flexibility of deep learning models was shown to be a promising approach.
In this thesis, we evaluate existing, and we introduce prediction algorithms for neonatal sepsis detection (NSD). We study the performances of the binary classification algorithms in retrospective cohort studies, using data obtained from local hospitals in the Stockholm region. The first part of the thesis chiefly focuses on introducing both clinical and technical background. The clinical background introduces the interplay between prematurity, sepsis and cardio-respiratory interactions, which constitutes a large part of the challenges faced for NSD.The technical background introduces the theoretical tools that are used to train and evaluate binary classification algorithms. The second part of the thesis presents algorithms evaluated on NSD tasks with data obtained from NICUs in the Stockholm region.
We first study the state-of-the-art Naive Bayes (NB) algorithm and its applicability to NSD on our in-house dataset. We study NB in setups with varying population and the vital signs-based features. Using a set of 24 features with very different distributions, and even though NB makes very strong assumptions on data distribution, it can reach up to 0.82 median area-under-receiver-operating-curve (AUROC) on our NSD tasks. Further, we show that normalizing flows, which are artificial neural network based distributions, can model the data distribution more accurately, and reach a slightly better median AUROC of 0.87.NB and NFs-based classifiers make the simplifying assumption that consecutive frames of features are uncorrelated. To account for the correlation in consecutive feature samples, we evaluated the performances of a neural network-based recurrent models (RNNs). We show that these models are useful for NSD on very low birth weight (VLBW) infants, as they help improve the specificity of binary classification from 0.77 for logistic regression to 0.97 for a long-short term memory unit based RNN. We however also show that these models suffer from a degradation of their recall performances, which results in similar AUROC as NB.
Motivated by the need to develop and evaluate more accurate algorithms for NSD, we study the performances of the celebrated hidden Markov models (HMMs) and propose some extensions. We first discuss the results of HMMs coupled with normalizing flows (FlowHMM) for modeling the emission distributions. For the FlowHMM training, we used the expectation-maximization (EM) algorithm for training, and proposed an additional discriminative training step. Overall, classical HMMs with Gaussian Mixtures for the emission distributions outperformed the FlowHMM, with or without the additional discriminative learning step. Finally, we propose a factorial HMM model coupled with conditional normalizing flows and trained with variational inference. The model is capable of inferring independent latent processes from observed data. The model is evaluated on synthetic data, which allows to empirically demonstrate the abilities of the model to identify the latent factorial Markov model. Lastly, we evaluate the model on the benchmark task of recovering discrete latent processes from a public household power consumption dataset. This paves way for further evaluation of classification models on physiological dataset in more complex settings. In particular, factorial HMMs enable the joint detection of several both related and un-related diseases from physiological data. This thus motivates the collection of data from larger cohort of patients, in order to obtain a sufficient number of samples on a variety of conditions for premature infants.
Abstract [sv]
Nyfödda, vare sig de är för tidigt födda eller inte, är mycket utsatta och står inför livshotande problem under sina första levnadsveckor varje år. Att identifiera infektionsrelaterade tillstånd som sepsis är svårt, även med intensivvård på en neonatalavdelning. Framsteg inom patientövervakningssystem har möjliggjort insamlingen av stora datamängder under sjukhusvistelsen. Dessa databaser är dock ofta distribuerade i oberoende delsystem, vilket gör det svårt att sammanställa en komplett patientjournal till vårdgivare. Även om en komplett journal finns är den svårtolkad på grund av de många och spridda tillfällen då datan samlades in. Flexibiliteten hos djupinlärningsmodeller har visat sig vara en lovande metod för tillförlitliga prediktioner från stora databaser i kliniska situationer, såsom en neonatalavdelning.
Denna avhandling introducerar och utvärderar prediktionsalgoritmer för neonatal sepsisdetektion (NSD). Vi studerar prestandan hos binära klassificeringsalgoritmer i retrospektiva kohortstudier med data från lokala sjukhus. Avhandlingens första del fokuserar på att introducera problemets kliniska och tekniska bakgrund. Den kliniska bakgrunden behandlar sambandet mellan prematuritet, sepsis, och kardiorespiratoriska interaktioner, vilka utgör en stor andel av problemen för NSD. Den tekniska bakgrunden introducerar de teoretiska verktygen som används för att träna och utvärdera binära klassificeringsalgoritmer. Avhandlingens andra del presenterar algoritmer utvärderade på NSD-data från från neonatala intensivvårdsavdelningar sjukhus i Stockholmsregionen.
Vi studerar först den toppmoderna naiva Bayes-algoritmen (NB), och dess prestanda och tillämplighet på NSD med vårt eget dataset. Vi studerar NB i flera situationer där både population och vitala tecken förändras. Vi extraherar 24 variabler från datan med väldigt olika statistiska fördelning, och trots att NB gör starka antaganden om datans statistiska fördelning uppnås goda resultat: upp till 0,82 medianarea under mottagande operationskurva (mAUROC) för neonatal sepsisdetektion. Vidare visar vi att normaliserande flöden (NF), vilket är artificiella neurala nätverksbaserade statistiska fördelningar, kan modellera datans statistiska fördelning mer tillförlitligt, och uppnår en mAUROC om 0,87. Dessa tillvägagångssätt gör det förenklande antagandet att på varandra följande variabler är okorrelerade. Därför undersöker vi prestandan hos återkommande neurala nätverk (RNN), vilka tar hänsyn till tidskorrelationen hos de extraherade variablerna. Vi visar att dessa modeller är användbara för NSD hos nyfödda med mycket låg födelsevikt, där vi visar att de ökar specificiteten från 0,77 med logistisk regression till 0,97 för ett lång-korttidsminnesbaserat RNN. Vi visar också att dessa modeller lider av degraderad hågkomst, vilket leder till liknande mAUROC som NB, utvärderat på data från NSD hos nyfödda med mycket låg födelsevikt.
Motiverat av behovet av att utveckla och utvärdera mer tillförlitliga algoritmer för NSD, studerar vi prestandan hos de hyllade dolda Markovmodellerna (HMM) och föreslår några påbyggnader. För det första, vi diskuterar resultaten för HMM:er kopplade till normaliserande flöden (FlowHMM) för att modellera emissionsfördelningarna. Vi använder väntevärde-maximering (EM) som träningsalgoritm och föreslår ett ytterligare diskriminativt inlärningssteg. Trots det visar vi att att klassiska HMM:er, där normalfördelade blandningsmodeller (GMM) modellerar emissionsfördelningarna, överträffar FlowHMM:er, både med och utan det extra diskriminerande inlärningssteget. Dessutom föreslår vi en faktoriserad HMM tränad med variationell inferens, vilken är kapabel att lära sig oberoende latenta processer från observationer som är modellerade med tillståndsbetingade normaliserande flödesmodeller. Modellen utvärderas på syntetiska data, vilket gör att vi kan visa empiriskt att modellen kan lära sig den underliggande latenta faktoriserade Markovmodellen. Till sist utvärderar vi modellen med en prestandajämförelse: att återskapa en diskret latent process från ett öppet dataset över elförbrukning i hushåll. Detta bereder vägen för vidare utvärdering av klassificeringsmodeller för fysiologiska dataset i mer komplicerade situationer. Specifikt ser vi att faktoriserade HMM:er möjliggör gemensam detektion av både relaterade och orelaterade sjukdomar från fysiologiska data. Detta motiverar insamlingen av data från en större patientkohort, för att täcka in flera sjukdomstillstånd hos för tidigt födda spädbarn.
Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology, 2023. , p. 169
Series
TRITA-EECS-AVL ; 2023:51
Keywords [en]
Deep Learning, Neonatal Sepsis Detection, Normalizing Flows, Hidden Markov Models.
Keywords [sv]
Djupinlärningsmodeller, Neonatal Sepsis detektion, Normaliserande Flöden, Dolda Markov modellerna.
National Category
Signal Processing
Identifiers
URN: urn:nbn:se:kth:diva-328128ISBN: 978-91-8040-617-8 (print)OAI: oai:DiVA.org:kth-328128DiVA, id: diva2:1762032
Public defence
2023-08-25, https://kth-se.zoom.us/j/63793229166, F3, Lindstedtsvägen 26, Stockholm, 13:00 (English)
Opponent
Supervisors
Note
QC 20230602
2023-06-022023-06-022023-08-24Bibliographically approved