This thesis, a collaborative effort between Stockholm’s KTH Royal Institute of Technology and Politecnico di Milano, explores the development and evaluation of a multimodal system for survival prediction in clinical settings, a complex real-life scenario, leveraging both structured electronic health records and unstructured clinical notes. The core objective is to enhance the accuracy and reliability of survival predictions in Intensive Care Units (ICU), by integrating diverse data types through advanced machine learning models. The system combines the novel architecture of Tabular Transformers, adapted to process structured data such as patient demographics, medical history, and diagnoses, with Multi-Layer Perceptrons processing text embeddings obtained from BioClinicalBERT, a specialized model for clinical narratives. The integration of these models is aimed at capturing the complex and multifaceted nature of patient profiles, thereby improving prediction performance. The finalized system, a Linear Regression instance which aggregates information from both the Tabular Transformer, BioClinicalBERT, and the Multi-Layer Perceptron, demonstrates superior performance on evaluation metrics, which highlight the system’s ability to accurately identify high-risk patients. Comprehensive benchmarking against decision trees, standalone Multi-layer Perceptrons, and various configurations underscored the robustness of the proposed system. This research highlights the transformative potential of multimodal data integration in medical predictive modeling, and the unexplored capabilities of Tabular Transformers in the field, paving the way for more comprehensive and accurate clinical decision support tools that can significantly impact patient care and outcomes. By predicting the survival of patients in the ICU, medical professionals can guide their efforts and prioritization of patient care, enabling more efficient and targeted allocation of medical timing and resources during triage.

Denna avhandling utforskar utvecklingen och utvärderingen av ett multimodalt system för överlevnadsprognos i kliniska miljöer, ett komplext scenario i verkliga livet, genom att utnyttja både strukturerade elektroniska patientjournaler och ostrukturerade kliniska anteckningar. Huvudmålet är att förbättra noggrannheten och tillförlitligheten av överlevnadsprognoser på intensivvårdsavdelningar genom att integrera olika datatyper med avancerade maskininlärningsmodeller. Systemet kombinerar den nya arkitekturen av Tabular Transformers, anpassad för att bearbeta strukturerad data som patientdemografi, medicinsk historia och diagnoser, med flerskiktsperceptron som bearbetar textinbäddningar från BioClinicalBERT, en specialiserad modell för kliniska narrativ. Integrationen av dessa modeller syftar till att fånga den komplexa och mångfacetterade naturen hos patientprofiler, vilket förbättrar prognosens prestanda. Det färdigställda systemet, en linjär regressionsinstans som samlar information från både Tabular Transformer, BioClinicalBERT och Multi-Layer Perceptron, uppvisar överlägsen prestanda på utvärderingsmetrik som framhäver systemets förmåga att korrekt identifiera högriskpatienter. Omfattande benchmarking mot beslutsstödsträd, fristående flerskiktsperceptron och olika konfigurationer underströk det föreslagna systemets robusthet. Denna forskning belyser den transformativa potentialen av multimodal dataintegration i medicinsk prediktiv modellering och de outnyttjade kapaciteterna hos Tabular Transformers inom området, vilket banar väg för mer omfattande och noggranna kliniska beslutsstödsverktyg som kan ha en betydande inverkan på patientvård och resultat. Genom att förutsäga överlevnaden hos patienter på intensivvårdsavdelningen kan vårdpersonal vägleda sina ansträngningar och prioritera patientvård, vilket möjliggör mer effektiv och riktad allokering av medicinsk tid och resurser under triage.