According to the United States Food and Drug Administration, real-world data are defined as “data relating to patient health status and/or the delivery of health care routinely collected from a variety of sources”, and consequently real-world evidence as “the clinical evidence about the usage and potential benefits or risks of a medical product derived from analysis of the real-world data”. In the context of pharmacology and drug development, real-world data and real-world evidence are gaining interest. The main reason is that these can potentially address the limitations of conventional studies according to best practices of the evidence-based medicine paradigm, from which the prioritization of internal control within experimental settings are often done at the expense of generalization to larger populations treated in routine clinical practice. Instead, from a wider multidisciplinary context, it is relevant to pose questions regarding how real-world data can be used to solve the challenges that health-care systems are facing, such as sensitivity to increasing demand of care, and lack of preparedness to sudden changes and lack of resilience.

Despite the acknowledged potential, real-world data poses a series of challenges due to the purpose for which it is collected, primarily for operational purposes rather than for generating evidence, unlike randomized controlled clinical trials. Healthcare systems have been studied as complex adaptive social systems, where the intricate interactions between sub-systems and actors (e.g., patients and doctors) are challenging to capture in data, often introducing confounders that impact the reliability of data. Therefore, a critical discussion on how to leverage data and the data-driven approaches for generating real-world evidence is essential.

The objective of this thesis is to investigate key elements to account for when designing data-driven approaches aimed to overcome practical challenges of real-world data, and generate real-world evidence. The use of data-driven approaches for analyzing real-world data is studied by exploring how real-world processes are reflected in the collected information, pre-processing the data, selecting the appropriate analytical methods, discussing the model logic in relation to the data, interpreting and generating potential clinical insights based on the outcomes, all with feedback from clinical experts.

The thesis investigates these aspects addressing one central research question, subdivided into three specific research questions, through a multi-case study. The three case studies included in this thesis are: small cell lung cancer treatment, emulation of control arms of clinical trials, and flow management of an overcrowded emergency department and hospital wards. The multi-case study approach facilitated a learning process on a case-by-case basis, contributing valuable insights to each individual case. Subsequently, the patterns in the findings from the case studies were aggregated and harmonized into the general framework for designing data-driven approaches for real-world evidence.

The key aspect of this framework is the position of real-world evidence in an intersection between analytical science (the execution of the data-driven approach), with design science (i.e., the discussion with the clinical experts on data information, modeling design, and generation of new clinical insights) to overcome the limits of pure empirical approaches when encountering practical challenges related to real-world data.

The outcomes suggest that the following key aspects should be accounted for when designing data-driven approaches to achieve real-world evidence in health-care: i) the investigation of discrepancies between the real-world processes and the reported information in the data, ii) verification that information and the designed models lead to results that follow a medical logic, iii) involvement of the clinical experts in all the steps of the analysis, iv) healthcare problems should not be solved using empirical approaches alone, but appropriate approaches can generate relevant insights and inform future studies, v) the main purpose of the analysis should be to provide relevant insights for the improvement of clinical practice, and not be limited to the specific case study, but aim to create a learn-confirm cycle, building on clinical knowledge over time and data readiness for secondary purpose.

In conclusion, we must acknowledge the current limitations of the use of real-world data, but at the same time have a constructive vision on learning about what can be achieved now and what could be achieved in the future, by continuously improving design of data-driven approaches.

Enligt United States Food and Drug Administration definieras real-world data som, data relaterat till en patients hälsostatus och/eller tillhandahållandet av hälso- och sjukvård som rutinmässigt samlas in från olika källor. Följaktligen definieras real-world evidens som, klinisk evidens angående använding och potentiella effekter eller risker relaterade till användningen av en medicinsk produkt baserat på analys av real-world data.

Intresset för real-world data och real-world evidens har ökat inom farmakologi och läkemedelsutveckling under de senaste åren. Huvudsakliga anledningen till detta är att dessa adresserar nuvarande begränsningar med konventionell studiedesign med grund i evidens-baserad medicin, där intern kontroll är prioriterad framför förmågan att kunna generalisera resultat till den bredare patientpopulationen som behandlas i klinisk praxis. Från ett multi-disciplinärt perspektiv så är det även relevant att undersöka hur real-world data kan användas för att informera de utmaningar som hälso- och sjukvården nu står inför, såsom ökat patienttryck och låg beredskap för plötsliga förändringar i vårdbehov. Trots potentialen med real-world data finns det ett antal utmaningar med dess användning. Detta beror på att data primärt samlas in för att informera drift av hälso- och sjukvården snarare än att generera evidens till skillnad från randomiserade kontrollerade studier. Hälso- och sjukvården kan beskrivas som ett komplext adaptivt socialt system med komplexa samband mellan undersystem och aktörer (t.ex. patienter och läkare). Dessa komplexa samband är svåra att studera utifrån den data som samlas in vilket snedvrider resultat och tolkningar. Därav krävs vidare forskning kring hur data kan användas tillsammans med data-baserad modellering för att generera real-world evidens från real-world data.

Syftet med denna avhandling är att undersöka vilka de relevanta faktorerna är för design av data-drivna metoder för generering av real-world evidens. Detta utforskas genom att undersöka hur väl data beskriver underliggande processer, bearbetning av real-world data, val av dataanalysmetod, jämförelse av modeller och underliggande processer, tolking och generering av potentiella kliniska fynd, med kliniska experter involverade i alla steg av analysen. Avhandlingen besvarar huvudfrågeställningen och bifrågor med hjälp av tre fallstudier. Dessa är: småcellig lungcancer, emulering av kontrollarmar för randomiserade kontrollerade kliniska studier, och hantering av patientflödet vid en akutavdelning och tillhörande vårdavdelningar.

De studerade fallen tillåter en lärandeprocess som informerar ett mer generellt modell för hur data-drivna metoder kan designas med syfte att generera realworld evidens. Denna modell positionerar real-world evidens mellan analytiska metoder (såsom dataanalys och -modellering) och design (samskapande med kliniska experter kring data, modellering och generering av kliniska insikter) för att överkomma begränsningarna med renodlade empiriska analysmetoder. Den samlade kunskapen av dessa fallstudier ledde till ett antal rekommendationer kring hur datadrivna metoder ska designas för att uppnå real-world evidens, dessa inkluderar: i) undersökning av skillnader mellan verkliga processer och rapporterad data; ii) verifiering av att inhämtad information och designade analysmetoder följer en medicinsk logik; iii) involvering av kliniska experter genom hela analysprocessen; iv) problem i hälso- och sjukvården kan inte lösas genom en renodlad empirisk metod, dock kan välavvägda analyser informera nya insikter om systemet och framtida studier; v) huvudsyftet med analys av real-world data bör vara att generera relevanta insikter för att förbättra klinisk praxis, inte bara i det enskilda fallet men också att skapa en lärandeprocess över fallstudier för att iterativt förbättra klinisk kunskap och datakvalitetet. Avslutningsvis krävs en medvetenhet kring de begränsningar som analys av realworld data innefattar. Samtidigt krävs en konstruktiv vision för hur lärande och evidens kan genereras i nuläget och i framtiden, genom kontinuerlig förbättring av data och data-drivna analysmetoder.