Artificial intelligence (AI) is progressively influencing business, science, and society, leading to major socioeconomic changes. However, its application in real-world problems varies significantly across different sectors. One of the primary challenges limiting the widespread adoption of AI in certain areas is data availability. Medical image analysis is one of these domains, where the process of gathering data and labels is often challenging or even infeasible due to legal and privacy concerns, or due to the specific characteristics of diseases. Logistical obstacles, expensive diagnostic methods and the necessity for invasive procedures add to the difficulty of data collection. Even when ample data exists, the substantial cost and logistical hurdles in acquiring expert annotations pose considerable challenges. Thus, there is a pressing need for the development of AI models that can operate in low-data settings.

In this thesis, we explore methods that improve the generalization and robustness of models when data availability is limited. We highlight the importance of model architecture and initialization, considering their associated assumptions and biases, to determine their effectiveness in such settings. We find that models with fewer built-in assumptions in their architecture need to be initialized with pre-trained weights, executed via transfer learning. This prompts us to explore how well transfer learning performs when models are initially trained in the natural domains, where data is abundant, before being used for medical image analysis where data is limited. We identify key factors responsible for transfer learning’s efficacy, and explore its relationship with data size, model architecture, and the distance between the target domain and the one used for pretraining. In cases where expert labels are scarce, we introduce the concept of complementary labels as the means to expand the labeling set. By providing information about other objects in the image, these labels help develop richer representations, leading to improved performance in low-data regimes. We showcase the utility of these methods by streamlining the histopathology-based assessment of chronic kidney disease in an industrial pharmaceutical setting, reducing the turnaround time of study evaluations by 97%. Our results demonstrate that AI models developed for low data regimes are capable of delivering industrial-level performance, proving their practical use in drug discovery and healthcare.

Artificiell intelligens (AI) påverkar gradvis allt fler domäner såsom affärsvärlden, vetenskapsvärlden och samhället i stort, vilket leder till stora socioekonomiska förändringar.Dock varierar dess tillämpning i verkliga problem avsevärt mellan olika sektorer.En av de främsta utmaningarna som begränsar den breda adoptionen av AI inom vissa områden är tillgången på data.Analys av medicinska bilder är en av dessa domäner, där möjligheten att samla data och annoteringar ofta är begränsad eller till och med omöjlig på grund av juridiska och integritetsmässiga skäl, eller på grund av specifika sjukdomskaraktäristiska problem.Logistiska hinder, dyra diagnostiska metoder och behovet av invasiva procedurer försvårar ytterligare datainsamling.Även när det finns gott om data utgör den betydande kostnaden och logistiska hinder för att skaffa expertannotationer betydande utmaningar.Således finns det ett tydligt behov för utvecklingen av AI-modeller som kan även fungera i med begränsade mängder data.

I denna avhandling utforskar vi metoder som förbättrar generaliseringen och robustheten hos modeller när tillgången på data är begränsad.Vi betonar vikten av modellarkitektur och initialisering, med fokus på aspekter som inbyggda antaganden, för att avgöra deras effektivitet under sådana förhållanden.Vi finner att modeller med färre inbyggda antaganden i sin arkitektur behöver initialiseras med förtränade vikter, genomfört via överföringsinlärning.Detta leder oss till att utforska hur väl överföringsinlärning presterar när modeller initialt tränas inom de naturliga domänerna, där data är rikligt tillgänglig, innan de används för analys av medicinska bilder där data är begränsad.Vi identifierar nyckelfaktorer som påverkar överföringsinlärningens effektivitet och utforskar påverkan som datasetsstorlek, modellarkitektur och avståndet mellan måldomänen och den som används för förträning.I fall där få expertannoteringar är tillgängliga introducerar vi konceptet kompletterande annoteringar, som en strategi för att utöka annoteringssättet.Genom att tillhandahålla information om andra objekt i bilden hjälper dessa annoteringar till att utveckla rikare representationer, vilket leder till förbättrad prestanda i domäner med begränsade mängder data.Vi visar användbarheten av dessa metoder genom att effektivisera histopatologi-baserad utvärderingen av kronisk njursjukdom i en industriell miljö, vilket reducerar tiden för studieutvärderingar med 97%.Våra resultat demonstrerar att AI-modeller utvecklade för förhållanden med små datamängder är kapabla att leverera effektivisering i industriell relevanta situationer, vilket visar på dess praktiska användbarhet inom läkemedelsupptäckt och hälsovård.