Artificial intelligence (AI) is progressively influencing business, science, and society, leading to major socioeconomic changes. However, its application in real-world problems varies significantly across different sectors. One of the primary challenges limiting the widespread adoption of AI in certain areas is data availability. Medical image analysis is one of these domains, where the process of gathering data and labels is often challenging or even infeasible due to legal and privacy concerns, or due to the specific characteristics of diseases. Logistical obstacles, expensive diagnostic methods and the necessity for invasive procedures add to the difficulty of data collection. Even when ample data exists, the substantial cost and logistical hurdles in acquiring expert annotations pose considerable challenges. Thus, there is a pressing need for the development of AI models that can operate in low-data settings.

In this thesis, we explore methods that improve the generalization and robustness of models when data availability is limited. We highlight the importance of model architecture and initialization, considering their associated assumptions and biases, to determine their effectiveness in such settings. We find that models with fewer built-in assumptions in their architecture need to be initialized with pre-trained weights, executed via transfer learning. This prompts us to explore how well transfer learning performs when models are initially trained in the natural domains, where data is abundant, before being used for medical image analysis where data is limited. We identify key factors responsible for transfer learning’s efficacy, and explore its relationship with data size, model architecture, and the distance between the target domain and the one used for pretraining. In cases where expert labels are scarce, we introduce the concept of complementary labels as the means to expand the labeling set. By providing information about other objects in the image, these labels help develop richer representations, leading to improved performance in low-data regimes. We showcase the utility of these methods by streamlining the histopathology-based assessment of chronic kidney disease in an industrial pharmaceutical setting, reducing the turnaround time of study evaluations by 97%. Our results demonstrate that AI models developed for low data regimes are capable of delivering industrial-level performance, proving their practical use in drug discovery and healthcare.

Artificiell intelligens (AI) påverkar gradvis allt fler domäner såsom affärsvärlden, vetenskapsvärlden och samhället i stort, vilket leder till stora socioekonomiska förändringar.Dock varierar dess tillämpning i verkliga problem avsevärt mellan olika sektorer.En av de främsta utmaningarna som begränsar den breda adoptionen av AI inom vissa områden är tillgången på data.Analys av medicinska bilder är en av dessa domäner, där möjligheten att samla data och annoteringar ofta är begränsad eller till och med omöjlig på grund av juridiska och integritetsmässiga skäl, eller på grund av specifika sjukdomskaraktäristiska problem.Logistiska hinder, dyra diagnostiska metoder och behovet av invasiva procedurer försvårar ytterligare datainsamling.Även när det finns gott om data utgör den betydande kostnaden och logistiska hinder för att skaffa expertannotationer betydande utmaningar.Således finns det ett tydligt behov för utvecklingen av AI-modeller som kan även fungera i med begränsade mängder data.

I denna avhandling utforskar vi metoder som förbättrar generaliseringen och robustheten hos modeller när tillgången på data är begränsad.Vi betonar vikten av modellarkitektur och initialisering, med fokus på aspekter som inbyggda antaganden, för att avgöra deras effektivitet under sådana förhållanden.Vi finner att modeller med färre inbyggda antaganden i sin arkitektur behöver initialiseras med förtränade vikter, genomfört via överföringsinlärning.Detta leder oss till att utforska hur väl överföringsinlärning presterar när modeller initialt tränas inom de naturliga domänerna, där data är rikligt tillgänglig, innan de används för analys av medicinska bilder där data är begränsad.Vi identifierar nyckelfaktorer som påverkar överföringsinlärningens effektivitet och utforskar påverkan som datasetsstorlek, modellarkitektur och avståndet mellan måldomänen och den som används för förträning.I fall där få expertannoteringar är tillgängliga introducerar vi konceptet kompletterande annoteringar, som en strategi för att utöka annoteringssättet.Genom att tillhandahålla information om andra objekt i bilden hjälper dessa annoteringar till att utveckla rikare representationer, vilket leder till förbättrad prestanda i domäner med begränsade mängder data.Vi visar användbarheten av dessa metoder genom att effektivisera histopatologi-baserad utvärderingen av kronisk njursjukdom i en industriell miljö, vilket reducerar tiden för studieutvärderingar med 97%.Våra resultat demonstrerar att AI-modeller utvecklade för förhållanden med små datamängder är kapabla att leverera effektivisering i industriell relevanta situationer, vilket visar på dess praktiska användbarhet inom läkemedelsupptäckt och hälsovård.

In the search for new therapeutic treatments, strategies to make the drug discovery process more efficient are crucial. Image-based phenotypic profiling, with its millions of pictures of fluorescent stained cells, is a rich and effective means to capture the morphological effects of potential treatments on living systems. Within this complex data await biological insights and new therapeutic opportunities – but computational tools are needed to unlock them.

This thesis examines the role of machine learning in improving the utility and analysis of phenotypic screening data. It focuses on challenges specific to this domain, such as the lack of reliable labels that are essential for supervised learning, as well as confounding factors present in the data that are often unavoidable due to experimental variability. We explore transfer learning to boost model generalization and robustness, analyzing the impact of domain distance, initialization, dataset size, and architecture on the effectiveness of applying natural domain pre-trained weights to biomedical contexts. Building upon this, we delve into self-supervised pretraining for phenotypic image data, but find its direct application is inadequate in this context as it fails to differentiate between various biological effects. To overcome this, we develop new self-supervised learning strategies designed to enable the network to disregard confounding experimental noise, thus enhancing its ability to discern the impacts of various treatments. We further develop a technique that allows a model trained for phenotypic profiling to be adapted to new, unseen data without the need for any labels or supervised learning. Using this approach, a general phenotypic profiling model can be readily adapted to data from different sites without the need for any labels. Beyond our technical contributions, we also show that bioactive compounds identified using the approaches outlined in this thesis have been subsequently confirmed in biological assays through replication in an industrial setting. Our findings indicate that while phenotypic data and biomedical imaging present complex challenges, machine learning techniques can play a pivotal role in making early drug discovery more efficient and effective.

I jakten på nya mediciner är strategier för att effektivisera processen för läkemedelsupptäckt avgörande. Bildbaserad fenotypisk profilering, med sina miljontals bilder på fluorescent färgade celler, erbjuder ett rikt och effektivt sätt att fånga de morfologiska effekterna av potentiella behandlingar på levande system. Inom sådan komplex data kan okända biologiska insikter identifieras och nya läkemedelsbehandlingar upptäckas, men analysmetoder kapabla att extrahera informationen krävs för att urskilja dem.

Denna avhandling utforskar maskininlärningens roll i att förbättra användbarheten och analysen av fenotypisk data. Den tar sig an utmaningar specifika för denna typ av data, såsom bristen på tillförlitliga annoteringar som krävs för övervakad inlärning, samt förväxlingsfaktorer i datan som ofta är oundvikliga på grund av experimentell variation. Vi utforskar överföringsinlärning för att öka modellernas generaliseringsförmåga och robusthet, samt analyserar hur faktorer som domänavstånd, initialisering, datamängd och modellarkitektur påverkar effektiviteten i att tillämpa förtränade vikter från naturliga domäner på biomedicinska.

Vidare fördjupar vi oss i oövervakad inlärning för fenotypiska bilddata, men upptäcker att dess direkta tillämpning är otillräcklig i detta sammanhang eftersom den inte lyckas skilja mellan olika biologiska effekter. För att hantera detta utvecklar vi nya strategier för oövervakat lärande, designade för att modellen ska kunna ignorera experimentellt brus, vilket förbättrar dess förmåga att urskilja effekterna av olika behandlingar. Vi utvecklar även en teknik som gör det möjligt för en modell tränad för fenotypisk profilering att anpassas till ny data från en okänd källa utan behov av några annoteringar eller övervakat lärande. Med denna metod kan en generell fenotypisk profilmodell enkelt anpassas till data från olika källor utan annoteringar.

Utöver våra tekniska bidrag visar vi också att bioaktiva substanser identifierade med metoderna i denna avhandling har bekräftats experimentellt. Våra resultat tyder på att även om fenotypiska data och biomedicinsk bilddata utgör komplexa utmaningar, kan maskininlärning spela en avgörande roll i att göra den tidiga fasen av läkemedelsupptäckt mer effektiv.