Breast cancer, the most common type of cancer among women worldwide, necessitates reliable early detection methods. Although mammography serves as a cost-effective screening technique, its limitations in sensitivity emphasize the need for more advanced detection approaches. Previous studies have relied on breast density, extracted directly from the mammograms, as a primary metric for cancer risk assessment, given its correlation with increased cancer risk and the masking potential of cancer. However, such a singular metric overlooks image details and spatial relationships critical for cancer diagnosis. To address these limitations, this thesis integrates artificial intelligence (AI) models into mammography, with the goal of enhancing both cancer detection and risk estimation. 

In this thesis, we aim to establish a new benchmark for breast cancer prediction using neural networks. Utilizing the Cohort of Screen-Aged Women (CSAW) dataset, which includes mammography images from 2008 to 2015 in Stockholm, Sweden, we develop three AI models to predict inherent risk, cancer signs, and masking potential of cancer. Combined, these models can e↵ectively identify women in need of supplemental screening, even after a clean exam, paving the way for better early detection of cancer. Individually, important progress has been made on each of these component tasks as well. The risk prediction model, developed and tested on a large population-based cohort, establishes a new state-of-the-art at identifying women at elevated risk of developing breast cancer, outperforming traditional density measures. The risk model is carefully designed to avoid conflating image patterns re- lated to early cancers signs with those related to long-term risk. We also propose a method that allows vision transformers to eciently be trained on and make use of high-resolution images, an essential property for models analyzing mammograms. We also develop an approach to predict the masking potential in a mammogram – the likelihood that a cancer may be obscured by neighboring tissue and consequently misdiagnosed. High masking potential can complicate early detection and delay timely interventions. Along with the model, we curate and release a new public dataset which can help speed up progress on this important task. 

Through our research, we demonstrate the transformative potential of AI in mammographic analysis. By capturing subtle image cues, AI models consistently exceed the traditional baselines. These advancements not only highlight both the individual and combined advantages of the models, but also signal a transition to an era of AI-enhanced personalized healthcare, promising more ecient resource allocation and better patient outcomes. 

Bröstcancer, den vanligaste cancerformen bland kvinnor globalt, kräver tillförlitliga metoder för tidig upptäckt. Även om mammografi fungerar som en kostnadseffektiv screeningteknik, understryker dess begränsningar i känslighet behovet av mer avancerade detektionsmetoder. Tidigare studier har förlitat sig på brösttäthet, utvunnen direkt från mammogram, som en primär indikator för riskbedömning, givet dess samband med ökad cancerrisk och cancermaskeringspotential. Visserligen förbiser en sådan enskild indikator bildinformation och spatiala relationer vilka är kritiska för cancerdiagnos. För att möta dessa begränsningar integrerar denna avhandling artificiell intelligens (AI) modeller i mammografi, med målet att förbättra både cancerdetektion och riskbedömning. 

I denna avhandling syftar vi till att fastställa en ny standard för bröstcancer-prediktion med hjälp av neurala nätverk. Genom att utnyttja datasetet Co-hort of Screen-Aged Women (CSAW), som inkluderar mammografier från 2008 till 2015 i Stockholm, Sverige, utvecklar vi tre AI modeller för att förutsäga inneboende risk, tecken på cancer och cancermaskeringspotential. Sammantaget kan dessa modeller effektivt identifiera kvinnor som behöver kompletterande screening, även efter en undersökning där patienten klassificerats som hälsosam, vilket banar väg för tidigare upptäckt av cancer. Individuellt har viktiga framsteg också gjorts i vardera modell. Riskdetektionsmodellen, utvecklad och testad på en stor populationsbaserad kohort, etablerar en ny state-of-the-art vid identifiering av kvinnor med ökad risk att utveckla bröstcancer, och presterar bättre än traditionella täthetsmodeller. Riskmodellen är noggrant utformad för att undvika att sammanblanda bildmönster relaterade till tidiga tecken på cancer med de som relaterar till långsiktig risk. Vi föreslår också en metod som gör det möjligt för vision transformers att effektivt tränas på samt utnyttja högupplösta bilder, en väsentlig egenskap för modeller som berör mammogram. Vi utvecklar också en metod för att förutsäga maskeringspotentialen i mammogram - sannolikheten att en cancer kan döljas av närliggande vävnad och följaktligen misstolkas. Hög maskeringspotential kan komplicera tidig upptäckt och försena ingripanden. Tillsammans med modellen sammanställer och släpper vi ett nytt offentligt dataset som kan hjälpa till att påskynda framsteg inom detta viktiga område. 

Genom vår forskning demonstrerar vi den transformativa potentialen med AI i mammografianalys. Genom att fånga subtila bildledtrådar överträffar AI-modeller konsekvent de traditionella baslinjerna. Dessa framsteg belyser inte bara de individuella och kombinerade fördelarna med modellerna, utan signalerar också ett paradigmskifte mot en era av AI-förstärkt personlig hälso- och sjukvård, med ett löfte om mer effektiv resursallokering och förbättrade patientresultat. 

Foundation models – large-scale AI models trained on vast and diverse data – have reshaped modern artificial intelligence by enabling powerful knowledge transfer across tasks and domains. By learning broad, general-purpose representations, foundation models make it possible to adapt a single pre-trained model to a wide range of downstream applications. Despite this progress, translating these models into practical real-world impact remains challenging. Key challenges involve determining when knowledge transfer genuinely provides benefits, adapting ever-larger models within practical computational limits, and deploying them effectively in high-stakes, data-scarce environments such as clinical settings.

This thesis investigates methods for making transfer learning with modern foundation models more reliable, efficient, and applicable in real-world settings. It first addresses the challenge of determining when transfer learning is likely to be beneficial. Through a large-scale empirical study across diverse domains, tasks, and model architectures, the results show that existing transferability estimation metrics often fail to provide reliable guidance under realistic deployment conditions. To address this limitation, a simple and robust estimator is introduced to better predict the expected gains from transfer learning before costly adaptation is undertaken.

Despite the potential advantages of large foundation models, their practical use is often constrained by their scale. With billions of parameters, adapting these models to a specific downstream domain is computationally expensive and frequently infeasible under typical resource limitations. This thesis addresses this challenge by proposing an efficient adaptation strategy that substantially reduces computational cost while preserving performance. Furthermore, to broaden applicability in real-world settings, this efficient adaptation framework is extended to domains characterized by limited labeled data. In domains such as medical imaging, expert annotation is costly and scarce, while unlabeled data is more readily available. An adaptation approach is therefore developed that enables foundation models to be effectively aligned with medical domains in settings with limited labeled data.

Finally, the thesis focuses on a concrete clinical application in mammography, a domain characterized by limited public datasets and high annotation costs. A large-scale, expert-annotated dataset is introduced and a clinically motivated prediction task is defined, aimed at estimating cancer masking potential – an important factor affecting diagnostic reliability in breast cancer screening. Deep learning models are shown to effectively address this task, highlighting its relevance for supporting risk-informed clinical decision-making and real-world deployment.

Foundation-modeller – storskaliga AI-modeller tränade på mycket stora och varierade datamängder – har omformat modern artificiell intelligens genom att möjliggöra effektiv kunskapsöverföring mellan olika uppgifter och domäner. Genom att lära sig breda och generella representationer kan en och samma förtränad modell anpassas till ett stort antal nedströmsapplikationer. Trots dessa framsteg kvarstår betydande utmaningar när det gäller att omsätta dessa modeller i praktisk samhällsnytta. Centrala hinder inkluderar att avgöra när överföringsinlärning faktiskt är fördelaktig, att anpassa allt större modeller under realistiska beräkningsbegränsningar samt att möjliggöra tillförlitlig användning i högkritiska och databegränsade miljöer, såsom kliniska sammanhang.

Denna avhandling undersöker hur överföringsinlärning med moderna foundation-modeller kan göras mer tillförlitlig, effektiv och praktiskt användbar. Först behandlas den grundläggande frågan om när överföringsinlärning förväntas ge förbättrad prestanda. Genom en storskalig empirisk studie som omfattar olika domäner, uppgifter och modellarkitekturer visar vi att befintliga mått för att uppskatta överförbarhet ofta ger otillförlitlig vägledning under realistiska tillämpningsförhållanden. Vi introducerar därför en enkel och robust metod som mer träffsäkert kan förutsäga de förväntade vinsterna med överföringsinlärning innan kostsam modellanpassning genomförs.

Trots de potentiella fördelarna med stora foundation-modeller begränsas deras praktiska användning ofta av deras storlek. Med miljarder parametrar är fullständig finjustering beräkningsmässigt kostsam och ofta orealistisk under normala resursbegränsningar. I denna avhandling föreslås en effektiv anpassningsstrategi som avsevärt minskar den beräkningsmässiga kostnaden utan att försämra prestandan. För att ytterligare bredda tillämpbarheten utvidgar vi denna effektiva anpassningsram till domäner där märkta data är begränsade. Inom exempelvis medicinsk bildanalys är expertannotering kostsam och knapp, medan omärkta data ofta är mer tillgängliga. Vi utvecklar därför en anpassningsmetod som möjliggör effektiv anpassning av foundation-modeller till medicinska domäner trots betydande brist på märkta data.

Slutligen fokuserar vi på en konkret klinisk tillämpning inom mammografi, ett område som kännetecknas av begränsad tillgång till offentliga dataset och höga annoteringskostnader. Vi introducerar ett storskaligt, expertannoterat dataset och definierar en kliniskt motiverad prediktionsuppgift för att uppskatta tumörmaskering – en viktig faktor som påverkar diagnostisk tillförlitlighet vid bröstcancerscreening. Vi visar att djupinlärningsmodeller effektivt kan hantera denna uppgift och belyser dess betydelse för riskbaserat kliniskt beslutsstöd och praktisk implementering i vårdmiljöer.