Investigating Transfer Learning in Melanoma Classification Using Smartphone Images: A study of the effects of pre-training on dermoscopic images to classify smartphone-captured images
2024 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE credits
Student thesisAlternative title
Undersökning av Transfer Learning i Klassificering av Melanom i smartphone-bilder (Swedish)
Abstract [en]
The increasing incidence and mortality rates of melanoma in low- and middle-income countries highlights the need for accessible diagnostic tools. This study investigates the potential of improving melanoma classification in smartphone-captured images through pre-training a Convolutional Neural Network (CNN) on dermoscopic images. The PAD-UFES-20 dataset is used for smartphone images and the ISIC 2019 challenge dataset for dermoscopic images. The study focuses on binary classification and the datasets are stripped of all skin lesion diagnoses other than Melanoma and Nevus. The datasets are used to train a ResNet50v2 model. The study compares the performance of a baseline model, fine-tuned on the smartphone image dataset, with a model pre-trained on dermoscopic images before fine-tuning with the smartphone images. Both implementations are tested twice, first with pre-initialized weights from ImageNet, then with randomly initialized weights, resulting in a total of four different models. The evaluation metrics used are accuracy, precision, recall, PR-AUC and F1 Score. The baseline model with pre-initialized weights from ImageNet performed the best in every metric except precision out of all models tested in this study. This research shows that transferring knowledge from one dataset to another, even if the domain seems similar, can be difficult and that more research is needed to promote early detection of melanoma in resource-constrained settings.
Abstract [sv]
Den ökande förekomsten och dödligheten av melanom i låg- och medelinkomstländer understryker behovet av tillgängliga diagnostiska verktyg. Denna studie undersöker potentialen att förbättra klassificeringen av melanom utifrån bilder tagna med smartphone-kameror genom att för-träna ett konvolutionellt neuralt nätverk (CNN) på dermatoskopiska bilder. Bilder tagna med smartphone-kameror tillhandahålls från datasetet PAD-UFES-20 och dermatoskopiska bilder från ‘ISIC 2019 Challenge’-datasetet. Studien fokuserar på binär klassificering och dataseten rensas därav från alla diagnoser förutom melanom och godartade hudförändringar. Dataseten används för att träna en ResNet50v2-modell. Studien jämför prestandan av en referensmodell, finjusterad på datasetet innehållande smartphone-bilder, med en modell för-tränad på dermatoskopiska bilder innan finjustering med smartphone-bilder genomfördes. Båda implementationer testas två gånger, först med förinitierade vikter från ImageNet, och därefter med slumpmässigt initierade vikter, vilket därmed resulterade i totalt fyra olika modeller. För att utvärdera respektive modells prestanda används noggrannhet (eng. accuracy), precision (eng. precision), täckning (eng. recall), PR-AUC och F1 Score. Referensmodellen med förinitierade vikter från ImageNet presterade bäst av de testade modellerna i denna studie, med avseende på alla utvärderingsmått förutom precision. Denna forskning visar på att överföring av kunskap från en datamängd till en annan, även om domänen framstås vara likartad, kan vara svårt och att ytterligare forskning krävs för att främja tidig upptäckt av melanom i resursbegränsade miljöer.
Place, publisher, year, edition, pages
2024. , p. 26
Series
TRITA-EECS-EX ; 2024:377
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-351169OAI: oai:DiVA.org:kth-351169DiVA, id: diva2:1886395
Supervisors
Examiners
2024-08-232024-08-012024-08-23Bibliographically approved