The effect of the hyperparameters of an RBF SVM on classifying pneumonia
2022 (engelsk)Independent thesis Basic level (degree of Bachelor), 10 poäng / 15 hp
OppgaveAlternativ tittel
Effekten av hyperparametrarna för en RBF SVM vid klassificering av lunginflammation (svensk)
Abstract [en]
Pneumonia is a deadly disease if gone untreated. In order to treat it, first it has to be discovered, which can be done by examining patterns of chest X-ray images. This process can be done by human experts but there is also a desire to make it more efficient by utilizing machine learning. One machine learning model well equipped for handling classification tasks is the Support Vector Machine (SVM) with a Radial Basis Function (RBF) Kernel. However, there exists a vast amount of configurations which greatly affects the achieved accuracy and therefore there is a need of understanding how the different configurations work and how they affect the behavior of the SVM. Therefore we aimed to answer specifically how the two hyperparameters cost and gamma affect the performance of an RBF kerneled SVM when using Histogram of Oriented Gradients (HOG) of chest X-ray images as features. This investigation was conducted by performing a coarse grid search combined with cross-validation with SVM as estimator. The accuracies obtained were then displayed on a heatmap and afterwards compared. In our results, it was found that there does exist a clear correlation between cost, gamma and the achieved accuracy. In some areas of the hyperparameter space, the parameters were able to compensate for each other, i.e., if one of them increased, then the other one needed to decrease in order to retain its accuracy. There also existed anomalies to the patterns discerned, when, in some extreme values for either hyperparameter, the effect of the other disappeared, implying an independency. Lastly, the best accuracies could be found in the middle region of the hyperparameter space.
Abstract [sv]
Lunginflammation är en dödlig sjukdom om den förblir obehandlad. För att behandling ska kunna ske, måste sjukdomen först upptäckas, vilket kan ske genom undersökning av röntgenbilder av bröstkorgen. Denna process kan utföras av experter inom området, men det finns också en önskan att effektivisera denna process genom användning av maskininlärning. En maskininlärningsmodell väl lämpad för hantering av liknande klassificeringsuppgifter är SVM (Support Vector Machine) med en RBF (Radial Basis Function) kärnfunktion. Det finns dock ett stort antal konfigurationer av denna SVM som i stor grad påverkar den uppnådda noggrannheten, och därmed finns också ett behov av att förstå hur de olika inställningarna fungerar samt hur de påverkar SVM:s beteende. I denna studie ämnade vi därför besvara hur de två hyperparametrarna Cost (kostnad) och Gamma påverkar prestandan av en RBF-kärnad SVM under användning av HOG (Histogram of Oriented Gradients) av röntgenbilder av bröstkorgen. Denna undersökning genomfördes genom att utföra en grov rutnätssökning i kombination med korsvalidering med SVM som skattare. De erhållna noggrannheterna visualiserades sedan med färg i ett rutnät för att sedan kunna analyseras och jämföras. De uppnådda resultaten visade på ett tydligt samband mellan kostnaden, gamma och den uppnådda noggrannheten av SVM:n. I vissa områden av hyperparameter-utrymmet kunde parametrarna kompensera varandra och bevara liknande noggrannheten, dvs. om en av parametrarna ökar sitt värde så måste den andra parametern minska sitt värde för att behålla noggrannheten. Det existerade också avvikelser från det vanliga beteende vid vissa extremvärden av båda hyperparametrarna. I dessa områden skådades ett oberoende och således kom den andra hyperparametern att inte ha någon påverkan alls på resultatet. Slutligen kunde de bäst erhållna noggrannheterna skådas i den mellersta regionen av hyperparametrarna.
sted, utgiver, år, opplag, sider
2022. , s. 21
Serie
TRITA-EECS-EX ; 2022:493
HSV kategori
Identifikatorer
URN: urn:nbn:se:kth:diva-320011OAI: oai:DiVA.org:kth-320011DiVA, id: diva2:1703298
Fag / kurs
Computer Science
Utdanningsprogram
Master of Science in Engineering - Computer Science and Technology
Veileder
Examiner
2022-10-132022-10-122022-10-13bibliografisk kontrollert