kth.sePublications KTH
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
The effect of the hyperparameters of an RBF SVM on classifying pneumonia
KTH, School of Electrical Engineering and Computer Science (EECS), Computer Science.
KTH, School of Electrical Engineering and Computer Science (EECS), Computer Science.
2022 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE creditsStudent thesisAlternative title
Effekten av hyperparametrarna för en RBF SVM vid klassificering av lunginflammation (Swedish)
Abstract [en]

Pneumonia is a deadly disease if gone untreated. In order to treat it, first it has to be discovered, which can be done by examining patterns of chest X-ray images. This process can be done by human experts but there is also a desire to make it more efficient by utilizing machine learning. One machine learning model well equipped for handling classification tasks is the Support Vector Machine (SVM) with a Radial Basis Function (RBF) Kernel. However, there exists a vast amount of configurations which greatly affects the achieved accuracy and therefore there is a need of understanding how the different configurations work and how they affect the behavior of the SVM. Therefore we aimed to answer specifically how the two hyperparameters cost and gamma affect the performance of an RBF kerneled SVM when using Histogram of Oriented Gradients (HOG) of chest X-ray images as features. This investigation was conducted by performing a coarse grid search combined with cross-validation with SVM as estimator. The accuracies obtained were then displayed on a heatmap and afterwards compared. In our results, it was found that there does exist a clear correlation between cost, gamma and the achieved accuracy. In some areas of the hyperparameter space, the parameters were able to compensate for each other, i.e., if one of them increased, then the other one needed to decrease in order to retain its accuracy. There also existed anomalies to the patterns discerned, when, in some extreme values for either hyperparameter, the effect of the other disappeared, implying an independency. Lastly, the best accuracies could be found in the middle region of the hyperparameter space.

Abstract [sv]

Lunginflammation är en dödlig sjukdom om den förblir obehandlad. För att behandling ska kunna ske, måste sjukdomen först upptäckas, vilket kan ske genom undersökning av röntgenbilder av bröstkorgen. Denna process kan utföras av experter inom området, men det finns också en önskan att effektivisera denna process genom användning av maskininlärning. En maskininlärningsmodell väl lämpad för hantering av liknande klassificeringsuppgifter är SVM (Support Vector Machine) med en RBF (Radial Basis Function) kärnfunktion. Det finns dock ett stort antal konfigurationer av denna SVM som i stor grad påverkar den uppnådda noggrannheten, och därmed finns också ett behov av att förstå hur de olika inställningarna fungerar samt hur de påverkar SVM:s beteende. I denna studie ämnade vi därför besvara hur de två hyperparametrarna Cost (kostnad) och Gamma påverkar prestandan av en RBF-kärnad SVM under användning av HOG (Histogram of Oriented Gradients) av röntgenbilder av bröstkorgen. Denna undersökning genomfördes genom att utföra en grov rutnätssökning i kombination med korsvalidering med SVM som skattare. De erhållna noggrannheterna visualiserades sedan med färg i ett rutnät för att sedan kunna analyseras och jämföras. De uppnådda resultaten visade på ett tydligt samband mellan kostnaden, gamma och den uppnådda noggrannheten av SVM:n. I vissa områden av hyperparameter-utrymmet kunde parametrarna kompensera varandra och bevara liknande noggrannheten, dvs. om en av parametrarna ökar sitt värde så måste den andra parametern minska sitt värde för att behålla noggrannheten. Det existerade också avvikelser från det vanliga beteende vid vissa extremvärden av båda hyperparametrarna. I dessa områden skådades ett oberoende och således kom den andra hyperparametern att inte ha någon påverkan alls på resultatet. Slutligen kunde de bäst erhållna noggrannheterna skådas i den mellersta regionen av hyperparametrarna.

Place, publisher, year, edition, pages
2022. , p. 21
Series
TRITA-EECS-EX ; 2022:493
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-320011OAI: oai:DiVA.org:kth-320011DiVA, id: diva2:1703298
Subject / course
Computer Science
Educational program
Master of Science in Engineering - Computer Science and Technology
Supervisors
Examiners
Available from: 2022-10-13 Created: 2022-10-12 Last updated: 2022-10-13Bibliographically approved

Open Access in DiVA

fulltext(373 kB)331 downloads
File information
File name FULLTEXT01.pdfFile size 373 kBChecksum SHA-512
6398bcec2bac5474b52ff6db9d7f9d9ef391d364f5cd3b7d0f8f36e69e001249048f19eddf80148b04aea771632b28ffefa28ed027b3d477a72d7154ba8866ba
Type fulltextMimetype application/pdf

By organisation
Computer Science
Computer and Information Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 331 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 500 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf