Endre søk
RefereraExporteraLink to record
Permanent link

Direct link
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annet format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annet språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Logistic-Normal Likelihoods for Heteroscedastic Label Noise
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Robotik, perception och lärande, RPL.ORCID-id: 0000-0003-4535-2520
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Robotik, perception och lärande, RPL.ORCID-id: 0000-0002-6193-7126
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Robotik, perception och lärande, RPL.ORCID-id: 0000-0001-5211-6388
2023 (engelsk)Inngår i: Transactions on Machine Learning Research, E-ISSN 2835-8856, Vol. 2023, nr 8Artikkel i tidsskrift (Fagfellevurdert) Published
Abstract [en]

A natural way of estimating heteroscedastic label noise in regression is to model the observed (potentially noisy) target as a sample from a normal distribution, whose parameters can be learned by minimizing the negative log-likelihood. This formulation has desirable loss attenuation properties, as it reduces the contribution of high-error examples. Intuitively, this behavior can improve robustness against label noise by reducing overfitting. We propose an extension of this simple and probabilistic approach to classification that has the same desirable loss attenuation properties. Furthermore, we discuss and address some practical challenges of this extension. We evaluate the effectiveness of the method by measuring its robustness against label noise in classification. We perform enlightening experiments exploring the inner workings of the method, including sensitivity to hyperparameters, ablation studies, and other insightful analyses.

sted, utgiver, år, opplag, sider
Transactions on Machine Learning Research (TMLR) , 2023. Vol. 2023, nr 8
HSV kategori
Identifikatorer
URN: urn:nbn:se:kth:diva-346451Scopus ID: 2-s2.0-86000109470OAI: oai:DiVA.org:kth-346451DiVA, id: diva2:1857950
Forskningsfinansiär
Wallenberg AI, Autonomous Systems and Software Program (WASP)
Merknad

QC 20250325

Tilgjengelig fra: 2024-05-15 Laget: 2024-05-15 Sist oppdatert: 2025-03-25bibliografisk kontrollert
Inngår i avhandling
1. On Label Noise in Image Classification: An Aleatoric Uncertainty Perspective
Åpne denne publikasjonen i ny fane eller vindu >>On Label Noise in Image Classification: An Aleatoric Uncertainty Perspective
2024 (engelsk)Doktoravhandling, med artikler (Annet vitenskapelig)
Abstract [en]

Deep neural networks and large-scale datasets have revolutionized the field of machine learning. However, these large networks are susceptible to overfitting to label noise, resulting in generalization degradation. In response, the thesis closely examines the problem both from an empirical and theoretical perspective. We empirically analyse the input smoothness of networks as they overfit to label noise, and we theoretically explore the connection to aleatoric uncertainty. These analyses improve our understanding of the problem and have led to our novel methods aimed at enhancing robustness against label noise in classification.

Abstract [sv]

Djupa neurala nätverk och storskaliga dataset har revolutionerat maskininlärningsområdet. Dock är dessa stora nätverk känsliga för överanpassning till felmarkerade etiketter, vilket leder till försämrad generalisering. Som svar på detta undersöker avhandlingen noggrant problemet både från en empirisk och teoretisk synvinkel. Vi analyserar empiriskt nätverkens känslighet försmå ändringar i indatan när de över anpassar till felmarkerade etiketter, och vi utforskar teoretiskt kopplingen till aleatorisk osäkerhet. Dessa analyser förbättrar vår förståelse av problemet och har lett till våra nya metoder med syfte att vara robusta mot felmarkerade etiketter i klassificering.

sted, utgiver, år, opplag, sider
Stockholm: KTH Royal Institute of Technology, 2024. s. xi, 68
Serie
TRITA-EECS-AVL ; 2024:45
Emneord
Label noise, aleatoric uncertainty, noisy labels, robustness, etikettbrus, osäkerhet, felmarkerade etiketter, robusthet
HSV kategori
Forskningsprogram
Datalogi
Identifikatorer
urn:nbn:se:kth:diva-346453 (URN)978-91-8040-925-4 (ISBN)
Disputas
2024-06-03, https://kth-se.zoom.us/w/61097277235, F3 (Flodis), Lindstedsvägen 26 & 28, Stockholm, 09:00 (engelsk)
Opponent
Veileder
Forskningsfinansiär
Wallenberg AI, Autonomous Systems and Software Program (WASP)
Merknad

QC 20240516

Tilgjengelig fra: 2024-05-16 Laget: 2024-05-16 Sist oppdatert: 2025-12-03bibliografisk kontrollert

Open Access i DiVA

fulltext(2963 kB)216 nedlastinger
Filinformasjon
Fil FULLTEXT01.pdfFilstørrelse 2963 kBChecksum SHA-512
32c041a8de2775b0bd9c67d0ca47eb57fae0273aa433565abe0dc8b9b8b96efe760ea1b95cb58eea2f6368cf375341f469d1e596e5104faf802ed8466dabb656
Type fulltextMimetype application/pdf

Andre lenker

ScopusPaperCode

Person

Englesson, ErikMehrpanah, AmirAzizpour, Hossein

Søk i DiVA

Av forfatter/redaktør
Englesson, ErikMehrpanah, AmirAzizpour, Hossein
Av organisasjonen
I samme tidsskrift
Transactions on Machine Learning Research

Søk utenfor DiVA

GoogleGoogle Scholar
Totalt: 216 nedlastinger
Antall nedlastinger er summen av alle nedlastinger av alle fulltekster. Det kan for eksempel være tidligere versjoner som er ikke lenger tilgjengelige

urn-nbn

Altmetric

urn-nbn
Totalt: 409 treff
RefereraExporteraLink to record
Permanent link

Direct link
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annet format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annet språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf