kth.sePublikationer KTH
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Robust Classification via Regression for Learning with Noisy Labels
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Robotik, perception och lärande, RPL.ORCID-id: 0000-0003-4535-2520
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Robotik, perception och lärande, RPL.ORCID-id: 0000-0001-5211-6388
2024 (Engelska)Ingår i: Proceedings ICLR 2024 - The Twelfth International Conference on Learning Representations, 2024Konferensbidrag, Poster (med eller utan abstract) (Refereegranskat)
Abstract [en]

Deep neural networks and large-scale datasets have revolutionized the field of machine learning. However, these large networks are susceptible to overfitting to label noise, resulting in reduced generalization. To address this challenge, two promising approaches have emerged: i) loss reweighting, which reduces the influence of noisy examples on the training loss, and ii) label correction that replaces noisy labels with estimated true labels. These directions have been pursued separately or combined as independent methods, lacking a unified approach. In this work, we present a unified method that seamlessly combines loss reweighting and label correction to enhance robustness against label noise in classification tasks. Specifically, by leveraging ideas from compositional data analysis in statistics, we frame the problem as a regression task, where loss reweighting and label correction can naturally be achieved with a shifted Gaussian label noise model. Our unified approach achieves strong performance compared to recent baselines on several noisy labelled datasets. We believe this work is a promising step towards robust deep learning in the presence of label noise. Our code is available at: https://github.com/ErikEnglesson/SGN.

Ort, förlag, år, upplaga, sidor
2024.
Nyckelord [en]
label noise, noisy labels, robustness, Gaussian noise, classification, log-ratio transform, compositional data analysis
Nationell ämneskategori
Datavetenskap (datalogi)
Identifikatorer
URN: urn:nbn:se:kth:diva-346452OAI: oai:DiVA.org:kth-346452DiVA, id: diva2:1857944
Konferens
ICLR 2024 - The Twelfth International Conference on Learning Representations, Messe Wien Exhibition and Congress Center, Vienna, Austria, May 7-11t, 2024 
Anmärkning

QC 20240515

Tillgänglig från: 2024-05-15 Skapad: 2024-05-15 Senast uppdaterad: 2024-05-16Bibliografiskt granskad
Ingår i avhandling
1. On Label Noise in Image Classification: An Aleatoric Uncertainty Perspective
Öppna denna publikation i ny flik eller fönster >>On Label Noise in Image Classification: An Aleatoric Uncertainty Perspective
2024 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

Deep neural networks and large-scale datasets have revolutionized the field of machine learning. However, these large networks are susceptible to overfitting to label noise, resulting in generalization degradation. In response, the thesis closely examines the problem both from an empirical and theoretical perspective. We empirically analyse the input smoothness of networks as they overfit to label noise, and we theoretically explore the connection to aleatoric uncertainty. These analyses improve our understanding of the problem and have led to our novel methods aimed at enhancing robustness against label noise in classification.

Abstract [sv]

Djupa neurala nätverk och storskaliga dataset har revolutionerat maskininlärningsområdet. Dock är dessa stora nätverk känsliga för överanpassning till felmarkerade etiketter, vilket leder till försämrad generalisering. Som svar på detta undersöker avhandlingen noggrant problemet både från en empirisk och teoretisk synvinkel. Vi analyserar empiriskt nätverkens känslighet försmå ändringar i indatan när de över anpassar till felmarkerade etiketter, och vi utforskar teoretiskt kopplingen till aleatorisk osäkerhet. Dessa analyser förbättrar vår förståelse av problemet och har lett till våra nya metoder med syfte att vara robusta mot felmarkerade etiketter i klassificering.

Ort, förlag, år, upplaga, sidor
Stockholm: KTH Royal Institute of Technology, 2024. s. xi, 68
Serie
TRITA-EECS-AVL ; 2024:45
Nyckelord
Label noise, aleatoric uncertainty, noisy labels, robustness, etikettbrus, osäkerhet, felmarkerade etiketter, robusthet
Nationell ämneskategori
Datavetenskap (datalogi)
Forskningsämne
Datalogi
Identifikatorer
urn:nbn:se:kth:diva-346453 (URN)978-91-8040-925-4 (ISBN)
Disputation
2024-06-03, https://kth-se.zoom.us/w/61097277235, F3 (Flodis), Lindstedsvägen 26 & 28, Stockholm, 09:00 (Engelska)
Opponent
Handledare
Forskningsfinansiär
Wallenberg AI, Autonomous Systems and Software Program (WASP)
Anmärkning

QC 20240516

Tillgänglig från: 2024-05-16 Skapad: 2024-05-16 Senast uppdaterad: 2025-12-03Bibliografiskt granskad

Open Access i DiVA

fulltext(638 kB)623 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 638 kBChecksumma SHA-512
f952c89b51235c2043d98226d40f4939ca7b532da9d8e2dff03899bfd18c51d4336f03a5b32d06b4d1da01ca5b694354aa25727098c246eefd5669bcc50e4354
Typ fulltextMimetyp application/pdf

Övriga länkar

PaperCode

Person

Englesson, ErikAzizpour, Hossein

Sök vidare i DiVA

Av författaren/redaktören
Englesson, ErikAzizpour, Hossein
Av organisationen
Robotik, perception och lärande, RPL
Datavetenskap (datalogi)

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 623 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

urn-nbn

Altmetricpoäng

urn-nbn
Totalt: 3264 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf