Real-time uncertainty estimation for deep learning
2023 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Realtidsosäkerhetsuppskattning för djupinlärning (Swedish)
Abstract [en]
Modern deep neural networks do not produce well calibrated estimates of their own uncertainty, unless specific uncertainty estimation techniques are applied. Common uncertainty estimation techniques such as Deep Ensembles and Monte Carlo Dropout necessitate multiple forward pass evaluations for each input sample, making them too slow for real-time use. For real-time use, techniques which require only a single-forward pass are desired. Evidential Deep Learning (EDL), and Multiple-Input Multiple-Output (MIMO) networks are prior art in the space of real-time uncertainty estimation. This work introduces EDL-MIMO, a novel real-time uncertainty estimation method which combines the two. The core of this thesis is dedicated to comparing the quality of this new method to the pre-existing baselines of EDL and MIMO alone.
Abstract [sv]
De neurala nätverk vi har idag har svårigheter med att bedöma sin egen osäkerhet utan särskilda metoder. Metoder som Deep Ensembles och Monte Carlo Dropout kräver flera beräkningar för varje indata, vilket gör dem för långsamma i realtid. För realtidstillämpning behövs metoder som endast kräver en beräkning. Det finns redan vetenskapliga artiklar om osäkerhetsmetoder som Evidential Deep Learning (EDL), och Multiple-Input Multiple-Output (MIMO) networks. Denna uppsats introducerar en ny metod som kombinerar båda. Fokus ligger på att jämföra kvaliteten på denna nya metod med EDL och MIMO när de används ensamma
Abstract [is]
Djúptauganet nútímans eiga erfitt með að meta sína eigin óvissu, án þess að sérstakar óvissumatsaðferðir séu notaðar. Algengar óvissumatsaðferðir líkt og Deep Ensembles, og Monte Carlo Dropout, krefjast þess að djúptauganetið sé reiknað oftar en einu sinni fyrir hvert inntak, sem gerir þessar aðferðir of hægar fyrir rauntímanotkun. Fyrir rauntímanotkun er leitast eftir aðferðum sem krefjast bara einn reikning. Evidential Deep Learning (EDL), og Multiple-Input Multiple-Output (MIMO) networks eru óvissumatsaðferðir sem hafa verið birtar í fyrri greinum. Þessi ritgerð kynnir í fyrsta sinn EDL-MIMO, nýja óvissumatsaðferð sem blandar þeim báðum saman. Kjarni þessarar ritgerðar snýst um að bera saman gæði þessarar nýju aðferðar í samanburð við að nota EDL eða MIMO einar og sér.
Place, publisher, year, edition, pages
2023. , p. 42
Series
TRITA-EECS-EX ; 2023:930
Keywords [en]
Machine Learning, Deep Learning, Uncertainty Estimation, Evidential Deep Learning, Computer Vision
Keywords [sv]
Maskininlärning, Djupinlärning, Osäkerhetsuppskattning, Evidential Deep Learning, Datorseende
Keywords [is]
Vélnám, Djúptauganet, Óvissumat, Evidential Deep Learning, Tölvusjón
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-344381OAI: oai:DiVA.org:kth-344381DiVA, id: diva2:1844440
External cooperation
Scania AB
Educational program
Master of Science - Machine Learning
Supervisors
Examiners
2024-03-152024-03-132024-03-15Bibliographically approved