Application of Self-Supervised Learning Techniques for Object Detection in Autonomous Driving Data
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Tillämpning av tekniker för självövervakad inlärning för objektdetektering i data från autonom körning (Swedish)
Abstract [en]
Recent advancements in deep learning have significantly improved computer vision tasks for autonomous driving applications. However, the requirement for large amounts of labeled data and distribution gaps between different dataset domains have hindered safe and reliable application across wider scenarios. On the other hand, Self-Supervised Learning (SSL) has gained increasing attention due to its non-reliance on labeled data and competitive performance. In light of this, the thesis aims to investigate the application of SSL models in traffic settings. This thesis begins with a thorough review of recent improvements in SSL methods, covering traditional pretext learning, contrastive learning, and more modern transformer-inspired methods. We then choose to delve further into the contrastive learning methods for the experiments and examine the adaptive performance of these methods in the face of domain gaps using both the public CityScapes dataset and the Scania dataset. We specifically focus on their performance in detecting small objects with fewer pixels, as these are more common in industrial settings. Our experiments reveal the advantages of self-supervised learning in ap- plied scenarios compared to random and supervised baselines, demonstrating robust performance when faced with the reduction of label numbers. These findings underscore the potential of SSL methods to enhance autonomous driving systems, particularly in environments where labeled data is scarce.
Abstract [sv]
De senaste framstegen inom djupinlärning har avsevärt förbättrat datorseende- uppgifter för autonoma körtillämpningar. Kravet på stora mängder märkta data och fördelningsgap mellan olika datasetdomäner har dock hindrat säker och tillförlitlig tillämpning i bredare scenarier. Å andra sidan har Self-Supervised Learning (SSL) fått ökad uppmärksamhet på grund av att det inte är beroende av märkta data och dess konkurrenskraftiga prestanda. Mot bakgrund av detta syftar avhandlingen till att undersöka tillämpningen av SSL-modeller i trafikmiljöer. Denna avhandling börjar med en grundlig genomgång av de senaste förbättringarna av SSL-metoder, som täcker traditionell pretextinlärning, kontrastiv inlärning och mer moderna basmetoder metoder. Vi väljer sedan att fördjupa oss ytterligare i de kontrastiva inlärningsmetoderna för experimenten och undersöker dessa metoders adaptiva prestanda inför domänluckor med hjälp av både det offentliga CityScapes-datasetet och Scania-datasetet. Vi fokuserar särskilt på deras prestanda när det gäller att upptäcka små objekt med färre pixlar, eftersom dessa är vanligare i industriella miljöer. Våra experiment redovisar fördelarna med självövervakat lärande i tillämpade scenarier jämfört med slumpmässiga och övervakade basmetoder, vilket visar robust prestanda när de står inför minskningen av antalet etiketter. Dessa resultat understryker potentialen hos SSL-metoder för att förbättra autonoma körsystem, särskilt i miljöer där märkta data är knappa.
Place, publisher, year, edition, pages
2024. , p. 54
Series
TRITA-EECS-EX ; 2024:896
Keywords [en]
Deep learning, Computer vision, Self-supervised learning, Object detection
Keywords [sv]
Deep learning, Datorseende, Självövervakad Inlärning, Objektdetektering
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-360863OAI: oai:DiVA.org:kth-360863DiVA, id: diva2:1942250
External cooperation
Scania AB
Supervisors
Examiners
2025-03-112025-03-042025-03-11Bibliographically approved