Real-Time Stereo Fusion Event-Based Depth Estimation on Resource-Constrained Hardware: An exploratory study on the efficiency of a state-of-the-art stereo event-based depth estimation algorithm
2025 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE credits
Student thesisAlternative title
Realtids stereosammanslagning av händelsebaserad djupestimering på resursbegränsad hårdvara : En explorativ studie av effektiviteten hos en avancerad händelsebaserad djupestimerings algoritm (Swedish)
Abstract [en]
This thesis explores the feasibility of implementing a state-of-the-art stereo event-based depth estimation algorithm, ES-PTAM, for real-time applications on resource-constrained hardware. Event cameras offer significant advantages over traditional frame-based systems, including high temporal resolution, low latency, and power efficiency, making them well-suited for robotic systems operating in dynamic environments. The goal of the project is to assess whether the algorithm can reliably estimate depth in real-time using only CPU resources, and to identify the primary limitations and challenges in doing so. The approach involves integrating the algorithm with stereo-mounted event cameras on a Unitree A1 quadruped robot and evaluating performance under various controlled scenarios. The system is implemented through exploratory programming and iterative testing, focusing on accurate calibration, data transmission, and real-time processing. Evaluation is based on qualitative performance in tasks like edge alignment, mapping density, and response time. Results show that while this implementation of ES-PTAM is capable of robust tracking and generating semi-dense depth maps, it suffers from high latency in the mapping module. For users unfamiliar with event-based systems, the implementation process presents significant challenges. Moreover, the performance observed in this setup and environment differs notably from previous examples, highlighting the system's sensitivity to hardware configuration, parameter tuning, and operating conditions. These factors place the overall feasibility of the algorithm at a moderate level.
Abstract [sv]
Denna avhandling undersöker möjligheten att implementera en avancerad algoritm för stereo-baserad djupuppskattning med händelsekameror, ES-PTAM, för realtidsapplikationer på hårdvara med begränsade resurser. Händelsekameror erbjuder betydande fördelar jämfört med traditionella ramsystem, inklusive hög temporal upplösning, låg latens och energieffektivitet, vilket gör dem särskilt lämpliga för robotsystem som verkar i dynamiska miljöer. Projektets mål är att utvärdera huruvida algoritmen kan tillförlitligt uppskatta djup i realtid med enbart CPU-resurser, samt att identifiera de främsta begränsningarna och utmaningarna i detta. Angreppssättet innebär att algoritmen integreras med stereo monterade händelsekameror på en fyrbent robot av modellen Unitree A1 och att prestandan utvärderas under olika kontrollerade scenarier. Systemet implementeras genom utforskande programmering och iterativ testning, med fokus på noggrann kalibrering, datakommunikation och realtidsbehandling. Utvärderingen baseras på kvalitativ prestanda i uppgifter som kantjustering, karttäthet och responstid. Resultaten visar att även om denna implementation av ES-PTAM klarar av robust spårning och generering av semi-täta djupkartor, lider den av hög latens i kartläggningsmodulen. För användare som är ovana vid händelsebaserade system innebär implementeringsprocessen stora utmaningar. Dessutom skiljer sig prestandan i denna uppsättning och miljö markant från tidigare exempel, vilket belyser systemets känslighet för hårdvarukonfiguration, parameterinställningar och driftsförhållanden. Dessa faktorer gör att den övergripande genomförbarheten för systemet bedöms som måttlig.
Place, publisher, year, edition, pages
Stockholm: KTH Royal Institute of Technology , 2025. , p. 51
Series
TRITA-EECS-EX ; 2025:654
Keywords [en]
Event cameras, Depth estimation, Stereo vision, Real-time processing, Resource-constrained hardware
Keywords [sv]
Event kameror, Djupestimering, Stereo-seende, Realtidsbearbetning, Resursbegränsad hårdvara
National Category
Computer Sciences Computer graphics and computer vision
Identifiers
URN: urn:nbn:se:kth:diva-371518OAI: oai:DiVA.org:kth-371518DiVA, id: diva2:2005889
Subject / course
Information Technology
Educational program
Master of Science in Engineering - Information and Communication Technology
Presentation
2025-08-15, via Zoom https://kth-se.zoom.us/j/5680136250, 10:00 (English)
Supervisors
Examiners
2025-10-302025-10-112025-10-30Bibliographically approved