An Estimation of Power Consumption of On the Edge Object Detection on a State-of-the-art Embedded Platform: Estimating power consumption and accuracy of a deep neural network on the imx8 platform
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
En uppskattning av effektförbrukning av en on-the-edge objekt detektor på en state-of-the-art inbyggd platform : Uppskattning av effektförbrukning och detektions-nogrannhet av ett djupt neuralt nätverk på imx8 platformen (Swedish)
Abstract [en]
In recent years there have been a lot of progress in deep neural networks (DNN) design and optimisation with regards to size and processing speed through methods such as pruning and quantization. Furthermore embedded systems such as the IMX platform have started to create a hardware accelerator specifically designed for running DNN in order to further maximise speed and minimize energy consumption. Although there is a lot of research done into neural networks, the area of embedded systems is not given as much attention when compared to, for example, large language models. This thesis attempts fill this gap by studying the performance of a DNN model that is compatible with the IMX8 platforms DNN hardware accelerator. The metrics evaluated are accuracy for different DNN model thresholds and image resolutions as well as the power required along with energy consumption for different image resolutions. This evaluation is done in the context of a Robotic Total Station (RTS) which runs on battery which total system power budget is approximately 10 Watts. The results show that the MobileNetV2- SSD DNN model requires about 400 mW and consumes roughly 24 mJ per image processed. Furthermore the best accuracy (measured in F1-score) is for most image resolutions around 0.87 at thresholds 0.3 through 0.5.
Abstract [sv]
Under de senaste åren har stora framsteg gjorts inom design och optimering av djupa neurala nätverk (DNN) med hänsyn till storlek och exekveringshastighet med hjälp av metoder såsom beskärning och kvantisering. Vidare har inbyggda system som IMX-plattformen börjat skapa hårdvaruacceleratorer specifikt designade för att köra DNN för att maximera exekveringshastigheten och minimera energiförbrukningen. Trots att det bedrivs mycket forskning om neurala nätverk, får området inbyggda system inte lika mycket uppmärksamhet jämfört med exempelvis stora språkmodeller. Detta masterarbete försöker fylla denna lucka genom att studera prestandan hos en DNN-modell som är kompatibel med IMX8-plattformens DNN-hårdvaruaccelerator. De prestandamått som används är noggrannheten av detektionen för olika tröskelvärden hos DNN-modellen givet olika bildupplösningar samt effekten och energin som DNN-modellen kräver för att göra detektioner vid olika bildupplösningar. Denna utvärdering görs i kontexten av en totalstation som drivs med batteri och har en total effektbudget på cirka 10 watt. Resultaten visar att MobileNetV2-SSD DNN-modellen kräver cirka 400 mW och konsumerar i snitt ungefär 24 mJ per processad bild. Vidare är den bäst uppmätta detektionsnoggrannheten (mätt i F1-score) för majoriteten av bildupplösningarna 0,87 vid tröskelvärden 0,3 till och med 0,5.
Place, publisher, year, edition, pages
2024. , p. 49
Series
TRITA-EECS-EX ; 2024:880
Keywords [en]
Neural, Network, Power, Embedded, Performance, IMX
Keywords [sv]
Neural, Nätverk, Effekt, Inbyggda, Prestanda, IMX
National Category
Electrical Engineering, Electronic Engineering, Information Engineering
Identifiers
URN: urn:nbn:se:kth:diva-360847OAI: oai:DiVA.org:kth-360847DiVA, id: diva2:1942123
External cooperation
Trimble AB
Supervisors
Examiners
2025-03-072025-03-042025-03-07Bibliographically approved