An Estimation of Power Consumption of On the Edge Object Detection on a State-of-the-art Embedded Platform: Estimating power consumption and accuracy of a deep neural network on the imx8 platform
2024 (Engelska)Självständigt arbete på avancerad nivå (masterexamen), 20 poäng / 30 hp
Studentuppsats (Examensarbete)Alternativ titel
En uppskattning av effektförbrukning av en on-the-edge objekt detektor på en state-of-the-art inbyggd platform : Uppskattning av effektförbrukning och detektions-nogrannhet av ett djupt neuralt nätverk på imx8 platformen (Svenska)
Abstract [en]
In recent years there have been a lot of progress in deep neural networks (DNN) design and optimisation with regards to size and processing speed through methods such as pruning and quantization. Furthermore embedded systems such as the IMX platform have started to create a hardware accelerator specifically designed for running DNN in order to further maximise speed and minimize energy consumption. Although there is a lot of research done into neural networks, the area of embedded systems is not given as much attention when compared to, for example, large language models. This thesis attempts fill this gap by studying the performance of a DNN model that is compatible with the IMX8 platforms DNN hardware accelerator. The metrics evaluated are accuracy for different DNN model thresholds and image resolutions as well as the power required along with energy consumption for different image resolutions. This evaluation is done in the context of a Robotic Total Station (RTS) which runs on battery which total system power budget is approximately 10 Watts. The results show that the MobileNetV2- SSD DNN model requires about 400 mW and consumes roughly 24 mJ per image processed. Furthermore the best accuracy (measured in F1-score) is for most image resolutions around 0.87 at thresholds 0.3 through 0.5.
Abstract [sv]
Under de senaste åren har stora framsteg gjorts inom design och optimering av djupa neurala nätverk (DNN) med hänsyn till storlek och exekveringshastighet med hjälp av metoder såsom beskärning och kvantisering. Vidare har inbyggda system som IMX-plattformen börjat skapa hårdvaruacceleratorer specifikt designade för att köra DNN för att maximera exekveringshastigheten och minimera energiförbrukningen. Trots att det bedrivs mycket forskning om neurala nätverk, får området inbyggda system inte lika mycket uppmärksamhet jämfört med exempelvis stora språkmodeller. Detta masterarbete försöker fylla denna lucka genom att studera prestandan hos en DNN-modell som är kompatibel med IMX8-plattformens DNN-hårdvaruaccelerator. De prestandamått som används är noggrannheten av detektionen för olika tröskelvärden hos DNN-modellen givet olika bildupplösningar samt effekten och energin som DNN-modellen kräver för att göra detektioner vid olika bildupplösningar. Denna utvärdering görs i kontexten av en totalstation som drivs med batteri och har en total effektbudget på cirka 10 watt. Resultaten visar att MobileNetV2-SSD DNN-modellen kräver cirka 400 mW och konsumerar i snitt ungefär 24 mJ per processad bild. Vidare är den bäst uppmätta detektionsnoggrannheten (mätt i F1-score) för majoriteten av bildupplösningarna 0,87 vid tröskelvärden 0,3 till och med 0,5.
Ort, förlag, år, upplaga, sidor
2024. , s. 49
Serie
TRITA-EECS-EX ; 2024:880
Nyckelord [en]
Neural, Network, Power, Embedded, Performance, IMX
Nyckelord [sv]
Neural, Nätverk, Effekt, Inbyggda, Prestanda, IMX
Nationell ämneskategori
Elektroteknik och elektronik
Identifikatorer
URN: urn:nbn:se:kth:diva-360847OAI: oai:DiVA.org:kth-360847DiVA, id: diva2:1942123
Externt samarbete
Trimble AB
Handledare
Examinatorer
2025-03-072025-03-042025-03-07Bibliografiskt granskad