In recent years, rapid advancements in machine learning and artificial intelligence have spurred the development of specialized hardware designed to optimize performance and efficiency. Among these, Neural Processing Units (NPUs) have emerged as a promising technology for accelerating neural network tasks. This study compares the efficiency of an NPU with a Central Processing Unit (CPU) and Graphical Processing Unit (GPU) in executing an object detection model, YOLOv5. The comparison focuses on inference time, power, and energy consumption. Pre-trained YOLOv5 models of various sizes, precisions, and formats are used to fairly showcase the capabilities of each hardware platform. The YOLOv5 models used in this study come in nano, small, medium, and large sizes. The models on the CPU and GPU are available in single and low precisions, in both PyTorch and ONNX formats. The models on the NPU are in half and low precisions, each in RKNN format. The results highlight the NPU’s superiority in power and energy efficiency, though it is slower than the PyTorch models on the GPU in terms of inference time. PyTorch models on the GPU are the fastest and the second most energy-efficient, while being the most power-intensive. The CPU serves as a middle-ground option in terms of inference time and power consumption, while being the most energy-intensive.

Under de senaste åren har snabba framsteg inom maskininlärning och artificiell intelligens drivit utvecklingen av specialiserad hårdvara som är utformad för att optimera prestanda och effektivitet. Bland dessa har neurala processorenheter (NPUs) framstått som en lovande teknologi för att påskynda neurala nätverksuppgifter. Denna studie jämför effektiviteten hos en NPU med en centralprocessor (CPU) och en grafisk processor (GPU) vid exekvering av en objektigenkänningsmodell, YOLOv5. Jämförelsen fokuserar på inferenstid, effekt och energiförbrukning. Förtränade YOLOv5-modeller i olika storlekar, precisioner och format används för att rättvist visa kapaciteten hos varje hårdvaruplattform. YOLOv5-modellerna som används i denna studie finns i storlekarna nano, liten, medium och stor. Modellerna på CPU och GPU finns i enkel och låg precision, i både PyTorch- och ONNX-format. Modellerna på NPU är i halv och låg precision, alla i RKNN-format. Resultaten framhäver NPU överlägsenhet i effekt och energieffektivitet, även om den är långsammare än PyTorch-modellerna på GPU när det gäller inferenstid. PyTorch-modellerna på GPU är de snabbaste och näst mest energieffektiva, men mest effektkrävande. CPU fungerar som ett mellanalternativ när det gäller inferenstid och effektförbrukning, men är mest energiintensiv.