Real-Time Basketball Shooting Action Recognition: Enhanced Graph Structure of ST-GCN
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Realtidsbasketskytte Action Recognition : Förbättrad grafstruktur för ST-GCN (Swedish)
Abstract [en]
This research focuses on real-time action recognition, specifically the accurate recognition of basketball shooting movements using STGCN as the core network structure and adding basketball node information based on skeleton recognition as an additional feature. Single-camera video action recognition has received widespread attention due to its portability and low equipment requirements, which allows the technology to be applied in a variety of situations including sports contexts. However, though skeletal node action recognition based on STGCN has attracted much attention, existing action recognition technology generally still relies on multiple cameras or external sensing devices, due to the difficulty for a single camera to fully capture action information. This research focuses on basketball training, where cameras are usually placed on the sidelines of the court, and skeletal information captured by a single camera may face inaccuracy and occlusion problems. To address these challenges, the ST-GCN structure was modified to incorporate, not only human skeletal information but also the relative positional information of the basketball to the skeleton, identified in real-time by YOLO (You Only Look Once). Experimental results indicate that this method can effectively recognize basketball shooting actions while maintaining real-time capacity, showcasing the significant advantages of an ST-GCN integrating both skeletal and object information. This research contributes a way to enhance the accuracy of basketball shooting action recognition as well as indicating new possibilities in the field of real-time sports analytics.
Abstract [sv]
Den här forskningen fokuserar på handlingsigenkänning i realtid, speciellt noggrann igenkänning av basketskjutrörelser med STGCN som kärnnätverksstruktur och lägga till basketnodinformation baserad på skelettigenkänning som en extra function. Videoactionigenkänning med en kamera har fått stor uppmärksamhet på grund av dess portabilitet och låga utrustningskrav, vilket gör att tekniken kan tillämpas i en mängd olika situationer inklusive sportsammanhang. Men även om åtgärdsigenkänning av skelettnoder baserad på STGCN har väckt stor uppmärksamhet, är befintlig åtgärdsigenkänningsteknik generellt sett fortfarande beroende av flera kameror eller externa avkänningsenheter, på grund av svårigheten för en enskild kamera att fullständigt fånga åtgärdsinformation. This research focuses on basketball practice, where cameras are typically placed courtside, and skeletal information captured by a single camera may face inaccuracies and occlusion issues. Den här forskningen fokuserar på basketträning, där kameror vanligtvis placeras vid sidan av banan, och skelettinformation som fångas av en enda kamera kan möta felaktigheter och problem med ocklusion. För att möta dessa utmaningar modifierades ST-GCN-strukturen för att inkludera, inte bara mänsklig skelettinformation utan även basketbollens relativa positionsinformation till skelettet, identifierad i realtid av YOLO (You Only Look Once). Experimentella resultat indikerar att den här metoden effektivt kan känna igen basketskjutningsaktioner samtidigt som realtidskapaciteten bibehålls, vilket visar upp de betydande fördelarna med en ST-GCN som integrerar både skelett- och objektinformation. Den här forskningen bidrar med ett sätt att förbättra noggrannheten i igenkänning av basketskytteaktioner samt indikerar nya möjligheter inom området för realtidssportanalys.
Place, publisher, year, edition, pages
2024. , p. 46
Series
TRITA-EECS-EX ; 2024:130
Keywords [en]
Computer Vision, Real-time System, Motion Detection, Spatial Temporal Graph Convolutional Networks(ST-GCN), YOLOv8
Keywords [sv]
Datorseende, Realtidssystem, RörelsedetekteringffSpatial Temporal Graph Konvolutionella Nätverk (ST-GCN), YOLOv8
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-351874OAI: oai:DiVA.org:kth-351874DiVA, id: diva2:1890063
Educational program
Master of Science - Software Engineering of Distributed Systems
Supervisors
Examiners
2024-08-212024-08-192024-08-21Bibliographically approved