Video Analysis of Infant Spontaneous Movements: Prediction of infant developmental disorders
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Videoanalys av spädbarns spontana rörelser : Förutsägelse av spädbarns utvecklingsstörningar (Swedish)
Abstract [en]
Early identification of developmental disorders in infants is crucial for early intervention. Spontaneous movement assessment is an effective indicator for early identification. However, expert evaluations are labour-intensive and not allowed to be widely used, and traditional machine learning alternatives lack effectiveness. With the development of deep learning, various deep learning methods have been applied to assess infant spontaneous movements. Therefore, this thesis aims to explore deep learning based methods for predicting developmental disorders based on spontaneous movement videos of infants and to evaluate and compare their effectiveness on a small dataset of infants aged 10-17 weeks from Karolinska Institute. This thesis proposes a process for predicting infant developmental disorders, including video data process, video feature extraction and sequence classification. Motivated by feature extraction for infant videos, Openpose, an advanced network for video-based Human Pose Estimation, is applied for infant action recognition. We provide a practical measure to enhance the infant video dataset to make the dataset suitable for a pre-trained Openpose model. For action sequence classification, this thesis first explored human activity recognition models and then explored the parameter selection and effectiveness of the complex model STAM and the simple model SMNN. In conclusion, the paper verifies the prediction accuracy of the classification methods. It shows that complex models perform better on tasks while requiring longer videos for training. A simple model needs fewer data for training and is more robust in parameter selection.
Abstract [sv]
Tidig identifiering av utvecklingsstörningar hos spädbarn är avgörande för tidig intervention. Spontan rörelsebedömning är en effektiv indikator för tidig identifiering. Expertutvärderingar är dock arbetsintensiva och får inte användas i stor utsträckning, och traditionella maskininlärningsalternativ saknar effektivitet. Med utvecklingen av djupinlärning har olika metoder för djupinlärning tillämpats för att bedöma spädbarns spontana rörelser. Därför syftar denna avhandling till att utforska djupinlärningsbaserade metoder för att förutsäga utvecklingsstörningar baserat på spontana rörelsevideor av spädbarn och att utvärdera och jämföra deras effektivitet på en liten datauppsättning av spädbarn i åldern 10-17 veckor från Karolinska Institutet. Denna avhandling föreslår en process för att förutsäga spädbarns utvecklingsstörningar, inklusive videodataprocess, videofunktionsextraktion och sekvensklassificering. Motiverad av funktionsextraktion för spädbarnsvideor, används Openpose, ett avancerat nätverk för videobaserad Human Pose Estimation, för spädbarnshandlingsigenkänning. Vi tillhandahåller en praktisk åtgärd för att förbättra spädbarnsvideodatasetet för att göra datasetet lämpligt för en förtränad Openpose-modell. För klassificering av handlingssekvenser undersökte denna avhandling först modeller för identifiering av mänsklig aktivitet, och sedan utforskade parametervalet och effektiviteten av den komplexa modellen STAM och den enkla modellen SMNN. Sammanfattningsvis verifierar uppsatsen prediktionsnoggrannheten för klassificeringsmetoderna. Det visar att komplexa modeller presterar bättre på uppgifter samtidigt som de kräver längre videor för träning. En enkel modell behöver mindre data för träning och är mer robust i parameterval.
Place, publisher, year, edition, pages
2024. , p. 55
Series
TRITA-EECS-EX ; 2024:268
Keywords [en]
Infant Development Disorder, Deep Learning, Human Pose Estimation, Action Recognition, 2D Video Processing
Keywords [sv]
Spädbarns utvecklingsstörning, djupinlärning, uppskattning av mänsklig ställning, åtgärdsigenkänning, 2D-videobearbetning
National Category
Electrical Engineering, Electronic Engineering, Information Engineering
Identifiers
URN: urn:nbn:se:kth:diva-350767OAI: oai:DiVA.org:kth-350767DiVA, id: diva2:1884881
Supervisors
Examiners
2024-08-132024-07-182024-08-13Bibliographically approved