Quantitative evaluation of deep learning-driven facial animations
2024 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesis
Abstract [en]
Contemporary advancements in facial animation, powered by machine learning algorithms, present opportunities across diverse applications. However, the assessment of such animations traditionally relies on subjective judgments from animators, leading to time-consuming processes. This thesis responds to the imperative for automated evaluation metrics to provide objective assessments of machine learning-driven facial animations. We introduce a comprehensive framework that includes various metrics, spanning from direct comparisons of facial vertices to the utilization of embeddings extracted from animation videos. Our exploration highlights inherent challenges in distinguishing between animations using conventional metrics. However, we identify the Frechet Distance metric as a promising candidate, demonstrating strong correlations with the results of a user study conducted concurrently. This suggests its viability in effectively evaluating machine learningdriven facial animations. Overall, this research contributes to advancing the quantitative assessment of facial animations, offering insights into improving their quality and naturalness.
Abstract [sv]
De senaste framstegen inom ansiktsanimering, som drivs av algoritmer för maskininlärning, skapar möjligheter inom en rad olika tillämpningar. Bedömningen av sådana animationer är dock traditionellt beroende av subjektiva bedömningar från animatörer, vilket leder till tidskrävande processer. Denna avhandling svarar på behovet av automatiserade utvärderingsmetoder för att ge objektiva bedömningar av maskininlärningsdrivna ansiktsanimationer. Vi introducerar ett omfattande ramverk som innehåller olika mätvärden, som sträcker sig från direkta jämförelser av ansiktspunkter till användningen av inbäddningar extraherade från animationsvideor. Vår undersökning belyser inneboende utmaningar med att skilja mellan animationer med konventionella mätvärden. Vi identifierar dock Frechet Distance-metoden som en lovande kandidat, som visar starka korrelationer med resultaten från en användarstudie som genomfördes samtidigt. Detta tyder på att det är möjligt att effektivt utvärdera maskininlärningsdrivna ansiktsanimationer. Sammantaget bidrar denna forskning till att främja den kvantitativa bedömningen av ansiktsanimationer, vilket ger insikter om hur man kan förbättra deras kvalitet och naturlighet.
Place, publisher, year, edition, pages
2024. , p. 45
Series
TRITA-EECS-EX ; 2024:677
Keywords [en]
Facial Animation, Deep Learning, Quantitative Evaluation...
Keywords [sv]
Ansiktsanimering, djupinlärning, kvantitativ utvärdering...
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-359908OAI: oai:DiVA.org:kth-359908DiVA, id: diva2:1937224
External cooperation
Electronic Arts
Supervisors
Examiners
2025-02-172025-02-122025-02-17Bibliographically approved