Voice2Face is a speech-driven 3D facial animation model that generates corresponding lip-sync animations from speech audio. However, the high computational and memory costs of the Voice2Face model pose challenges for real-time applications in games. This thesis investigates the potential of compressing the Voice2Face model using knowledge distillation techniques. We analyzed the architecture of Voice2Face and designed three smaller model candidates with different structures and a training framework that does not require ground truth. We then trained them on a public speech dataset LibriSpeech and evaluated their performance against the original model. Both qualitative and quantitative results indicate that all three candidates demonstrate competitive performance, with one model being sufficiently compact for real-time in-game use. Additionally, we propose a method to further reduce model latency.

Voice2Face är en taldriven 3D-ansiktsanimationsmodell som genererar motsvarande läppsynkroniseringsanimationer från talljud. De höga beräknings- och minneskostnaderna för Voice2Face-modellen innebär dock utmaningar för realtidsapplikationer i spel. Denna avhandling undersöker potentialen i att komprimera Voice2Face- modellen med hjälp av kunskapsdestillationstekniker. Vi analyserade arkitekturen för Voice2Face och designade tre mindre modellkandidater med olika strukturer, tillsammans med ett utbildningsramverk som inte kräver grundsanning. Vi utbildade dem sedan i ett offentligt taldataset LibriSpeech och utvärderade deras prestanda mot den ursprungliga modellen. Både kvalitativa och kvantitativa resultat indikerar att alla tre kandidaterna visar konkurrenskraftiga prestanda, med en modell som är tillräckligt kompakt för realtidsanvändning i spelet. Dessutom föreslår vi en metod för att ytterligare minska modellfördröjningen.