Neural synthesis of sound effects using flow-based deep generative models
2022 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Neural syntes av ljudeffekter med hjälp av flödesbaserade djupgenerativa modeller (Swedish)
Abstract [en]
Generating diverse sound effects for video games is a consuming task that grows with the size and complexity of the games. We adopt WaveFlow, a flow-based deep generative model intended for speech synthesis, to generate variations of explosion sounds, given lower-dimensional conditioners in the form of mel spectrograms.This work suggests that it is possible to use flow-based models to generate high-quality raw audio waveforms of sound effects, learning from small datasets, and it proposes metrics for evaluating the quality of the generated audio. It is, to the best of our knowledge, the first adaptation of these techniques to sound effects generation.
Abstract [sv]
Att skapa olika ljudeffekter för videospel är en krävande uppgift som växer med spelens storlek och komplexitet. Vi använder WaveFlow, en flödesbaserad djup generativ modell som är avsedd för talsyntes, för att generera variationer av explosionsljud med hjälp av lägre dimensionella villkor i form av mel-spektrogram.Det här arbetet visar att det är möjligt att använda flödesbaserade modeller för att generera råa ljudvågformer av hög kvalitet för ljudeffekter, inlärning från små datamängder, och föreslår mätvärden för att utvärdera kvaliteten på det genererade ljudet. Det är, såvitt vi vet, den första anpassningen av dessa tekniker till generering av ljudeffekter.
Place, publisher, year, edition, pages
2022.
Series
TRITA-SCI-GRU ; 2022:377
Keywords [en]
Machine Learning, Applied Mathematics, Deep Generative Models, flow models, Signal Processing
Keywords [sv]
Statistik, tillämpad matematik, Machine Learning
National Category
Mathematical sciences
Identifiers
URN: urn:nbn:se:kth:diva-323076OAI: oai:DiVA.org:kth-323076DiVA, id: diva2:1727122
External cooperation
SEED (Electronic Arts)
Subject / course
Mathematics
Educational program
Master of Science - Computer Simulation for Science and Engineering
Supervisors
Examiners
2023-02-022023-01-152025-10-22Bibliographically approved