kth.sePublikationer KTH
Driftstörningar
Det förekommer återkommande driftstörningar på några av sök-portalerna på grund av hög belastning. Vi arbetar på att lösa problemet, ni kan tillfälligt mötas av ett felmeddelande.
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Voice Mapping of Text-to-Speech Systems: A Metric-Based Approach for Voice Quality Assessment
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Tal, musik och hörsel, TMH.ORCID-id: 0000-0003-0700-7216
KTH, Skolan för elektroteknik och datavetenskap (EECS), Intelligenta system, Tal, musik och hörsel, TMH.ORCID-id: 0000-0002-3362-7518
(Engelska)Manuskript (preprint) (Övrigt vetenskapligt)
Abstract [en]

This study investigates voice mapping as an evaluation framework for text-to-speech (TTS) synthesis quality. The study analyzes six TTS models, including historical and contemporary ones. The metrics are crest factor, spectrum balance, and cepstral peak prominence (CPPs). We investigated 6 influential TTS models: Merlin, Tacotron 2, Transformer TTS, FastSpeech 2, Glow-TTS, and VITS. The results demonstrate that voice range serves as a primary indicator of model capability, with VITS showing the largest range among tested models. Glow-TTS exhibited superior performance in soft phonation, indicated by higher spectrum balance, despite limited voice range. The results showed that the CPPs values between 7-8 dB indicate natural voice quality, while with CPPs exceeding 10 dB, the speech tends to sound robotic. Voice mapping visualization effectively captures subtle quality differences across the voice range.

Nyckelord [en]
TTS, voice mapping, voice quality, CPPs, objective evaluation
Nationell ämneskategori
Signalbehandling
Forskningsämne
Datalogi
Identifikatorer
URN: urn:nbn:se:kth:diva-360209OAI: oai:DiVA.org:kth-360209DiVA, id: diva2:1939021
Anmärkning

This is a manuscript under review in EuraSIP Journal on Audio, Speech, and Music Processing.

QC 20250220

Tillgänglig från: 2025-02-20 Skapad: 2025-02-20 Senast uppdaterad: 2025-02-26Bibliografiskt granskad
Ingår i avhandling
1. Mapping voice quality in normal, pathological and synthetic voices
Öppna denna publikation i ny flik eller fönster >>Mapping voice quality in normal, pathological and synthetic voices
2025 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

Voice quality evaluation is an integral aspect of both clinical and technological applications, encompassing areas such as speech therapy, phonation disorder diagnosis, and text-to-speech (TTS) synthesis. Traditional methods of assessing voice quality are often subjective, relying on auditory-perceptual evaluation scales, which introduce variability and bias. This thesis explores several novel applications for objective voice quality assessment, utilizing voice mapping—a visualization technique that integrates voice range and quality metrics. By plotting acoustic and electroglottographic (EGG) metrics across a plane defined by fundamental frequency (fo) and sound pressure level (SPL), voice mapping enables a comprehensive understanding of vocal characteristics.

This thesis is based on a compilation of five studies, three of which have been published in archive journals and two of which are in revision at this writing. Paper I establishes the foundational relationship between voice metrics and the fo and the SPL using data from individuals with vocal disorders. Paper II extends the methodology by employing clustering techniques to classify phonation types based on a diverse dataset of normophonic adults and children. Paper III applies voice mapping to pre- and post-thyroidectomy recordings, revealing surgery-induced changes in voice quality and range. Paper IV develops a deep learning-based model for predicting EGG signals from acoustic recordings. Paper V demonstrates the utility of voice mapping in evaluating the performance of synthetic TTS voices, indicating its potential for objective, metric-based TTS quality assessment.

This thesis further speaks for the importance of integrating acoustic and EGG metrics to achieve an objective assessment of voice quality. The metrics used in this approach, including acoustic and EGG-based measures, capture aspects of phonation in both the time and frequency domains, enabling detailed characterization of vocal dynamics. The findings demonstrate that voice mapping is effective not only in clinical settings for understanding voicedisorders but also offers a robust framework for evaluating synthetic voices, helping to bridge the gap between perceptual evaluation and quantitative analysis. Future directions include refining clustering methodologies, enhancing EGG prediction accuracy, and expanding the application of voice mapping to broader clinical and technological applications.

Abstract [sv]

Utvärdering av röstkvalitet är en viktig aspekt inom både kliniska och teknologiska tillämpningar och omfattar områden som talterapi, diagnos av fonationsstörningar och text-till-tal (TTS) syntes. Traditionella metoder för att bedöma röstkvalitet är ofta subjektiva och bygger på auditiv-perceptuella utvärderingsskalor, vilket kan leda till variation och partiskhet. Denna avhandling utforskar flera nya tillämpningar för objektiv röstkvalitetsbedömning med hjälp av röstkartläggning – en visualiseringsteknik som integrerar röstomfång och kvalitetsmått. Genom att plotta akustiska och elektroglottografiska (EGG) mått på ett plan definierat av grundtonsfrekvens (fo) och ljudtrycksnivå (SPL), möjliggör röstkartläggning en omfattande förståelse av röstegenskaper.

Denna avhandling bygger på en sammanställning av fem studier, varav tre har publicerats i arkivtidskrifter, och två i skrivande stund är under granskning. Artikel I påvisar det grundläggande beroendet hos röstmått av grundtonsfrekvens och ljudtrycksnivå, genom analys av data från individer med röststörningar. Artikel II utökar metodiken genom att använda klustringstekniker för att klassificera fonationstyper baserat på ett inspelnings-korpus av normofoniska vuxna och barn. Artikel III tillämpar röstkartläggning på inspelningar före och efter tyroidektomi och påvisar kirurgiska förändringar i röstkvalitet och omfång. Artikel IV redogör för en djupinlärningsbaserad modell för att förutspå EGG-signaler från akustiska inspelningar. Artikel V visar nyttan av röstkartläggning vid utvärdering av syntetiska TTS-röster och lyfter fram dess potential för objektiv, måttbaserad bedömning av TTS-kvalitet.

Denna avhandling belyser vikten av att integrera akustiska och EGG-mått för att uppnå en objektiv bedömning av röstkvalitet. De mått som används i denna metodik, inklusive akustiska och EGG-baserade mått, fångar aspekter av fonation i såväl tids- som frekvensdomänen, vilket möjliggör en detaljerad karakterisering av röstens dynamik. Resultaten visar att röstkartläggning är effektiv inte bara i kliniska miljöer för att förstå röststörningar utan också erbjuder en robust ram för utvärdering av syntetiska röster. Röstkartor bidrar till synergin mellan perceptuell och kvantitativ röstanalys. Framtida forskningsinriktningar inkluderar förbättring av klustringsmetoder, ökad noggrannhet i EGG-prediktion och utvidgning av röstkartläggning till bredare kliniska och teknologiska tillämpningar.

Ort, förlag, år, upplaga, sidor
Stockholm: KTH Royal Institute of Technology, 2025. s. 72
Serie
TRITA-EECS-AVL ; 2025:25
Nyckelord
Voice quality, voice mapping, text-to-speech (TTS), electroglottography (EGG), acoustic metrics, Röstkvalitet, röstkartläggning, text-till-tal (TTS), elektroglottografi (EGG), akustiska mått
Nationell ämneskategori
Signalbehandling
Forskningsämne
Datalogi
Identifikatorer
urn:nbn:se:kth:diva-360211 (URN)978-91-8106-206-9 (ISBN)
Disputation
2025-03-14, https://kth-se.zoom.us/j/61856204062?pwd=0aLP1ptM9OMUaaXUFuSBxV6bbu74iO.1, Rum B:218, Q2, Malvinas Väg 10, KTH Campus, Stockholm, 14:00 (Engelska)
Opponent
Handledare
Anmärkning

QC 20250224

Tillgänglig från: 2025-02-24 Skapad: 2025-02-21 Senast uppdaterad: 2025-03-05Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Person

Cai, HuanchenTernström, Sten

Sök vidare i DiVA

Av författaren/redaktören
Cai, HuanchenTernström, Sten
Av organisationen
Tal, musik och hörsel, TMH
Signalbehandling

Sök vidare utanför DiVA

GoogleGoogle Scholar

urn-nbn

Altmetricpoäng

urn-nbn
Totalt: 455 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf