18 Points de vue de modèles de voix produisant de la masse — De la conception vocale TTS de diffusion à la formation Corpus Creation et Pièges de porte de qualité

A l'origine publié (en japonais) sur forge.workstyle.tech. Il s'agit d'un record de conception de voix à partir de sous-titres monolignes, de création automatique d'un corpus d'apprentissage et de passage des 12 voix spécifiques au rôle (narrateur/conseil/vente/présentateur/exploitant/MC pour les hommes et les femmes) par une inspection complète. J'ai écrit sur les échecs que j'ai rencontrés pendant environ un mois de travail réel, divisé en 18 articles. Cet article est la table des matières. La conclusion La conception, la fabrication et le fonctionnement de la voix en amont de la voix sont des technologies différentes avec différentes défaillances. La conception utilise la diffusion TTS. La voix est déterminée par la légende et la semence aléatoire, la rendant entièrement reproductible. La fabrication concerne principalement la production de corpus. La conception du portail de qualité détermine directement la qualité de la voix. L'opération repose sur des modèles préentraînement légers. La diffusion TTS est trop lente pour la conversation (2,5 fois plus lente sur le même GPU). La plus grande leçon se résume à un point : Avoir une porte de qualité et être efficace sont deux choses différentes. Six de ces 18 articles concernent des portes qui existaient mais n'étaient pas efficaces. Ordre de lecture Les articles sont disposés dans l'ordre de conception → fabrication → inspection → opération. La lecture du haut vous emmènera à travers le voyage d'une seule voix créée et déployée dans la production. Chapitre 1: Conception — Comment déterminer la voix Le TTS choisi pour la qualité du son a été trop lent pour la conversation Une différence de 2,5x en temps réel (RTF). Comment nous nous sommes installés sur une approche en deux étapes : concevoir des voix avec diffusion TTS et utiliser des modèles pré-formés pour la parole. Dessiner des voix comme un Gacha Les voix sont déterminées par des légendes et des graines aléatoires. En gardant un registre des valeurs de conception, les voix peuvent être recréées même si le modèle est perdu. Laisser une machine choisir "Narrator-like Voices" de 24 candidats L'écoute de tous les candidats est insoutenable. Mesurer automatiquement le taux de parole, l'intonation et la stabilité pour écouter seulement les meilleurs candidats. De plus, l'histoire de la façon dont tous les candidats masculins ont été éliminés en raison de limitations métriques. Chapitre 2: Fabrication — La qualité Corpus devient directement la voix Plus la porte de la qualité est étroite, plus la survie est monotone La raison pour laquelle tous les corps imprégnés d'émotion ont fini monotone était la porte de qualité elle-même. C'est l'histoire centrale de cette série. Le taux de la parole ne peut pas être changé après la formation. Ils ne peuvent pas être ajustés avec des paramètres de synthèse. TTS That Changes "Recording Location" Every Time Même avec le même modèle et haut-parleur, les caractéristiques de fréquence diffèrent pour chaque clip. S'il n'est pas normalisé, le changement de style entraîne une qualité sonore incohérente. Un Clip Rough Ruins le Style entier Si un clip sur cinq est rugueux, tout le style devient enroulé. La dilution dans la moyenne n'aide pas. Chapitre 3: L'inspection — Avoir une porte et être efficace sont-ils différents d'où vient l'habitude d'étirer "Bonjour"? Vérification jetée voyelles longues en raison de la normalisation kana, rendant le défaut fondamentalement indétectable. "Un peu" devient "Shomo" Le modèle et les paramètres étaient bons, mais le texte d'entrée était cassé. La liste des suppressions de symboles était en train de laisser tomber des caractères comme « , » et « , ». Le Code de la garde des hallucinations a échoué seulement pendant les hallucinations Un bug monoligne a rendu le garde inefficace seulement dans les situations nécessaires. Les trois personnages Autorisé par le Quality Gate Decame a Verbal Tic La taille passant par le portail correspondait à la taille du son reproduit par le modèle. Rejet des candidats pour des défauts fixables La mesure métrique mesure-t-elle les caractéristiques du produit ou l'état du processus ? Défauts non vus dans la Transcription L'inspection STT seulement manque de sons additifs de 0,1 seconde avec silence entre les deux. Capturez-les avec des enveloppes en forme d'onde. Chapitre 4: Opération — Courir comme une usine 70 minutes de matériel d'entraînement perdu à un réseau Blink One déconnexion a conduit à 205 récupérations. Zone de recherche