18 Einblicke in massenproduzierende Sprachmodelle - Vom Diffusion TTS Voice Design bis hin zur Erstellung von Trainingskorpus und Qualitäts-Torfallen

📝 Ursprünglich veröffentlicht (auf Japanisch) unter forge.workstyle.tech. Dies ist eine Aufzeichnung der Gestaltung von Stimmen aus einzeiligen Beschriftungen, die automatische Erstellung eines Lernkorpus und die Weitergabe aller 12 rollenspezifischen Stimmen (Erzähler / Berater / Verkauf / Moderator / Operator / MC für Männer und Frauen) durch vollständige Inspektion. Ich schrieb über die Misserfolge, denen ich während ungefähr eines Monats der tatsächlichen Arbeit begegnete, aufgeteilt in 18 Artikel. Dieser Artikel ist das Inhaltsverzeichnis. Das Fazit Upfront Voice Design, Voice Manufacturing und Voice Operation sind unterschiedliche Technologien mit unterschiedlichen Fehlern. Design verwendet Diffusion TTS. Die Stimme wird durch die Beschriftung und den zufälligen Samen bestimmt, so dass sie vollständig reproduzierbar ist. Bei der Herstellung geht es in erster Linie um die Generierung von Korpus. Das Design des Qualitätsgates bestimmt direkt die Sprachqualität. Der Betrieb beruht auf leichten vortrainierten Modellen. Diffusion TTS ist zu langsam für Gespräche (2,5-mal langsamer auf der gleichen GPU). Die größte Lektion läuft auf einen Punkt hinaus: Ein Qualitätstor zu haben und es effektiv zu sein, sind zwei verschiedene Dinge. Sechs dieser 18 Artikel handeln von Toren, die existierten, aber nicht effektiv waren. Lesereihenfolge Die Artikel sind in der Reihenfolge des Designs → Herstellung → Inspektion → Betrieb angeordnet. Das Lesen von oben führt Sie durch die Reise einer einzigen Stimme, die erstellt und in die Produktion eingeführt wird. Kapitel 1: Design - Wie man die Stimme bestimmt Der für die Klangqualität gewählte TTS war zu langsam für das Gespräch Ein 2,5-facher Echtzeitfaktor (RTF) Unterschied. Wie wir uns für einen zweistufigen Ansatz entschieden haben: Entwerfen von Stimmen mit Diffusions-TTS und Verwendung vortrainierter Sprachmodelle. Zeichnende Stimmen wie eine Gacha Stimmen werden durch Bildunterschriften und zufällige Samen bestimmt. Durch das Führen eines Ledgers mit Designwerten können Stimmen neu erstellt werden, auch wenn das Modell verloren geht. Eine Maschine aus 24 Kandidaten "Erzähler-ähnliche Stimmen" auswählen zu lassen Allen Kandidaten zuzuhören ist nicht nachhaltig. Messen Sie automatisch Sprachrate, Intonation und Stabilität, um nur den Top-Kandidaten zuzuhören. Auch die Geschichte, wie alle männlichen Kandidaten aufgrund metrischer Einschränkungen eliminiert wurden. Kapitel 2: Herstellung - Korpusqualität wird direkt zur Stimme Je strenger das Qualitätstor, desto monotoner die Takes überleben Der Grund, warum alle emotional angereicherten Korpora monoton waren, war das Qualitätstor selbst. Dies ist die zentrale Geschichte dieser Serie. Die Sprachrate kann nach dem Training nicht geändert werden Enden und die Sprachrate werden in den Korpus gebacken. Sie können nicht mit Syntheseparametern angepasst werden. TTS, das "Aufnahmeort" jedes Mal ändert Selbst bei demselben Modell und Lautsprecher unterscheiden sich die Frequenzeigenschaften für jeden Clip. Wenn nicht standardisiert, führt Stilwechsel zu inkonsistenter Klangqualität. Ein rauer Clip ruiniert den gesamten Stil Wenn einer von fünf Clips rau ist, wird der gesamte Stil heiser. Verdünnung in den Durchschnitt hilft nicht. Kapitel 3: Inspektion - Ein Tor zu haben und es effektiv zu sein, ist anders Woher kam die Gewohnheit der KI, "Hallo" zu dehnen? Die Überprüfung verwarf lange Vokale aufgrund der Kana-Normalisierung, wodurch der Defekt grundsätzlich nicht nachweisbar wurde. "A Little" wird zu "Shomo" Das Modell und die Parameter waren in Ordnung, aber der Eingabetext war gebrochen. Die Symbolentfernungsliste ließ Zeichen wie "々", "〆" und "髙" fallen. Der Halluzination Guard Code scheiterte nur während Halluzinationen Ein Single-Line-Bug machte den Wächter nur in notwendigen Situationen unwirksam. Die "Drei Charaktere" Erlaubt durch das Quality Gate wurde ein verbaler Tic Die Größe, die durch das Tor ging, entsprach der Größe des vom Modell reproduzierten Sounds. Ablehnung von Kandidaten für fixierbare Defekte Messt die Metrik die Eigenschaften des Produkts oder den Zustand des Prozesses? Defekte Unsichtbar in Transkription STT-only Inspektion verfehlt 0,1-Sekunden-additive Sounds mit Stille dazwischen. Erfassen Sie sie mit Wellenformumschlägen. Kapitel 4: Operation - Laufen als Fabrik 70 Minuten Trainingsmaterial verloren an einem Netzwerk Blink Eine Trennung führte zu 205 Wiederholungen. Suchgebiet