量産ボイスモデルの18件のインサイト — Diffusion TTS Voice Designからトレーニングコーパスの作成と品質ゲートの落とし穴まで

既に公開されている(日本語) forge.workstyle.tech. これは、単一行のキャプションからの声を設計する記録です。, 自動的に学習コルプを作成し、すべての12ロール固有のボイスを渡します。 (ナレーター/クーポン/セールス/プレゼンター/オペレーター/MC 男性と女性の両方) 完全な検査を通じて. 実際の仕事の約1ヶ月の間に遭遇した失敗について書いて、18記事に分けました。 本記事は内容の表です。 音声設計、音声製造、音声操作のコンクルージョンは、異なる故障の異なる技術です。 設計は拡散TTSを使用します。 声は、キャプションとランダムシードで決定され、完全に再現性があります。 製造は、主にコーパス生成についてです。 品質ゲートの設計は直接声の質を決定します。 軽量のプリトレンデッドモデルに依存します。 Diffusion TTS は、会話が遅い (同じ GPU で 2.5 回遅い)。 最大のレッスンは1つのポイントまで煮込みます。品質ゲートを持ち、効果的です。 これらの18の記事の6つは、存在していたが、効果的ではないゲートについてです。 読書順序 設計→製造→点検→操作の順序で記事は整理されます。 トップから読み取ると、制作に展開される単一の声の旅があなたを連れて行きます。 チャプター1:デザイン — 音声を判断する方法 TTSの音質は、会話A 2.5xリアルタイムファクター(RTF)の差でトオスローでした。 2段階のアプローチで解決する方法:拡散TTSで声をデザインし、事前に訓練されたモデルを使ってスピーチをします。 ドローイングボイス ガチャの声のように、キャプションとランダムな種子によって決定されます。 設計値のレジャーを維持することで、モデルが失われた場合でも音声を再作成できます。 24の候補者から「Narrator-like Voices」を選択し、すべての候補者に耳を傾けることは、持続不可能です。 スピーチ率、イントネーション、安定性を自動的に測定し、トップ候補のみを聴くことができます。 また、メトリック制限により、男性全員の候補者が排除された方法の物語。 第2章:製造 — コーパスの品質は、直接、品質ゲート、より単調なテイクSurviveになります すべての感情を注入したコボラが単調になった理由は、品質ゲート自体でした。 このシリーズの中央話です。 トレーニング終了とスピーチ率がコルパスに焼き込まれた後、スピーチ率は変更できません。 合成パラメータで調節することはできません。 同じモデルとスピーカーで「位置の記録」を毎回変更する TTS は、各クリップごとに周波数特性が異なります。 標準化されていない場合、スタイルの切り替えは、一貫性のない音質で結果を表示します。 1つのラフクリップは、Entireスタイルをルーズします 5つのクリップから1つが粗い場合は、スタイル全体が粗くなります。 平均への希釈は助けません。 第3章: 検査 — ゲートを持ち、AIの「ハッロ」を伸ばす習慣がどこから来るのか、効果は異なりますか? 確認は、かな正規化による長い声を捨て、欠陥を根本的に検出できないようにしました。 「A Little」が「Shomo」になる モデルとパラメータは細かいのですが、入力テキストは壊れていました。 シンボル除去リストは「や」や「最終」、「売り」などの文字をドロップしました。 幻覚ガードコードは幻覚時にのみ失敗 単一行のバグは、必要な状況でのみ、ガードを無効にしました。 「三文字」 品質ゲートBecame Verbal Tic ゲートを通過するサイズは、モデルによって再現された音の大きさに一致しました。 固定欠陥のための候補者の拒絶 製品の特性やプロセスの状態を測定するメトリックですか? トランクリプションSTTのみの検査で不良品は、その間に沈黙で0.1秒の添加音を欠きます。 波形の封筒でそれらをキャプチャします。 第4章:運用 — 工場として実行 70 トレーニング素材の分は、ネットワークブロックに失われた 1 つの切断は、205 回につながります。 エリアを探す