indexTTS2

IndexTTS2: 具有情感表达和持续时间控制的自回归零开发文本到语音系统的突破性进展

大规模的文本到语音 (TTS) 模型通常分为自回归和非自回归系统。虽然自回归系统在语音自然度方面具有一定优势，但其字符串逐个生成的机制使得精确控制合成语音的持续时间变得困难。这在视频配音等应用中成为一个重要的限制，因为需要严格的音频视觉同步。本文介绍了 IndexTTS2，该模型提出了一种新颖、通用且适合自回归模型的语音持续时间控制方法。该方法支持两种生成模式：一种允许明确指定生成的字符串数量，从而可精确控制语音持续时间；另一种不需要手动输入字符串数量，使模型能够以自回归方式自由生成语音，同时忠实地重现输入提示中的语音特征。此外，IndexTTS2实现了情绪表达和发言者身份之间的解耦，从而可独立控制音色和情绪。在零样本设置中，该模型能够完美地重现输入提示中固有的情绪特征。此外，用户还可以提供一个单独的情绪提示（可以来自与音色提示不同的发言者），从而使模型能够准确重建目标音色，同时传达指定的情绪色调。为了提高强烈情绪表达时的语音清晰度，我们引入了 GPT 潜在表示，以提高生成语音的稳定性。同时，为了降低对情绪控制的门槛，我们通过微调 Qwen3 设计了基于文本描述的软指令机制。该机制可