hibiki

> 编程语言

开源

Hibiki 是一个流式语音翻译 (也称为同声传译) 的模型。与离线翻译不同,离线翻译需要等待源语言的结束,然后再开始目标语言的翻译。

1.5K stars0 点赞1 次浏览

访问官网 GitHub

工具介绍

Hibiki 是一个流式语音翻译 (也称为同声传译) 的模型。与离线翻译不同,离线翻译需要等待源语言的结束,然后再开始目标语言的翻译。

Hibiki: 高保真同步语音到语音翻译

如何训练 Hibiki 是一个仅支持解码的模型，用于同时进行语音翻译。 Hibiki 利用 Moshi 的多流架构来共同模型源语言和目标语言的语音。这使 Hibiki 能够在生成目标语言的同时连续处理输入流。 Hibiki 以 12.5Hz 的恒定帧率生成文本和音频标记。这使得输出的音频流可以连续播放，同时还可以生成带有时间戳的文本翻译。

Hibiki 依赖于对来自同一发言者的对齐源语音和目标语音以及文本的监督式训练。这种数据并不存在大量，因此我们依赖于合成数据生成。通过使用一套现成的 MADLAD 机器翻译系统，在源和目标转录之间进行了词级匹配，使用一种 上下文对齐 弱监督方法。所得的对齐规则（一个词在目标中只应出现一次，且可从源语言中预测）通过插入静音或使用语音控制、具备对齐意识的 TTS 合成目标来实现。