smart-turn

Smart Turn v3.2

An 开源, 由社区驱动的原生音频转换检测模型。

• 包含模型权重的 HuggingFace 页面 转换检测是对话式语音 AI 技术栈中最重要的功能之一。转换检测意味着决定语音代理何时应对人类语音做出响应。

当前大多数语音代理都使用 语音活动检测 (VAD) 作为转换检测的基础。VAD 将音频分为"语音"和"非语音"部分。VAD 无法考虑语音的实际语言学或声学内容。人类根据语法、语音的语调和节奏以及各种其他复杂的音频和语义线索进行转换检测。我们希望构建一个模型,其与人类期望的匹配程度要高于基于 VAD 的方法。

这是一个真正开放的模型（BSD 2 条款许可证）。任何人都可以使用、分支和为该项目做出贡献。此模型最初是 Pipecat 生态系统中的一个正在开发中的组件。Pipecat 是一个 开源，面向语音和多模态实时 AI 代理的供应商中立框架。

• 支持 23 种语言
• 阿拉伯语, 孟加拉语, 中文, 丹麦语, 荷兰语, 德语, 英语, 芬兰语, 法语, 印度语, 印尼语, 意大利语, 日语, 韩语, 马拉地语, 挪威语, 波兰语, 葡萄牙语, 俄语, 西班牙语, 土耳其语, 乌克兰语和越南语。