naturalspeech2-pytorch

Natural Speech 2 - Pytorch (wip) 自然语音 2 的 Pytorch 实现,零射音频和歌唱合成器。自然语音 2 是一种 TTS 系统,利用具有连续隐藏向量的神经音频编解码器和具有非自回归生成的隐藏扩散模型,可实现自然和零射文本到语音合成。本仓库将使用降噪扩散而不是基于分数的 SDE,并且可能提供详细的版本。它还将在适用的情况下为注意力 / Transformer 组件提供改进。感谢 - 稳定性和 Huggingface 为他们慷慨的赞助,用于进行和 开源 尖端人工智能研究 - Huggingface 为令人惊叹的加速库 - Manmay 提交了用于音素、音高、持续时间和语音提示编码器的初始代码,以及多语言音素生成器和音素对齐器! - Manmay 为连接扩散网络的完整端到端条件化工作! - 您?如果您是一个有抱负的 ML/AI 工程师或在 TTS 领域工作,并希望为开源最先进的技术做出贡献,请立即加入我们! 安装 bash $ pip install naturalspeech2-pytorch 使用 … 使用条件示例 … 或者如果您希望使用 Trainer 类来处理训练和采样循环,只需从 naturalspeech2pytorch 中导入 Trainer 类,即可完成: trainer = Trainer( diffusionmodel = diffusion, # 来自上一级的 diffusion 模型 + 编解码器 = '/path/to/speech', trainbatchsize = 16, gradientaccumulateevery = 2, ) trainer.train() 待办事项 - [x] 完成感知器,然后在 ddpm 方面进行交叉注意力条件 - [x] 添加分类器免费指导,即使不在论文中 - [x] 在训练期间完成持续时间/音高预测 - 感谢 Manmay - [x] 确保使用 pyworld 计算音高也能够工作 - [ ] 咨询 TTS 领域的博士生关于 pyworld 的使用 - [ ] 如果可用,还可提供使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear-tts 文本到语义模块的直接累加条件 - [ ] 在 ddpm 方面添加自条件 - [ ] 确保音频提示自动切片,同时注意音频片段的最小值 - [ ] 确保 curtailfromleft 可以正常工作 - [ ] 如果可用,还可添加使用 spear