多个SVC/TTS的C++推理库
本仓库已经永久停止了UI项目的维护，会成为一个纯Lib项目，代码仓库地址：DragonianLib，但是有关SVC和TTS的Release仍然在此仓库发布。
本仓库为：1、TTS（Tacotron2、Vits、EmotionalVits、BERTVits2、GPtSoVits）；2、SVC（SoVitsSvc、RVC、DiffusionSvc、FishDiffusion、ReflowSvc）；3、SVS（DiffSinger） 的Onnx框架推理仓库，目前支持C/Cpp/C#调用。
本仓库的最新版本已经与 fish-speech 联动，使用ggml框架重写fish-speech，组成fish-speech.cpp子项目
注意：支持SVS的分支：MoeVoiceStudio MoeVoiceStudioCore
关于Cuda支持的相关问题可以前往 OnnxRuntime官方仓库 查看
经过实验，Dml会导致Onnx中一些不支持的算子在使用时并不会报错，而是会返回一个不可预料的结果，所以会导致SoVits3.0和SoVits4.0在DmlEP上的推理结果错误。不过最新的SoVits仓库中的Onnx导出已经替换了这些算子，故SoVits3.0和SoVits4.0恢复支持Dml使用，但是要使用最新（2023/7/17）版本的SoVitsOnnx导出重新导出Onnx模型
由于Diffusion和Reflow模型的特性，如果你推理的总步数大于模型训练时最大的步数（实际步数=总步数/加速倍率，这个总步数不是推理时实际走过的步数，而是K_Step），会导致输出音频炸掉或者出现非常大的噪声，所以建议在推理前请仔细观察自己模型配置文件中的MaxStep（或K_Step_Max）
支持的Net：
[^1]: 低创的评判标准为: 大量使用AI生成的任何内容，原创内容较低，意义不明，内容质量低下等。 [^2]: 电子垃圾评判标准: 1、原创度。自己的东西在整个项目中的比例（对于AI来说，使用完全由你独立训练模型的创作属于你自己；使用他人模型的创作属于别人）。涵盖的方面包括但不限于程序、美工、音频、策划等等。例如，套用Unity等引擎模板换皮属于电子垃圾。
本项目为开源、离线的项目，本项目的所有开发者以及维护者（以下简称贡献者）对本项目没有控制力。本项目的贡献者从未向任何组织或个人提供包括但不限于数据集提取、数据集加工、算力支持、训练支持、推理等一切形式的帮助；本项目的贡献者不知晓也无法知晓使用者使用该项目的用途。故一切基于本项目合成的音频都与本项目贡献者无关。一切由此造成的问题由使用者自行承担。
本项目本身不具备任何语音合成的功能，只是用于启动使用者自行训练并自行制作为Onnx模型的模型，且模型的训练与Onnx模型的制作均与本项目的贡献者无关，均为使用者自己的行为，本项目贡献者未参与一切使用者的模型训练与制作。
本项目为完全离线状态下运行，无法采集任何用户信息，也无法获取用户的输入数据，故本项目贡献者对用户的一切输入以及模型不知情，因此不对任何用户输入负责。
本项目也没有附带任何模型，任何二次发布所附带的模型以及用于此项目的模型均与此项目开发者无关。
本项目目前已完全支持自行调用其中方法来实现命令行推理或其他软件，欢迎大家向本项目提PR
作者的其他项目：AiToolKits
如果想要参加开发，可以加入QQ群:263805400或直接提PR
模型需要转换为ONNX模型，详情见你选择的项目的源仓库，PTH模型不能直接使用！！！！！！！！！！！！！
本项目的各分支:
A:
XP至上主义者狂喜，有谁不喜欢龙娘呢
A:
这个项目的开发初衷主要是实现无需环境部属各个语音合成项目，而现在打算制作为一个SVC的辅助编辑器。
由于这个项目毕竟是一个"个人的" "不专业"的项目，所以在您拥有更专业的软件，或者您是Python Cli爱好者，又或者您是相关领域大佬。我自知本软件不够专业且很大可能无法满足您的需求甚至对您没有用处。
本项目并不是不可替代的项目，相反的本项目的功能您可以使用各种工具替代，我没有奢望本项目成为相关领域的领军项目，我只是怀着一腔热情继续着该项目的开发。但是热情总有消散的一天，但是该项目承诺在我的开 > 发热情完全消散之前会一直保持维护（不管有没有人使用，就算用户数目为0）
本项目在设计上可能存在着各种各样的问题，所以也是需要大家积极的点炒饭来帮助我完善功能的，大部分对于功能和体验的优化我都会接受。
A:
该项目永久开源免费，如果在其他地方存在本项目的收费版本，请立即举报且不要购买，本项目永久免费。如果想用疯狂星期四塞满白叶，可以前往爱发癫 https://afdian.net/a/NaruseMioShirakana
A:
不提供，训练模型比较简单，没必要花冤枉钱，按照网上教程一步一步走就可以了。
A:
- 原创度。自己的东西在整个项目中的比例（对于AI来说，使用完全由你独立训练模型的创作属于你自己；使用他人模型的创作属于别人）。涵盖的方面包括但不限于程序、美工、音频、策划等等。举个例子，套用Unity等引擎模板换皮属于电子垃圾。
- 开发者态度。作者开发的态度是不是捞一波流量和钱走人或单纯虚荣。比方说打了无数的tag，像什么“国产”“首个”“最强”“自制”这种引流宣传，结果是非常烂或是平庸的东西，且作者明显没有好好制作该项目的想法，属于电子垃圾。
- 反对一切使用未授权的数据集训练出来的AI模型商用的行为。
A:
如果能够确定你做的不是电子垃圾，同时合法合规，没有严重的政治错误，我会提供一些力所能及的技术支持。
不支持中文路径？实际上项目本体是支持中文路径的，不过2023年3月前版本的OnnxRuntime是不支持中文路径的，因为这些版本的OnnxRuntime使用了Win32Api的A系列函数，A系列函数都是不支持非ANSI编码的路径的。这个问题并不是我能够解决的也不是我应该解决的，只有微软官方才可以修复这个BUG，不过好在最新的OnnxRuntime使用了W系列函数，解决了中文路径问题。
由于Cuda有着极差的兼容性，导致一个基于Cuda的程序在使用时，必须安装和编译该程序时相同或是未修改Api最近版本的Cuda。这个问题只能等英伟达公司重视兼容性了。
MoeVoiceStudioCore以Lib的形式提供 使用C++语言调用
按需引用以下对应的类
#include
#include
#include
#include
#include
InferClass::Tacotron2;
InferClass::Vits;
InferClass::VitsSvc;
InferClass::DiffusionSvc;
InferClass::DiffusionSinger;
/*
构造函数第一个是配置文件json
第二个是进度条回调
第三个是参数回调 (若为TTS 此参数为空即可)
第四个参数为设备
使用调用Inference函数即可
*/模型配置请参见#模型配置
demo: RVC命令行示例
停止更新（由于下载和上传速度）: Vocoder & HiddenUnitBert
停止更新（由于HuggingFace被墙） : HuggingFace
最新仓库：Openi
自己导出前置：
input_names应该为["source"]，output_names应该为["embed"]，dynamic_axes应当为{"source":[0,2],}input_names应该为["c","f0"]，output_names应该为["audio"]，dynamic_axes应当为{"c":[0,1],"f0":[0,1],}input_names应该为["x"]，output_names应该为["audio"]，dynamic_axes应当为{"x":[0,1],}Vec模型和Hubert模型放在Hubert文件夹下，Hifigan模型放在Hifigan文件夹下 如需使用FCPE或RMVPE这两个F0预测器，则需要在根目录创建F0Predictor文件夹并将onnx模型放置在其中
xxx.json 为模型的配置文件，需要自行按照模板编写，同时需要自行将模型转换为Onnx。Folder：保存模型的文件夹名Name：模型在UI中的显示名称Type：模型类别Rate：采样率（必须和你训练时候的一模一样，不明白原因建议去学计算机音频相关的知识）Tacotron2:
{
"Folder" : "Atri",
"Name" : "亚托莉-Tacotron2",
"Type" : "Tacotron2",
"Rate" : 22050,
"Symbol" : "_-!'(),.:;? ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz",
"Cleaner" : "",
"AddBlank": false,
"Hifigan": "hifigan"
}
//Symbol：模型的Symbol，不知道Symbol是啥的建议多看几个视频了解了解TTS的基础知识，这一项在Tacotron2中必须填。
//Cleaner：插件名，可以不填，填了就必须要在Cleaner文件夹防止相应的CleanerDll，如果Dll不存在或者是Dll内部有问题，则会在加载模型时报插件错误
//Hifigan：Hifigan模型名，必须填且必须将在前置模型中下载到的hifigan放置到hifigan文件夹
//AddBlank：是否在音素之间插0作为分隔Vits:
…Pits:
…RVC:
…SoVits_3.0_32k:
…SoVits_3.0_48k:
…SoVits_4.0:
…DiffSVC:
…DiffSinger:
…BertVits:
……例如：_-!'(),.:;? ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz
打开你训练模型的项目，打开text\symbol.py，如图按照划线的List顺序将上面的4个字符串连接即可/*
Cleaner请放置于根目录的Cleaners文件夹内，应该是一个按照要求定义的动态库（.dll），dll应当命名为Cleaner名，Cleaner名即为模型定义Json文件中Cleaner一栏填写的内容。
所有的插件dll需要定义以下函数，函数名必须为PluginMain，Dll名必须为插件名（或Cleaner名）：
*/
const wchar_t* PluginMain(const wchar_t*);
// 该接口只要求输入输出一致，并不要求功能一致，也就是说，你可以在改Dll中实现任何想要的功能，比方说ChatGpt，机器翻译等等。
// 以ChatGpt为例，PluginMain函数传入了一个输入字符串input，将该输入传入ChatGpt，再将ChatGpt的输出传入PluginMain，最后返回输出。
wchar_t* PluginMain(wchar_t* input){
wchar_t* tmpOutput = ChatGpt(input);
return Clean(tmpOutput);
}
// 注意：导出dll时请使用 extern "C" 关键字来防止C++语言的破坏性命名。git clone https://github.com/NaruseMioShirakana/MoeVoiceStudio.git
//自行配置OnnxRuntime和FFMPEG的Dll
//使用VisualStudio构建任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意，不得制作、使用、公开肖像权人的肖像，但是法律另有规定的除外。 未经肖像权人同意，肖像作品权利人不得以发表、复制、发行、出租、展览等方式使用或者公开肖像权人的肖像。 对自然人声音的保护，参照适用肖像权保护的有关规定。
【名誉权】民事主体享有名誉权。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。
【作品侵害名誉权】行为人发表的文学、艺术作品以真人真事或者特定人为描述对象，含有侮辱、诽谤内容，侵害他人名誉权的，受害人有权依法请求该行为人承担民事责任。 行为人发表的文学、艺术作品不以特定人为描述对象，仅其中的情节与该特定人的情况相似的，不承担民事责任。
MoeSS使用的图像素材来源于：
暂无开放 Issues，或尚未同步最近议题。