Retrieval-based-Voice-Conversion-WebUI

底模使用接近50小时的开源高质量VCTK训练集训练，无版权方面的顾虑，请大家放心使用

请期待RVCv3的底模，参数更大，数据更大，效果更好，基本持平的推理速度，需要训练数据量更少。

训练推理界面 实时变声界面 go-webui.bat go-realtime_gui.bat 可以自由选择想要执行的操作。 我们已经实现端到端170ms延迟。如使用ASIO输入输出设备，已能实现端到端90ms延迟，但非常依赖硬件驱动支持。

简介

本仓库具有以下特点

• 使用top1检索替换输入源特征为训练集特征来杜绝音色泄漏
• 即便在相对较差的显卡上也能快速训练
• 使用少量数据进行训练也能得到较好结果(推荐至少收集10分钟低底噪语音数据)
• 可以通过模型融合来改变音色(借助ckpt处理选项卡中的ckpt-merge)
• 简单易用的网页界面
• 可调用pymss/MSST模型来快速分离人声和伴奏
• 使用最先进的人声音高提取算法InterSpeech2023-RMVPE根绝哑音问题，速度快、资源占用小
• A卡/I卡使用 CPU 依赖方案；Windows 可使用 DirectML，Linux 使用 CPU

点此查看我们的演示视频 !

环境配置

本分支面向 Python 3.12 x64，请先进入仓库根目录。Ubuntu 推荐使用 Ubuntu 24.04 x86_64。

Ubuntu 24.04

sudo apt update
sudo apt install -y python3.12 python3.12-venv python3.12-dev ffmpeg unzip libsndfile1 libportaudio2

python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip setuptools wheel

Windows

安装 Python 3.12 x64 后创建虚拟环境：

py -3.12 -m venv .venv
.venv\Scripts\activate
python -m pip install --upgrade pip setuptools wheel

按硬件选择依赖

硬件 安装方式 CPU、AMD、Intel 使用 requirments_cpu_py312.txt；Windows 可使用 DirectML，Linux 使用 CPU NVIDIA RTX 50 系 先安装 CUDA 12.8 版 Torch，再安装 requirments_cu128_py312.txt NVIDIA RTX 50 系以前 先安装 CUDA 11.8 版 Torch，再安装 requirments_cu118_py312.txt

CPU、AMD、Intel

python -m pip install -r requirments_cpu_py312.txt

NVIDIA RTX 50 系：两阶段安装

python -m pip install torch==2.7.1+cu128 torchaudio==2.7.1+cu128 \
  --index-url https://download.pytorch.org/whl/cu128 \
  --extra-index-url https://pypi.org/simple
python -m pip install -r requirments_cu128_py312.txt

NVIDIA RTX 50 系以前：两阶段安装

python -m pip install torch==2.7.1+cu118 torchaudio==2.7.1+cu118 \
  --index-url https://download.pytorch.org/whl/cu118 \
  --extra-index-url https://pypi.org/simple
python -m pip install -r requirments_cu118_py312.txt

检查 Torch 与 CUDA 状态：

python -c "import torch; print('torch:', torch.__version__); print('cuda:', torch.version.cuda); print('cuda available:', torch.cuda.is_available())"

修改下载源

三个 requirments_*.txt 顶部已经包含下载源。中国大陆用户可保留默认镜像；需要使用官方源时，只替换 --index-url 和 --extra-index-url，保留包版本、CUDA 后缀和两阶段顺序。

Default mirror Official source https://mirrors.pku.edu.cn/pypi/simple https://pypi.org/simple https://mirrors.nju.edu.cn/pytorch/whl/cpu https://download.pytorch.org/whl/cpu https://mirrors.nju.edu.cn/pytorch/whl/cu118 https://download.pytorch.org/whl/cu118 https://mirrors.nju.edu.cn/pytorch/whl/cu128 https://download.pytorch.org/whl/cu128

模型与运行目录

WebUI 会自动创建运行目录。模型请从 Hugging Face 模型仓库 下载，并保持以下路径：

…

下载模型

…

仅 Windows AMD/Intel DirectML 环境还需要：

hf download lj1995/VoiceConversionWebUI rmvpe.onnx --revision main \
  --local-dir assets/rmvpe

FFmpeg

Ubuntu 已在前面的系统依赖命令中安装 FFmpeg。Windows 用户可把下面两个文件放到项目根目录：

• ffmpeg.exe
• ffprobe.exe

开始使用

启动 WebUI：

python webui.py

无桌面的 Ubuntu 服务器：

python webui.py --noautoopen

默认服务监听端口为 7865。用户自己的 .pth 模型放入 assets/weights/，.index 文件放入 assets/indices/。

参考项目

• ContentVec
• VITS
• HIFIGAN
• Gradio
• FFmpeg
• Ultimate Vocal Remover
• pymss-project/pymss
• audio-slicer
• Vocal pitch extraction:RMVPE
  • The pretrained model is trained and tested by yxlllc and RVC-Boss.

感谢所有贡献者作出的努力