RVC 实战：10 分钟录音，就能训出一个 AI 换声音色

RVC 实战10 分钟录音就能训出一个 AI 换声音色【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI手里只有一段 10 分钟左右的录音——一首歌、一段直播片段——却想让 AI 语音转换实时把你的声音变成那个人的声音传统做法要么录音量巨大要么调参耗时。RVCRetrieval-based-Voice-Conversion-WebUI是一个基于 VITS 的变声框架约 10 分钟低底噪语音数据就能训出一个可用的音色模型实时变声端到端延迟约 170ms用 ASIO 设备还能压到 90ms 左右。训练、推理、实时换声全部在一个网页界面里完成新手友好。它凭什么只要 10 分钟数据RVC 不是让模型从零学合成流程拆开就三步先听懂用 assets/hubert/ 里的预训练模型把音频抽成一串特征向量再换声推理时去目标音色的特征库index 文件里做 top1 检索直接把你声音的特征替换成目标音色的特征。仓库简介里写得很直白——用 top1 检索替换输入源特征为训练集特征来杜绝音色泄漏最后合成VITS 模型把替换后的特征还原成能听的声音infer/lib/infer_pack/models.py。步骤干什么在哪先听懂抽 HuBERT 特征infer/lib/jit/get_hubert.py再换声top1 检索替换特征faiss 索引 infer/modules/vc/pipeline.py最后合成VITS 还原成波形infer/lib/infer_pack/models.py所以训练数据要干的事其实不多填一个特征库再微调一下底模。而底模本身是拿接近 50 小时的开源高质量 VCTK 数据预训练好的起点高少量数据自然够用——这也是10 分钟数据训练语音模型能成立的原因。从零跑通数据 → 训练 → 换声装环境按显卡选依赖文件N 卡最常见pip install -r requirements.txt # NVIDIA pip install -r requirements-dml.txt # AMD/IntelDirectML另外需要装好 ffmpegUbuntu 下sudo apt install ffmpeg从 tools/ 目录的脚本下载 assets 预训练文件再把 rmvpe 音高模型放到根目录。准备约 10 分钟数据选底噪低的干净音频几首纯人声歌、一段播客就够带伴奏的先用 UVR5 分离人声RVC 界面里可以直接调用在界面数据处理里跑自动切片逻辑在 infer/lib/slicer2.py、音高提取推荐 rmvpe哑音问题最少、特征提取官方 FAQ 的建议区间是 10–50 分钟见 docs/cn/faq.md10 分钟是能用的下限。训练python infer-web.py启动 WebUI 后在训练选项卡里点一键训练。两个要点total_epoch数据底噪大20–30 轮就够音质干净、时长足可以放到 200训练完你会拿到两样东西weights/下 60MB 的模型文件用来分享、推理的和logs/下以added_开头的 index 文件特征库。别忘了 index换声时的检索就靠它。换声推理选项卡加载模型、选上 index、调参输入音频文件就能得到转换结果。想实时用就运行go-realtime-gui.bat麦克风进、耳机出延迟 170ms 左右。效果不够好先看这几个参数关键参数都在 configs/config.json默认值见 configs/config.py参数管什么建议index_rate检索强度0 纯模型1 完全靠检索替换音色不够像先试 0.6–0.8音色发闷、机械感强就降到 0.3–0.5filter_radius频谱包络平滑3–5输出偏硬就调大rms_mix_rate音量归一化混合比例0.5 附近响度忽高忽低时再动它f0method音高提取算法rmvpe 最稳block_time实时模式分块时长0.1–0.2越小延迟越低调参的优先级先确认 index 选对了再调 index_rate最后才碰 filter_radius。常见翻车现场与解法一键训练结束却没有 index 文件大概率是训练集太大把添加索引那步卡住了。点一下训练索引重新补建即可FAQ 里说明已用批处理方式解决内存问题。界面弹 Expecting value / Connection Error十有八九是代理问题关掉系统全局或局域网代理再试。Cuda out of memory训练就缩小 batch size推理就调小 configs/config.py 结尾的x_pad、x_query等参数。4GB 显存是训练的下限4GB 以下比较痛苦。推理时看不到刚训的音色先点刷新音色还没有就看logs/实验名/下的训练日志确认是否报错。ffmpeg error / utf8 error八成不是 ffmpeg 的锅是音频路径问题——路径里带空格、括号等符号或训练集目录是中文路径。能用在哪些地方AI 翻唱UVR5 分离人声后把整首歌换成另一个音色实时变声直播、游戏、联机开会端到端约 170msASIO 约 90ms角色配音给虚拟形象、短视频、有声内容训一个专属音色批量处理tools/ 里有infer_batch_rvc.py等命令行脚本服务化api_240604.py 提供 API 接口仓库还带 Dockerfile 和 docker-compose.yml 容器化方案。从哪开始第一步很简单备一段 10 分钟左右、底噪干净的录音python infer-web.py把界面跑起来按数据处理 → 训练 → 推理走完一遍先出声音。别急着调参——等能稳定出声之后再用 index_rate 和 filter_radius 去权衡像不像和自不自然。【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考