5 秒音频克隆任意人声：GPT-SoVITS 从零到批量合成的少样本语音合成实战手册

5 秒音频克隆任意人声GPT-SoVITS 从零到批量合成的少样本语音合成实战手册【免费下载链接】GPT-SoVITS1 min voice data can also be used to train a good TTS model! (few shot voice cloning)项目地址: https://gitcode.com/GitHub_Trending/gp/GPT-SoVITS给客户的方言播客换一条干净的声线或者拿老板 5 秒的录音做一段产品 demo 配音——这正是 GPT-SoVITS 这类少样本语音合成工具要解决的活用少量参考音频做语音克隆把文字变成这个人的声音。本文带你从环境装起到批量出音频全程可复现。十分钟跑通最小闭环装环境、下模型、出第一段声音三件事就够了。install.sh会把依赖和全部预训练模型一次拉齐你只需要保证 conda 可用git clone https://gitcode.com/GitHub_Trending/gp/GPT-SoVITS cd GPT-SoVITS conda create -n GPTSoVits python3.10 conda activate GPTSoVits bash install.sh --device CU128 --source HF # 依赖模型一键安装 python webui.py # 训练/数据处理 WebUI端口 9874 python inference_webui.py # 推理 WebUI端口 9872打开http://localhost:9872上传一段 5 秒左右的参考音频填上对应文本和目标文本点合成——这就是零样本zero-shot不训练直接推的第一段声音。系统要求速查以docs/cn/README.md实测通过的环境为准项目要求Python3.10 / 3.113.9 亦可PyTorch2.5.1CUDA 12.4 / 12.8设备CUDA 12.x 的 NVIDIA 卡Apple Silicon 或纯 CPU 也可跑其他依赖ffmpeginstall.sh会处理磁盘预训练模型约需数 GB 空间跑通零样本只是验证链路真正出活还得靠下面这套模型怎么工作的理解。它到底在做什么原理三分钟GPT-SoVITS 是一条四段流水线你可以把它想成先听懂文字再画出音色最后还原成声音文本 → 语义向量。白话把句子变成一串该发什么音、什么语调的符号序列。技术补充这部分是 GPT 结构的自回归模型见GPT_SoVITS/AR/models/t2s_model.py输出 25Hz 的语义 token参考音频的音色信息speaker embedding在这里注入。语义向量 → 声学特征。白话把符号序列翻译成这一帧声音长什么样的声学描述。技术补充由 SoVITSVITS 系列的改进版完成v3 起引入扩散采样sample_steps控制采样步数。声学特征 → 波形。白话把声学描述还原成能听见的波形。技术补充v4 使用 BigVGAN 声码器把特征序列还原为波形的最后一步48kHz 输出。后处理。白话拼接分段、控制语速。技术补充长文本按text_split_method切句并行合成speed_factor在声码器上采样阶段调语速。理解了这条链你就能定位问题出在哪一段读错字多半是第 1 段前的文本处理音色不准看参考音频毛刺电流声多半在第 3 段。定位问题之前先确保你手里的训练数据本身是合格的。数据与训练录音规范清单环境安静室内无明显回声和底噪手机外放录音效果差设备指向性麦克风或安静的耳机麦人声单独成轨更好时长5 秒可零样本微调建议 1 分钟起3-5 分钟效果更稳格式WAV脚本会自动转 32kHz 单声道单条不宜过长30 秒内为宜内容覆盖目标语速和情绪避免只录一种平铺直叙的念稿腔有背景音乐的素材先在 WebUI 的 UVR5 选项卡做人声分离权重放tools/uvr5/uvr5_weights再用人声切分功能按响度切成训练片段切片结果会自动生成文本标注文件。train.list 格式标注完成后训练清单每行一条用竖线分隔四段/path/to/audio1.wav|speaker1|zh|这是第一段训练文本 /path/to/audio2.wav|speaker1|zh|第二段的文本内容 /path/to/audio3.wav|speaker2|en|This is English training text语言代码zh中文、en英语、ja日语、ko韩语、yue粤语。注意中文 TTS 依赖 G2PW 多音字模型install.sh已装好手动安装时需把它解压到GPT_SoVITS/text/G2PWModel否则中文发音容易出错。微调参数表训练分两步s1_train.py训练 GPT 语义模型s2_train.py训练 SoVITS 声学模型v3/v4 用s2_train_v3.py小数据可试s2_train_v3_lora.py。默认值来自仓库自带配置参数s1GPTs2SoVITS说明epochs3001001 分钟数据通常 s1 几十 epoch 即收敛可在日志试听后提前停learning rate0.01warmup 到 0.00010.0001一般不动batch_size8配梯度累积 432显存不足时优先减这里精度fp16fp16_run: true半精度约省一半显存其他gradient_accumulation: 4text_low_lr_rate: 0.4小数据场景 s2 文本侧可降学习率产物落在logs/GPT_weights*和logs/SoVITS_weights*目录exp_root logs推理界面按版本选择即可。参数跑起来之前先确认推理端读的是哪份配置。关键参数速查推理与入口行为集中在config.py和GPT_SoVITS/configs/tts_infer.yaml最常用的 7 个参数默认作用建议versionv2Pro模型版本v1/v2/v2Pro/v2ProPlus/v3/v4新手先用 v2 系列音质优先选 v4device自动选最强 GPU推理设备显存 4GB 会自动回落 CPUis_half按 GPU 能力自动半精度推理新卡开省显存老卡Pascal自动关t2s_weights_path/vits_weights_path预训练权重GPT 与 SoVITS 模型路径换成微调后的权重即可热切换exp_rootlogs训练产物根目录按版本分子目录注意备份api_port9880api_v2 服务端口批量合成走它webui_port_infer_tts9872推理 WebUI 端口多实例部署时改掉版本对应的具体权重路径在GPT_SoVITS/configs/tts_infer.yaml里按 v1~v4 分节列出改version字段即整套切换。配置就位后真正容易卡住的往往是安装和数据这一层下面是最常见的几种症状。踩坑急救包训练中途报 CUDA out of memory现象s2 训练几百步后显存溢出进程挂掉。 原因batch_size 偏大或片段过长显存峰值超限。 解法把GPT_SoVITS/configs/s2.json的batch_size从 32 降到 16并确认fp16_run为true仍不够就把片段切短WebUI 切分时调低单段时长阈值# 显存占用体检确认没有别的进程在抢卡 nvidia-smi中文念错音或整句读成英文腔现象多音字读错、声调发飘或中文文本被按英文切分。 原因G2PW 多音字模型缺失或路径不对GPT_SoVITS/text/G2PWModel目录不存在。 解法下载 G2PWModel 解压后重命名放入GPT_SoVITS/text/G2PWModel重开推理进程install.sh正常跑完的环境可先核对目录是否存在ls GPT_SoVITS/text/G2PWModel启动日志显示在 CPU 上跑现象界面能开、能合成但速度极慢torch设备为 cpu。 原因CUDA 版本与 PyTorch 不匹配或install.sh时--device选错如 12.8 的卡选了 CU126。 解法确认nvidia-smi右上角 CUDA Version 与安装参数一致后重建环境conda remove -n GPTSoVits --all conda create -n GPTSoVits python3.10 conda activate GPTSoVits bash install.sh --device CU128 --source HF参考音频带背景音乐合成后音色发脏现象零样本合成时输出夹带哼唱、鼓点残响。 原因参考音频里混了伴奏声码器把噪声当音色学进去了。 解法先在 WebUI 的 UVR5 选项卡做人声分离再用分离结果做参考音频权重缺失时补下到tools/uvr5/uvr5_weights。合成偶尔复读或拖长音现象同一文本多次合成偶尔出现词句重复或某个音拖尾。 原因自回归解码采样偏随机repetition_penalty或温度不当。 解法把repetition_penalty从默认 1.35 微调到 1.2-1.4 之间temperature保持 1.0固定seed可复现同一次结果。问题排除后单条合成就够上生产了——批量、多语言、调语速都走同一套接口。生产级用法批量合成与多语言混读跳过界面直接调 API 是最稳的批量路径。启动服务python api_v2.py -a 0.0.0.0 -p 9880 -c GPT_SoVITS/configs/tts_infer.yamlPOST /tts返回 wav 音频流关键字段payload { text: 产品发布会将于本周日举行。, text_lang: zh, ref_audio_path: /abs/path/ref_5s.wav, # 参考音频绝对路径 prompt_text: 参考音频对应的文字, prompt_lang: zh, speed_factor: 1.1, # 1 加速1 减速声码器层面变速不破音 temperature: 1.0, # 调低更稳、调高更活 repetition_penalty: 1.35, batch_size: 1, # 长文本按句切分后的并行度 streaming_mode: False, # 长文可开分块返回音频流 }多语言混读在text内用语言标签分段即可例如zh|这一段是中文|en|and this part is spoken in English.|ko|한국어도 됩니다.各段语言代码与标注文件一致zh/en/ja/ko/yue。情感目前没有独立旋钮实践上主要靠参考音频本身的情绪基调 temperature微调想让输出更贴近参考音频top_k调小如 5、temperature降到 0.8 左右想多一点变化再往回调。/set_gpt_weights和/set_sovits_weights两个端点支持运行时切换模型多角色服务无需重启进程。跑批量之前先心里有数这套流水线在你的卡上到底能跑多快。硬件与速度预期下表为社区实测口径仅作量级参考同一硬件上版本、文本长度、sample_steps都会影响结果非官方基准设备显存/内存实测实时因子约说明RTX 409024GB0.01-0.031 分钟音频通常几秒内出RTX 4060 Ti16GB0.03-0.06批量合成主力档位GTX 10606GB6GB0.2-0.5需 fp16训练建议减 batchApple SiliconM 系列系统统一内存0.4-0.8CPU 推理训练MPS 用于推理纯 CPU16GB2只建议做短文本零样本实时因子 生成耗时 / 音频时长越小越快。注意两个工程约束Pascal 架构sm 6.1以下会自动关闭 fp16见config.py的get_device_dtype_sm同卡速度差一倍以上显存低于 4GB 的卡会整体回落 CPU。想从能用走到读得懂代码从这几个目录入手最省时间。继续深入中文完整文档docs/cn/README.md版本变更记录docs/cn/Changelog_CN.mdGPT 语义模型与采样解码GPT_SoVITS/AR/models/文本清洗与多语言文本前端GPT_SoVITS/text/推理封装分句、变速、流式GPT_SoVITS/TTS_infer_pack/文档覆盖安装细节与 Docker 部署docker-compose.yaml自带 amd64/arm64 两套服务源码目录按文本前端 → 语义 → 声学 → 声码器与上文原理一一对应对照着读最快。你的下一步今天按十分钟闭环跑通 v2 零样本用一段 5 秒真实人声合成 3 句话先建立对音质上限的直观感受再决定是否上 v4。本周为目标说话人录 3 分钟多情绪样本陈述、疑问、强调各占一段走 UVR5 分离 自动切分 ASR 标注的完整流程训练一版微调模型与零样本结果 A/B 对比。之后把api_v2.py包成内部服务配一个读train.list同格式清单的批处理脚本接入你的发布流水线让新文案自动出配音。【免费下载链接】GPT-SoVITS1 min voice data can also be used to train a good TTS model! (few shot voice cloning)项目地址: https://gitcode.com/GitHub_Trending/gp/GPT-SoVITS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考