本地部署个人声音克隆,当下首选技术架构是GPT-SoVITS。跑通训练的硬件底线是拥有一张显存不低于6GB的英伟达显卡,如果要流畅微调并开启深度优化,建议配备12GB以上显存。AMD显卡与核显在推理时可用DirectML或CPU应付,但严禁用于训练,否则效率会崩溃。
环境搭建建议直接使用官方一键整合包,避免在Python底层依赖库与CUDA版本冲突上浪费时间。若选择手动源码部署,必须通过Conda虚拟环境隔离安装PyTorch与TorchAudio,确保CUDA编译版本与本地显卡驱动完全吻合,随后启动WebUI脚本进入图形控制台。
素材质量彻底决定声音还原度。宁要一分钟毫无底噪的清晰干声,绝不要一小时夹杂回音和环境杂音的废料。

录制时选用心形指向电容麦或高品质动圈麦,房间做好吸音消音,关闭风扇和空调。音频格式统一导出为单声道、44.1kHz采样率的无损WAV格式。朗读时保持声线自然平稳,切忌忽大忽小,语速适中,避免喷麦或严重的齿音。
拿到录音后先做预处理。如果原音频混杂轻微杂音或伴奏,必须在界面中调用UVR5模块剔除混响与背景声。随后进入音频切片环节,设置静音切分阈值,将长音频自动裁切为单段3到10秒的短切片。切片过短会丢失语调起伏,切片过长则容易撑爆训练显存。
裁切完成后运行ASR语音识别。系统会自动调用达摩院FunASR或Whisper大模型,为每个音频切片输出对应的文本转录清单。这一步严禁偷懒,必须打开文本标注校对界面,人工纠正所有错别字、多音字以及断句标点,漏标或错标会导致模型在后续合成时频繁吞字或结巴。
校验完毕的数据集即可一键格式化,系统将自动完成文本特征向量与声学语义标记的提取。
模型训练分为两阶段,首先训练负责复刻音色质感的SoVITS模型。在参数面板中,显存8GB建议将批次大小设为2至4,显存12GB可设为6至8。训练轮数控制在8到15轮即可,过高会导致音色金属感加重、电音泛滥,过低则辨识度不足。
接下来训练负责掌控语调、韵律和断句逻辑的GPT模型。这一部分直接决定克隆声音是否具有真人谈吐感。轮数建议设定在15到20轮左右。若显卡性能充裕且数据集极其纯净,可勾选DPO直接偏好优化,这能彻底杜绝长文本推理时的复读与吞字现象。
训练收尾后进入推理合成界面。音色合成的核心秘诀在于挑选参考音频。务必从切片中挑出一句3到5秒、感情充沛且吐字清晰的录音作为基准提示音,并准确输入该切片的对应文本。
输入待合成的目标文本后,调节推理参数。生成语速保持在1.0基准,采样步数与温度系数遵循默认预设即可。点击合成后,引擎会结合提示音的情感先验生成高度拟真的个性化语音,单句生成不理想时微调标点停顿即可获得完美音频。