1.概述
GPT-SoVITS是一款开源的语音合成模型,结合了深度学习和声学技术,能够实现高质量的语音生成。其独特之处在于支持使用参考音频进行零样本语音合成,即使没有直接的训练数据,模型仍能生成相似风格的语音。用户可以通过微调模型,进一步提升其性能,以适应特定的应用需求。
2.内容
2.1 GPT-SoVITS简介
这个开源的文本到语音(TTS)项目可以在Linux、MacOS和Windows系统上运行,具有极高的灵活性和兼容性。用户只需提供一段长达1分钟的音频文件,即可轻松克隆特定的声音。该项目支持将汉语、英语和日语的文本转换为克隆的语音,为多语言环境中的应用提供了便利。
- 项目地址:https://github.com/RVC-Boss/GPT-SoVITS
- 官方教程:GPT-SoVITS手册
2.2 语音合成
VITS是一种用于端到端文本到语音(TTS)的模型,结合了对抗学习和条件变分自动编码器,旨在生成高质量的语音效果。近年来,虽然已经提出了多种单阶段训练和并行采样的TTS模型,但它们的样本质量往往无法与传统的两阶段系统相媲美。为了解决这个问题,VITS采用了一种并行的端到端方法,能够生成更自然、更真实的声音。
该模型通过标准化流和对抗训练过程增强的变分推理,显著提升了生成建模的表达能力。此外,VITS引入了随机持续时间预测器,能够从输入文本中合成出节奏各异的语音。这种设计允许模型捕捉潜在变量的不确定性,形成了一种自然的一对多关系,使得同一段文本可以以不同的音高和节奏进行多样化的表达。这种灵活性和高质量的输出使VITS在语音合成领域中具备了广泛的应用潜力。
- 论文地址:https://arxiv.org/pdf/2106.06103
- Github地址:https://github.com/jaywalnut310/vits
2.3 Whisper语音识别
Whisper是OpenAI开发的先进自动语音识别(ASR)系统,经过训练的语料库包含68万小时的多语言(涵盖98种语言)和多任务监督数据。OpenAI认为,这种庞大且多样化的数据集显著提升了系统对各种口音、背景噪音和专业术语的识别能力,使其在实际应用中表现出色。
除了语音识别功能,Whisper还支持多种语言的转录和翻译,能够将非英语语言直接翻译成英语。这种多功能性使得Whisper不仅适用于语音转文字的任务,还能在国际交流、内容创建和教育等领域发挥重要作用。凭借其出色的准确性和灵活性,Whisper为用户提供了一个强大的工具,有助于打破语言障碍,促进沟通与理解。
- 论文地址:https://github.com/openai/whisper
- GitHub地址:https://arxiv.org/pdf/2212.04356
Whisper的基本原理基于一种Transformer序列到序列模型,旨在处理多种语音任务,包括多语言语音识别、语音翻译、口语语言识别以及语音活动检测。通过将这些任务统一表示为一个需要解码器预测的符号序列,Whisper能够有效地替代传统语音处理管道中的多个阶段,简化了处理流程。
该模型采用多任务训练的格式,使用一系列特殊符号作为任务指示符或分类目标。这种设计不仅提升了模型的灵活性,还使其在处理不同类型的语音输入时表现出色。例如,当面对多种语言或不同口音时,Whisper能够利用其训练数据中的丰富信息,快速适应并提高识别准确性。通过这种创新的方法,Whisper在语音处理领域展示了强大的能力,能够满足多样化的用户需求。
Whisper系统提供了五种不同的模型尺寸,以平衡速度和准确性。每种模型的设计旨在满足不同应用场景的需求,用户可以根据自己的具体要求选择合适的模型。以下是可用模型的名称、对应的大致内存需求和相对速度:
- 小型模型:内存需求低,速度快,适合实时语音识别任务,但在复杂音频环境中的准确性可能稍逊。
- 中型模型:提供更好的准确性,同时保持相对较快的速度,适合大多数日常应用。
- 大型模型:在准确性上有显著提升,适合对精度要求较高的场景,如医疗记录转录和法律文件审阅,但相对速度略慢。
- 超大型模型:具有出色的语音识别性能,能够处理复杂口音和技术术语,适合专业领域的使用,内存需求较高,速度相对较慢。
- 特大模型:提供顶尖的准确性,特别适用于高噪声环境和多方对话场景,内存需求极大,速度较慢,适合不需要实时处理的情况。
通过这些不同尺寸的模型,用户可以根据自己的硬件资源和应用需求,灵活选择最合适的选项,以实现最佳的语音识别效果。
3.GPT-SoVITS安装与部署
3.1 配置要求
1.训练
- Windows
- 需支持CUDA的nVIDIA显卡,显存至少6GB。
- 不支持的显卡包括:10系之前的所有型号、GTX 1060及以下、GTX 1660及以下、GTX 2060及以下,以及3050 4GB显卡。
- 操作系统需为Windows 10或11。
- 如果没有显卡,系统会自动切换至CPU训练,但速度非常慢。
- macOS
- 需运行macOS 14或更高版本。
- 必须安装Xcode命令行工具,可通过运行xcode-select –install完成安装。
- Linux
- 熟练使用Linux环境。
- 需配备显存至少为6GB的显卡。
- 同样,如果没有显卡,系统将自动切换至CPU训练,速度较慢。
2.推理
- Windows
- 需支持CUDA的nVIDIA显卡,显存至少4GB(未经过测试,3GB可能无法完成语音合成,因此推测4GB应该足够)。
- 操作系统需为Windows 10或11。
- 如果没有显卡,系统会自动识别并使用CPU进行推理。
- macOS
- 需运行macOS 14或更高版本。
- 必须安装Xcode命令行工具,方法同上。
- Linux
- 熟练使用Linux环境。
- 需配备显存至少为4GB的显卡。
- 如果没有显卡,系统将自动识别并使用CPU进行推理。
通过这些配置要求,用户可以确保系统能够高效地进行训练和推理,以实现最佳的性能表现。
3.2 Mac环境要求
1.软件要求
- 确保已通过运行 xcode-select –install 安装 Xcode 命令行工具。
- 安装 Homebrew 以便于安装必要的软件(如 git、ffmpeg)。
2.安装 conda(如果已安装可以跳过)
测试通过的 Python 和 PyTorch 版本:
- Python 3.9、Pytorch 2.2.1
可以通过如下命令检测是否已安装。
conda info
3.安装FFmpeg(如果已安装可以跳过)
可以通过如下命令检测是否已安装以及版本要大于等于6.1
# 安装 brew install ffmpeg # 检查环境 ffmpeg -version
3.3 项目准备
1.下载项目代码
如果没有安装Git,打开终端执行
brew install git brew install git-lfs brew install rust
如果已安装Git,直接在终端中定位到要存放项目的目录(此处以桌面为例,请按实际情况操作,本文档所有路径皆基于此前提),然后克隆仓库到本地,~/代表当前用户目录下
#示例 cd ~/desktop # ~代表当前用户 git clone --depth=1 https://github.com/RVC-Boss/GPT-SoVITS
2.下载预训练模型(直接参考项目README.md就好)
从 GPT-SoVITS Models 下载预训练模型,并将它们解压替换 ~/desktop/GPT-SoVITS/GPT_SoVITS/pretrained_models 。对于 UVR5(人声/伴奏分离和混响移除)(推荐使用UVR5客户端,可以跳过这步) 的是UVR5教程从 UVR5 Weights 下载模型,并将它们放置在 ~/GPT-SoVITS/tools/uvr5/uvr5_weights 中。(若使用UVR5客户端,可以跳过这步)对于中文自动语音识别,从 Damo ASR Model 下载模型,将它们解压替换 ~/desktop/GPT-SoVITS/tools/asr/models 。
#一步到位命令 cd ~/desktop/GPT-SoVITS/tools/asr/models git lfs install git clone https://www.modelscope.cn/iic/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch.git git clone https://www.modelscope.cn/iic/punc_ct-transformer_zh-cn-common-vocab272727-pytorch.git git clone https://www.modelscope.cn/iic/speech_fsmn_vad_zh-cn-16k-common-pytorch.git
3.4 环境准备
1.创建环境
先关闭终端,再打开终端输入
conda create -n GPTSoVits python=3.9
conda activate GPTSoVits
遇到y/n的就一直点y回车
如果遇到:connot find conda,那是因为conda没装好,输入
conda -v
查看有没有装好。可以试试重新打开终端。
2.安装依赖
终端输入
cd ~/desktop/GPT-SoVITS
conda activate GPTSoVits
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
3.运行
conda activate GPTSoVits cd ~/desktop/GPT-SoVITS python webui.py zh_CN
4.训练模型
GPT-SoVITS WebUI提供了全面的功能,包括数据集制作、模型微调训练和语音克隆推理。如果您只是想体验效果,可以直接使用官方分享的语音模型。这种设计使用户能够迅速上手,无需复杂的设置或深入的技术知识。
4.1 数据集处理
1.处理原音频
如果原音频足够干净,比如从游戏中提取的干声,可以跳过这一步。接着,点击开启Open UVR5-WebUI,稍等片刻后,打开浏览器访问 http://localhost:9873。
2.切割音频
在切割音频之前,建议将所有音频文件导入音频软件(如剪映)进行音量调整,将最大音量设置为-9dB到-6dB,过高的音量应予以删除。
打开WebUI后,首先输入原音频的文件夹路径。接下来,可以调整以下建议参数:
- min_length:根据显存大小调整,显存越小,值调得越小。
- min_interval:根据音频的平均间隔进行调整。如果音频过于密集,可以适当降低该值。
- max_sil_kept:此参数会影响句子的连贯性,不同音频需不同调整。如果不确定,建议保持默认值。
点击“开启语音切割”,切割过程将立即完成,默认输出路径为 output/slicer_opt。这样,您就能快速获得处理后的音频片段。
打开切分文件夹,将时长超过“显存数”秒的音频手动切分至该时长以下。例如,如果显卡显存为10GB,建议将超过10秒的音频切分至10秒以下,或者直接删除(稍微超出一点的可以不处理)。过长的音频可能会导致显存爆满。
如果经过语音切割后仍然是一个文件,说明音频过于密集,可以尝试调低min_interval参数以获得更好的切割效果。这样可以确保音频文件在处理时不会超出显存限制。
3.音频降噪
如果原音频足够干净,比如从游戏中提取的干声,可以跳过这一步。输入刚才切割完成音频的文件夹路径,默认为 output/slicer_opt,然后点击“开启语音降噪”。处理完成后,降噪后的音频将默认输出到 output/denoise_opt 目录。这样,您就可以轻松获得清晰的音频文件。
4.打标并校对
只需输入刚才的切分文件夹路径,如果音频经过降噪处理,默认输出路径为 output/denoise_opt;如果没有降噪,则为 output/slicer_opt。
接下来,选择达摩ASR或Fast Whisper,然后点击“开启离线批量ASR”。默认输出路径为 output/asr_opt。请注意,这一步可能需要等待一段时间,因为系统需要下载相应的模型。
- 达摩ASR:专用于中文识别,效果最佳。
- Fast Whisper:支持99种语言,尤其在英语和日语的识别方面表现突出。建议选择large V3模型,语种选择自动(auto)即可。
需要注意的是,由于识别出的文本可能不够准确,建议进行人工校对标注(这一步较耗时间,如果不追求极致效果可以选择跳过)。这里我只是为了演示流程,所以此步骤可以略过。
4.2 微调训练
1. 数据集格式化
在1-GPT-SOVITS-TTS选项卡中,填写以下信息:
- 实验/模型名:输入实验名称,确保不要使用中文。
- 文本标注文件:选择您的标注文件。
- 训练集音频文件目录:指定音频数据集的文件夹路径。
确保所有路径和文件名正确无误,以便顺利进行后续操作。
填写完成后,您可以选择逐个点击下面的三个按钮,等待每个操作执行结束后再点击下一个。如果遇到报错,请查看后台日志,有些报错只需重试即可解决。
另外,您也可以直接使用“开启一键三连”按钮,一键完成这三步操作,节省时间和精力。
2.训练微调模型
选择 1B-微调训练 子选项卡,配置 batch_size 等参数。然后依次点击 开启 SoVITS 训练 和 开启 GPT 训练。请注意,这两个训练任务不能同时进行(除非您有两张显卡)。如果训练过程中中断,您可以直接再点击开始训练,系统会从最近的保存点继续。
对于 SoVITS 训练,建议将 batch_size 设置为显存的一半以下。过高的设置可能导致显存爆满,并不是越高就越快。您需要根据数据集的大小进行调整,而不是严格按照显存的一半来设置。如果出现显存不足的情况,请适当降低 batch_size。以下是针对切片长度为10秒时,不同显存下 SoVITS 训练的最大 batch_size 的实测值供您参考;如果切片更长或数据集更大,则需要适当减少。
接下来,设置训练轮数。SoVITS 模型的轮数可以设置得高一些,因为训练速度较快。而对于 GPT 模型,通常建议设置轮数为10,不要超过20,以确保训练效率和模型性能的平衡。
4.3 推理
1.开启推理服务
选择 1C-推理 子选项卡,配置模型路径(如果模型没有显示出来,可以点击右侧的按钮进行刷新)。然后,点击 开启 TTS 推理 WEBUI 按钮以打开推理页面。在推理页面中,您可以输入文本并生成语音,体验模型的效果。
稍等片刻后,打开浏览器访问 http://localhost:9872。
2.语音克隆推理
在推理页面中,第一步选择所需的模型。第二步上传参考语音和文本(建议时长在5秒到10秒之间,参考音频非常重要,它会影响模型学习语速和语气,请认真选择)。第三步输入您希望用于语音克隆的文本,准备开始生成语音。
5.总结
GPT-SoVITS是一款开源语音合成框架,结合了生成对抗网络和变分推理技术,能够实现高质量的文本到语音转换。该框架支持多种功能,包括模型微调、语音克隆和多语言处理,用户可以通过友好的Web界面轻松操作。GPT-SoVITS尤其适合于生成自然流畅的语音,广泛应用于游戏、影视配音和语音助手等领域。
6.结束语
这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!
另外,博主出新书了《深入理解Hive》、同时已出版的《Kafka并不难学》和《Hadoop大数据挖掘从入门到进阶实战》也可以和新书配套使用,喜欢的朋友或同学, 可以在公告栏那里点击购买链接购买博主的书进行学习,在此感谢大家的支持。关注下面公众号,根据提示,可免费获取书籍的教学视频。
没有回复内容