GPT-SoVITS-WebUI

GPT-SoVITS-WebUI官網(wǎng)

強(qiáng)大的少樣本語音轉(zhuǎn)換與語音合成Web用戶界面。

網(wǎng)站服務(wù)：AI學(xué)習(xí)網(wǎng)站，AI音頻工具，AI學(xué)習(xí)網(wǎng)站，AI音頻工具，GPT-SoVITS-WebUI，AI之旅AI導(dǎo)航。

GPT-SoVITS-WebUI簡(jiǎn)介

1 min voice data can also be used to train a good TTS model! (few shot voice cloning) – RVC-Boss/GPT-SoVITS

功能：

零樣本文本到語音（TTS）：?輸入 5 秒的聲音樣本，即刻體驗(yàn)文本到語音轉(zhuǎn)換。

少樣本 TTS：?僅需 1 分鐘的訓(xùn)練數(shù)據(jù)即可微調(diào)模型，提升聲音相似度和真實(shí)感。

跨語言支持：?支持與訓(xùn)練數(shù)據(jù)集不同語言的推理，目前支持英語、日語和中文。

WebUI 工具：?集成工具包括聲音伴奏分離、自動(dòng)訓(xùn)練集分割、中文自動(dòng)語音識(shí)別(ASR)和文本標(biāo)注，協(xié)助初學(xué)者創(chuàng)建訓(xùn)練數(shù)據(jù)集和 GPT/SoVITS 模型。

安裝

中國(guó)地區(qū)用戶可點(diǎn)擊此處使用 AutoDL 云端鏡像進(jìn)行體驗(yàn)。

測(cè)試通過的環(huán)境

Python 3.9，PyTorch 2.0.1，CUDA 11
Python 3.10.13，PyTorch 2.1.2，CUDA 12.3
Python 3.9，Pytorch 2.2.2，macOS 14.4.1（Apple 芯片）
Python 3.9，PyTorch 2.2.2，CPU 設(shè)備

注: numba==0.56.4 需要 python<3.11

Windows

如果你是 Windows 用戶（已在 win>=10 上測(cè)試），可以下載下載整合包，解壓后雙擊 go-webui.bat 即可啟動(dòng) GPT-SoVITS-WebUI。

中國(guó)地區(qū)用戶可以通過點(diǎn)擊鏈接并選擇“下載副本”下載整合包。（如果下載時(shí)遇到錯(cuò)誤，請(qǐng)退出登錄）

Linux

conda create -n GPTSoVits python=3.9
conda activate GPTSoVits
bash install.sh

macOS

注：在 Mac 上使用 GPU 訓(xùn)練的模型效果顯著低于其他設(shè)備訓(xùn)練的模型，所以我們暫時(shí)使用 CPU 進(jìn)行訓(xùn)練。

運(yùn)行?xcode-select --install?安裝 Xcode command-line tools。
運(yùn)行?brew install ffmpeg?安裝 FFmpeg。
完成上述步驟后，運(yùn)行以下的命令來安裝本項(xiàng)目：

conda create -n GPTSoVits python=3.9
conda activate GPTSoVits

pip install -r requirements.txt

手動(dòng)安裝

安裝依賴

pip install -r requirements.txt

安裝 FFmpeg

Conda 用戶

conda install ffmpeg

Ubuntu/Debian 用戶

sudo apt install ffmpeg
sudo apt install libsox-dev
conda install -c conda-forge 'ffmpeg<7'

Windows 用戶

下載并將?ffmpeg.exe?和?ffprobe.exe?放置在 GPT-SoVITS 根目錄下。

Mac 用戶

brew install ffmpeg

在 Docker 中使用

docker-compose.yaml 設(shè)置

image 的標(biāo)簽：由于代碼庫(kù)更新很快，鏡像的打包和測(cè)試又很慢，所以請(qǐng)自行在?Docker Hub?查看當(dāng)前打包好的最新的鏡像并根據(jù)自己的情況選用，或者在本地根據(jù)您自己的需求通過 Dockerfile 進(jìn)行構(gòu)建。
環(huán)境變量：

is_half: 半精度/雙精度控制。在進(jìn)行 “SSL extracting” 步驟時(shí)如果無確生成 4-cnhubert/5-wav32k 目錄下的內(nèi)容時(shí)，一般都是它引起的，可以根據(jù)實(shí)際情況來調(diào)整為 True 或者 False。

Volume 設(shè)置，容器內(nèi)的應(yīng)用根目錄設(shè)置為 /workspace。 默認(rèn)的 docker-compose.yaml 中列出了一些實(shí)際的例子，便于上傳/下載內(nèi)容。
shm_size：Windows 下的 Docker Desktop 默認(rèn)可用內(nèi)存過小，會(huì)導(dǎo)致運(yùn)行異常，根據(jù)自己情況酌情設(shè)置。
deploy 小節(jié)下的 gpu 相關(guān)內(nèi)容，請(qǐng)根據(jù)您的系統(tǒng)和實(shí)際情況酌情設(shè)置。

通過 docker compose 運(yùn)行

docker compose -f "docker-compose.yaml" up -d

通過 docker 命令運(yùn)行

同上，根據(jù)您自己的實(shí)際情況修改對(duì)應(yīng)的參數(shù)，然后運(yùn)行如下命令：

docker run --rm -it --gpus=all --env=is_half=False --volume=G:\GPT-SoVITS-DockerTest\output:/workspace/output --volume=G:\GPT-SoVITS-DockerTest\logs:/workspace/logs --volume=G:\GPT-SoVITS-DockerTest\SoVITS_weights:/workspace/SoVITS_weights --workdir=/workspace -p 9880:9880 -p 9871:9871 -p 9872:9872 -p 9873:9873 -p 9874:9874 --shm-size="16G" -d breakstring/gpt-sovits:xxxxx

預(yù)訓(xùn)練模型

從?GPT-SoVITS Models?下載預(yù)訓(xùn)練模型，并將它們放置在?GPT_SoVITS\pretrained_models?中。

對(duì)于 UVR5（人聲/伴奏分離和混響移除，附加），從?UVR5 Weights?下載模型，并將它們放置在?tools/uvr5/uvr5_weights?中。

中國(guó)地區(qū)用戶可以進(jìn)入以下鏈接并點(diǎn)擊“下載副本”下載以上兩個(gè)模型（如果下載時(shí)遇到錯(cuò)誤，請(qǐng)退出登錄）：

GPT-SoVITS Models

UVR5 Weights

對(duì)于中文自動(dòng)語音識(shí)別（附加），從?Damo ASR Model，?Damo VAD Model， 和?Damo Punc Model?下載模型，并將它們放置在?tools/asr/models?中。

對(duì)于英語與日語自動(dòng)語音識(shí)別（附加），從?Faster Whisper Large V3?下載模型，并將它們放置在?tools/asr/models?中。 此外，其他模型可能具有類似效果，但占用更小的磁盤空間。

中國(guó)地區(qū)用戶可以通過以下鏈接下載：

Faster Whisper Large V3（點(diǎn)擊“下載副本”，如果下載時(shí)遇到錯(cuò)誤，請(qǐng)退出登錄）

Faster Whisper Large V3(Hugging Face鏡像站)

數(shù)據(jù)集格式

文本到語音（TTS）注釋 .list 文件格式：

vocal_path|speaker_name|language|text

語言字典：

‘zh’: Chinese
‘ja’: Japanese
‘en’: English

示例：

D:\GPT-SoVITS\xxx/xxx.wav|xxx|en|I like playing Genshin.

GPT-SoVITS-WebUI官網(wǎng)入口網(wǎng)址

https://github.com/RVC-Boss/GPT-SoVITS/

OpenI小編發(fā)現(xiàn)GPT-SoVITS-WebUI網(wǎng)站非常受用戶歡迎，請(qǐng)?jiān)L問GPT-SoVITS-WebUI網(wǎng)址入口試用。