據(jù)訓練 RVC 變聲模型：從裝環(huán)境到跑通實時推理)
10 分鐘語音數(shù)據(jù)訓練 RVC 變聲模型從裝環(huán)境到跑通實時推理【免費下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI先給你看個結(jié)果一段不到 10 分鐘的干聲喂給 RVCRetrieval-based-Voice-Conversion-WebUI一個基于 VITS 的開源 AI 變聲與音色克隆框架就能得到一個可以直接上實時推理的音色模型。不用棚錄、不用小時級數(shù)據(jù)集裝好環(huán)境、拉下預訓練權重、跑一次infer-web.py整條鏈路就可以走通。這篇文章帶你完成裝環(huán)境 → 拉模型 → 跑通推理的最小路徑再把背后的原理和可調(diào)參數(shù)的杠桿講清楚。能力清單RVC 能替你做哪些事能力你實際得到的東西音色克隆10 分鐘以內(nèi)語料即可訓出目標音色保留韻律與情感表達實時變聲端到端約 170ms 延遲換用 ASIO 聲卡可壓到 90ms 左右批量轉(zhuǎn)換命令行一次性處理整目錄音頻適合離線生產(chǎn)人聲分離內(nèi)置 UVR5 模型從伴奏里拆出干聲作為訓練料多語言界面i18n 語言包覆蓋中、英、日、韓等 12 種語言ONNX 部署模型可導出為 onnx脫離 PyTorch 運行時檢索式音色控制索引文件 檢索混合度在相似度和自然度之間找平衡一句話克隆、實時、批量、部署四件事它都覆蓋且全部開源免費。上手三連裝環(huán)境、拉模型、跑第一次推理裝環(huán)境NVIDIA 顯卡主線方案git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI pip install torch torchvision torchaudio pip install -r requirements.txtAMD / Intel 核顯DirectML 路線pip install -r requirements-dml.txtmacOS倉庫自帶腳本會自動建虛擬環(huán)境、裝依賴并拉模型sh ./run.sh拉模型RVC 依賴一批預訓練權重hubert 特征提取器、rmvpe 基頻提取器、各采樣率的 v1/v2 底模、UVR5 人聲分離模型。不用手動找文件一條命令下到正確目錄python tools/download_models.py邏輯見 tools/download_models.py它會把 32k/40k/48k 三檔采樣率的 G/D 權重分別放進assets/pretrained和assets/pretrained_v2。跑通第一次推理Web 界面是最短路徑啟動后瀏覽器訪問http://localhost:7865python infer-web.py在界面里選一個底模、選一條音頻、指定 F0 提取算法默認 harvest點推理即可出結(jié)果。純命令行用戶可以直接用 tools/infer_cli.py參數(shù)有輸入路徑、模型名、F0 方法、檢索混合度等。它是怎么做到的RVC 的生成端是 VITS 架構(gòu)輸入語音先過內(nèi)容編碼器再結(jié)合基頻F0信息由合成網(wǎng)絡生成波形。整個管線是源音頻 → 特征提取hubert→ 檢索匹配top1→ F0 提取rmvpe/harvest→ VITS 合成 → 輸出關鍵在第二步的top1 檢索訓練時會為訓練集構(gòu)建聲學特征索引推理時源音頻對應的每一段特征都會去索引里檢索并用最接近的那一條top1替換掉原始特征再交給 VITS 合成。因為輸入模型的特征已經(jīng)被洗成訓練集里的內(nèi)容源說話人的音色痕跡在入口處就被切斷了——這就是它叫檢索式變聲的原因也是音色泄漏少的主要來源。訓練側(cè)同樣受益模型只見過目標音色的特征分布學習壓力小所以 10 分鐘量級的數(shù)據(jù)就夠用。把效果調(diào)好的幾個杠桿想讓音色更像本人 → 把數(shù)據(jù)做干凈時長湊夠 10 分鐘盡量同一設備、同一錄音環(huán)境錄覆蓋不同語速、音調(diào)、情緒避免清一色平淡敘述混響、底噪、背景人聲是頭號殺手必要時先過一遍 UVR5 分離再切段。想讓音質(zhì)和訓練速度平衡 → 動訓練參數(shù)訓練超參數(shù)集中在 configs/config.py配套的采樣率檔位配置在 configs/ 下v1/v2 各有 32k、40k、48k 的 json。常見做法顯存緊張就降 batch size想要更干凈的高頻就上 48k 底模訓練輪數(shù)不必一次拉滿先跑幾十輪聽一版再決定加不加。想微調(diào)像不像 vs 自然度 → 用檢索混合度推理時的index_rate控制檢索特征的混入比例調(diào)高更貼目標音色但可能發(fā)悶調(diào)低更自然但音色漂移。索引本身可以用 tools/infer/train-index.pyv1或 tools/infer/train-index-v2.pyv2重新訓練把不同來源的特征融合進同一個索引做出混合音色。想讓實時更跟手 → 換聲卡接口默認走系統(tǒng)音頻端到端約 170msWindows 上換 ASIO 設備能壓到 90ms 量級。實時入口在 go-realtime-gui.batDirectML 用戶用go-realtime-gui-dml.bat底層是 gui_v1.py。想讓訓練料更純 → 人聲分離前置tools/ 下的應用與 infer/modules/uvr5/ 里的 UVR5 模塊配合可以先把原曲拆成人聲 伴奏拿干聲去做切片和訓練。繞不開的坑坑一訓練特別慢顯卡吃不滿?，F(xiàn)象是利用率忽高忽低。先自查 CUDA / cuDNN 與 PyTorch 版本是否匹配仍不行就把 batch size 調(diào)小或打開混合精度配置里is_half。倉庫還帶了 tools/torchgate/ 用于在不同后端間切換可用來驗證是框架層還是數(shù)據(jù)層的問題?？佣鰜淼穆曇舭l(fā)悶、有電音。多半是數(shù)據(jù)問題而非模型問題。自查順序聽訓練集里最差的一段 → 確認有無聲紋殘留底噪、混響→ 換一個底?；?F0 提取算法harvest / rmvpe再跑一版。坑三顯存爆掉?，F(xiàn)象是 OOM 后進程被殺。處理降 batch size、用 32k 檔采樣率顯存占用低于 48k、必要時上梯度累積。數(shù)據(jù)切片別切太長3~8 秒一段比較穩(wěn)。把能力接進你自己的項目RVC 不只是個 Web 工具它留了三個出口ONNX 部署tools/export_onnx.py 把訓好的模型導出為 onnxfp32輸入 phone/pitch/ds 等張量tools/onnx_inference_demo.py 展示脫離 PyTorch 的推理寫法模型結(jié)構(gòu)見 infer/lib/infer_pack/models_onnx.py。適合嵌進 C 客戶端或移動端。批量推理 CLItools/infer_cli.py 和 tools/infer_batch_rvc.py 支持整目錄批處理參數(shù)F0 方法、檢索混合度、保護閾值等都能從命令行傳適合寫進 CI 或生產(chǎn)腳本。多語言界面界面文案全部走 i18n/ 下的語言包zh_CN、en_US、ja_JP、ko_KR 等 12 種你要給團隊做多語言客戶端可以直接復用這套文案結(jié)構(gòu)。對外 HTTP 服務另有 api_240604.py 這樣的接口腳本可參考。代碼地圖Retrieval-based-Voice-Conversion-WebUI/ ├── infer/ # 核心訓練 推理 │ ├── lib/infer_pack/ # 推理模型與組件VITS 模塊、F0 預測器、ONNX 結(jié)構(gòu) │ ├── lib/jit/ # hubert / rmvpe / synthesizer 的 JIT 封裝 │ ├── modules/train/ # 訓練主流程、F0 與特征提取 │ ├── modules/vc/ # 推理管線與工具函數(shù) │ └── modules/uvr5/ # 人聲分離 ├── configs/ # config.py v1/v2 各采樣率 json ├── tools/ # 下載、導出、CLI 推理、索引訓練等腳本 ├── i18n/ # 12 種語言語言包 ├── assets/ # 權重落盤目錄pretrained / pretrained_v2 / hubert ... └── docs/ # 多語言文檔含 faiss 檢索、訓練技巧按用途速查想找什么去哪模型超參數(shù)configs/config.py推理核心模型infer/lib/infer_pack/訓練入口infer/modules/train/train.py實時變聲 GUIgo-realtime-gui.bat / gui_v1.pyWeb 入口infer-web.py訓練技巧文檔docs/en/training_tips_en.md說明本文基于只讀倉庫撰寫未對任何文件做修改。下一步方向很清晰先把 10 分鐘數(shù)據(jù)訓出第一版模型聽個大概再用檢索混合度和索引迭代去逼近想要的音色最后按場景選擇 Web、CLI 批量或 ONNX 嵌入?，F(xiàn)在就做一件事——按上面的命令克隆倉庫、裝依賴、跑python tools/download_models.py半小時內(nèi)你就能聽到自己合成的第一條聲音?！久赓M下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 10 分鐘語音數(shù)據(jù)訓練 RVC 變聲模型：從裝環(huán)境到跑通實時推理
10 分鐘語音數(shù)據(jù)訓練 RVC 變聲模型從裝環(huán)境到跑通實時推理【免費下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI先給你看個結(jié)果一段不到 10 分鐘的干聲喂給 RVCRetrieval-based-Voice-Conversion-WebUI一個基于 VITS 的開源 AI 變聲與音色克隆框架就能得到一個可以直接上實時推理的音色模型。不用棚錄、不用小時級數(shù)據(jù)集裝好環(huán)境、拉下預訓練權重、跑一次infer-web.py整條鏈路就可以走通。這篇文章帶你完成裝環(huán)境 → 拉模型 → 跑通推理的最小路徑再把背后的原理和可調(diào)參數(shù)的杠桿講清楚。能力清單RVC 能替你做哪些事能力你實際得到的東西音色克隆10 分鐘以內(nèi)語料即可訓出目標音色保留韻律與情感表達實時變聲端到端約 170ms 延遲換用 ASIO 聲卡可壓到 90ms 左右批量轉(zhuǎn)換命令行一次性處理整目錄音頻適合離線生產(chǎn)人聲分離內(nèi)置 UVR5 模型從伴奏里拆出干聲作為訓練料多語言界面i18n 語言包覆蓋中、英、日、韓等 12 種語言ONNX 部署模型可導出為 onnx脫離 PyTorch 運行時檢索式音色控制索引文件 檢索混合度在相似度和自然度之間找平衡一句話克隆、實時、批量、部署四件事它都覆蓋且全部開源免費。上手三連裝環(huán)境、拉模型、跑第一次推理裝環(huán)境NVIDIA 顯卡主線方案git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI pip install torch torchvision torchaudio pip install -r requirements.txtAMD / Intel 核顯DirectML 路線pip install -r requirements-dml.txtmacOS倉庫自帶腳本會自動建虛擬環(huán)境、裝依賴并拉模型sh ./run.sh拉模型RVC 依賴一批預訓練權重hubert 特征提取器、rmvpe 基頻提取器、各采樣率的 v1/v2 底模、UVR5 人聲分離模型。不用手動找文件一條命令下到正確目錄python tools/download_models.py邏輯見 tools/download_models.py它會把 32k/40k/48k 三檔采樣率的 G/D 權重分別放進assets/pretrained和assets/pretrained_v2。跑通第一次推理Web 界面是最短路徑啟動后瀏覽器訪問http://localhost:7865python infer-web.py在界面里選一個底模、選一條音頻、指定 F0 提取算法默認 harvest點推理即可出結(jié)果。純命令行用戶可以直接用 tools/infer_cli.py參數(shù)有輸入路徑、模型名、F0 方法、檢索混合度等。它是怎么做到的RVC 的生成端是 VITS 架構(gòu)輸入語音先過內(nèi)容編碼器再結(jié)合基頻F0信息由合成網(wǎng)絡生成波形。整個管線是源音頻 → 特征提取hubert→ 檢索匹配top1→ F0 提取rmvpe/harvest→ VITS 合成 → 輸出關鍵在第二步的top1 檢索訓練時會為訓練集構(gòu)建聲學特征索引推理時源音頻對應的每一段特征都會去索引里檢索并用最接近的那一條top1替換掉原始特征再交給 VITS 合成。因為輸入模型的特征已經(jīng)被洗成訓練集里的內(nèi)容源說話人的音色痕跡在入口處就被切斷了——這就是它叫檢索式變聲的原因也是音色泄漏少的主要來源。訓練側(cè)同樣受益模型只見過目標音色的特征分布學習壓力小所以 10 分鐘量級的數(shù)據(jù)就夠用。把效果調(diào)好的幾個杠桿想讓音色更像本人 → 把數(shù)據(jù)做干凈時長湊夠 10 分鐘盡量同一設備、同一錄音環(huán)境錄覆蓋不同語速、音調(diào)、情緒避免清一色平淡敘述混響、底噪、背景人聲是頭號殺手必要時先過一遍 UVR5 分離再切段。想讓音質(zhì)和訓練速度平衡 → 動訓練參數(shù)訓練超參數(shù)集中在 configs/config.py配套的采樣率檔位配置在 configs/ 下v1/v2 各有 32k、40k、48k 的 json。常見做法顯存緊張就降 batch size想要更干凈的高頻就上 48k 底模訓練輪數(shù)不必一次拉滿先跑幾十輪聽一版再決定加不加。想微調(diào)像不像 vs 自然度 → 用檢索混合度推理時的index_rate控制檢索特征的混入比例調(diào)高更貼目標音色但可能發(fā)悶調(diào)低更自然但音色漂移。索引本身可以用 tools/infer/train-index.pyv1或 tools/infer/train-index-v2.pyv2重新訓練把不同來源的特征融合進同一個索引做出混合音色。想讓實時更跟手 → 換聲卡接口默認走系統(tǒng)音頻端到端約 170msWindows 上換 ASIO 設備能壓到 90ms 量級。實時入口在 go-realtime-gui.batDirectML 用戶用go-realtime-gui-dml.bat底層是 gui_v1.py。想讓訓練料更純 → 人聲分離前置tools/ 下的應用與 infer/modules/uvr5/ 里的 UVR5 模塊配合可以先把原曲拆成人聲 伴奏拿干聲去做切片和訓練。繞不開的坑坑一訓練特別慢顯卡吃不滿?，F(xiàn)象是利用率忽高忽低。先自查 CUDA / cuDNN 與 PyTorch 版本是否匹配仍不行就把 batch size 調(diào)小或打開混合精度配置里is_half。倉庫還帶了 tools/torchgate/ 用于在不同后端間切換可用來驗證是框架層還是數(shù)據(jù)層的問題?？佣鰜淼穆曇舭l(fā)悶、有電音。多半是數(shù)據(jù)問題而非模型問題。自查順序聽訓練集里最差的一段 → 確認有無聲紋殘留底噪、混響→ 換一個底?；?F0 提取算法harvest / rmvpe再跑一版。坑三顯存爆掉?，F(xiàn)象是 OOM 后進程被殺。處理降 batch size、用 32k 檔采樣率顯存占用低于 48k、必要時上梯度累積。數(shù)據(jù)切片別切太長3~8 秒一段比較穩(wěn)。把能力接進你自己的項目RVC 不只是個 Web 工具它留了三個出口ONNX 部署tools/export_onnx.py 把訓好的模型導出為 onnxfp32輸入 phone/pitch/ds 等張量tools/onnx_inference_demo.py 展示脫離 PyTorch 的推理寫法模型結(jié)構(gòu)見 infer/lib/infer_pack/models_onnx.py。適合嵌進 C 客戶端或移動端。批量推理 CLItools/infer_cli.py 和 tools/infer_batch_rvc.py 支持整目錄批處理參數(shù)F0 方法、檢索混合度、保護閾值等都能從命令行傳適合寫進 CI 或生產(chǎn)腳本。多語言界面界面文案全部走 i18n/ 下的語言包zh_CN、en_US、ja_JP、ko_KR 等 12 種你要給團隊做多語言客戶端可以直接復用這套文案結(jié)構(gòu)。對外 HTTP 服務另有 api_240604.py 這樣的接口腳本可參考。代碼地圖Retrieval-based-Voice-Conversion-WebUI/ ├── infer/ # 核心訓練 推理 │ ├── lib/infer_pack/ # 推理模型與組件VITS 模塊、F0 預測器、ONNX 結(jié)構(gòu) │ ├── lib/jit/ # hubert / rmvpe / synthesizer 的 JIT 封裝 │ ├── modules/train/ # 訓練主流程、F0 與特征提取 │ ├── modules/vc/ # 推理管線與工具函數(shù) │ └── modules/uvr5/ # 人聲分離 ├── configs/ # config.py v1/v2 各采樣率 json ├── tools/ # 下載、導出、CLI 推理、索引訓練等腳本 ├── i18n/ # 12 種語言語言包 ├── assets/ # 權重落盤目錄pretrained / pretrained_v2 / hubert ... └── docs/ # 多語言文檔含 faiss 檢索、訓練技巧按用途速查想找什么去哪模型超參數(shù)configs/config.py推理核心模型infer/lib/infer_pack/訓練入口infer/modules/train/train.py實時變聲 GUIgo-realtime-gui.bat / gui_v1.pyWeb 入口infer-web.py訓練技巧文檔docs/en/training_tips_en.md說明本文基于只讀倉庫撰寫未對任何文件做修改。下一步方向很清晰先把 10 分鐘數(shù)據(jù)訓出第一版模型聽個大概再用檢索混合度和索引迭代去逼近想要的音色最后按場景選擇 Web、CLI 批量或 ONNX 嵌入?，F(xiàn)在就做一件事——按上面的命令克隆倉庫、裝依賴、跑python tools/download_models.py半小時內(nèi)你就能聽到自己合成的第一條聲音?！久赓M下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考