mirror of
https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI.git
synced 2026-08-29 10:09:32 +02:00
240 lines
11 KiB
Markdown
240 lines
11 KiB
Markdown
<div align="center">
|
||
|
||
<h1>Retrieval-based-Voice-Conversion-WebUI</h1>
|
||
シンプルで使いやすい声質変換／ボイスチェンジャーフレームワーク。<br><br>
|
||
|
||
[](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI)
|
||
|
||
<img src="https://counter.seku.su/cmoe?name=rvc&theme=r34" /><br>
|
||
|
||
[](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/blob/main/LICENSE)
|
||
[](https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main/)
|
||
|
||
|
||
[**更新日誌**](./Changelog_JA.md) | [**よくある質問**](./faq_ja.md) | [**AutoDL·5 円で AI 歌手をトレーニング**](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/wiki/Autodl%E8%AE%AD%E7%BB%83RVC%C2%B7AI%E6%AD%8C%E6%89%8B%E6%95%99%E7%A8%8B) | [**対照実験記録**](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/wiki/%E5%AF%B9%E7%85%A7%E5%AE%9E%E9%AA%8C%C2%B7%E5%AE%9E%E9%AA%8C%E8%AE%B0%E5%BD%95) | [**オンラインデモ**](https://modelscope.cn/studios/FlowerCry/RVCv2demo)
|
||
|
||
[**English**](../en/README.en.md) | [**中文简体**](../../README.md) | [**日本語**](../jp/README.ja.md) | [**한국어**](../kr/README.ko.md) ([**韓國語**](../kr/README.ko.han.md)) | [**Français**](../fr/README.fr.md) | [**Türkçe**](../tr/README.tr.md) | [**Português**](../pt/README.pt.md)
|
||
|
||
</div>
|
||
|
||
> デモ動画は[こちら](https://www.bilibili.com/video/BV1pm4y1z7Gm/)でご覧ください。
|
||
|
||
> RVC によるリアルタイム音声変換: [w-okada/voice-changer](https://github.com/w-okada/voice-changer)
|
||
|
||
> 著作権侵害を心配することなく使用できるように、基底モデルは約 50 時間の高品質なオープンソースデータセットで訓練されています。
|
||
|
||
> RVCv3 の基底モデルルをご期待ください。より大きなパラメータ、より大きなデータ、より良い効果を提供し、基本的に同様の推論速度を維持しながら、トレーニングに必要なデータ量はより少なくなります。
|
||
|
||
<table>
|
||
<tr>
|
||
<td align="center">トレーニングと推論インターフェース</td>
|
||
<td align="center">リアルタイム音声変換インターフェース</td>
|
||
</tr>
|
||
<tr>
|
||
<td align="center"><img src="https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/assets/129054828/092e5c12-0d49-4168-a590-0b0ef6a4f630"></td>
|
||
<td align="center"><img src="https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/assets/129054828/730b4114-8805-44a1-ab1a-04668f3c30a6"></td>
|
||
</tr>
|
||
<tr>
|
||
<td align="center">go-webui.bat</td>
|
||
<td align="center">go-realtime_gui.bat</td>
|
||
</tr>
|
||
<tr>
|
||
<td align="center">実行したい操作を自由に選択できます。</td>
|
||
<td align="center">既に端から端までの170msの遅延を実現しました。ASIO入出力デバイスを使用すれば、端から端までの90msの遅延を達成できますが、ハードウェアドライバーのサポートに非常に依存しています。</td>
|
||
</tr>
|
||
</table>
|
||
|
||
## はじめに
|
||
|
||
本リポジトリには下記の特徴があります。
|
||
|
||
- Top1 検索を用いることで、生の特徴量を訓練用データセット特徴量に変換し、トーンリーケージを削減します。
|
||
- 比較的貧弱な GPU でも、高速かつ簡単に訓練できます。
|
||
- 少量のデータセットからでも、比較的良い結果を得ることができます。（10 分以上のノイズの少ない音声を推奨します。）
|
||
- モデルを融合することで、音声を混ぜることができます。（ckpt processing タブの、ckpt merge を使用します。）
|
||
- 使いやすい WebUI。
|
||
- UVR5 Model も含んでいるため、人の声と BGM を素早く分離できます。
|
||
- 最先端の[人間の声のピッチ抽出アルゴリズム InterSpeech2023-RMVPE](#参照プロジェクト)を使用して無声音問題を解決します。効果は最高（著しく）で、crepe_full よりも速く、リソース使用が少ないです。
|
||
- A カードと I カードの加速サポート
|
||
|
||
私たちの[デモビデオ](https://www.bilibili.com/video/BV1pm4y1z7Gm/)をチェックしてください！
|
||
|
||
## 環境構築
|
||
|
||
このブランチは **Python 3.12 x64** を対象としています。すべてのコマンドはリポジトリのルートで実行してください。Ubuntu 24.04 x86_64 を推奨します。
|
||
|
||
### Ubuntu 24.04
|
||
|
||
```bash
|
||
sudo apt update
|
||
sudo apt install -y python3.12 python3.12-venv python3.12-dev ffmpeg unzip libsndfile1 libportaudio2
|
||
|
||
python3.12 -m venv .venv
|
||
source .venv/bin/activate
|
||
python -m pip install --upgrade pip setuptools wheel
|
||
```
|
||
|
||
### Windows
|
||
|
||
Python 3.12 x64 をインストールし、仮想環境を作成します。
|
||
|
||
```powershell
|
||
py -3.12 -m venv .venv
|
||
.venv\Scripts\activate
|
||
python -m pip install --upgrade pip setuptools wheel
|
||
```
|
||
|
||
### ハードウェア別の依存関係
|
||
|
||
| ハードウェア | インストール方法 |
|
||
| --- | --- |
|
||
| CPU、AMD、Intel | `requirments_cpu_py312.txt` を使用。Windows は DirectML、Linux は CPU を使用 |
|
||
| NVIDIA RTX 50 シリーズ | CUDA 12.8 版 Torch を先にインストールし、その後 `requirments_cu128_py312.txt` |
|
||
| RTX 50 シリーズより前の NVIDIA | CUDA 11.8 版 Torch を先にインストールし、その後 `requirments_cu118_py312.txt` |
|
||
|
||
#### CPU、AMD、Intel
|
||
|
||
```bash
|
||
python -m pip install -r requirments_cpu_py312.txt
|
||
```
|
||
|
||
#### NVIDIA RTX 50 シリーズ：2 段階
|
||
|
||
```bash
|
||
python -m pip install torch==2.7.1+cu128 torchaudio==2.7.1+cu128 \
|
||
--index-url https://download.pytorch.org/whl/cu128 \
|
||
--extra-index-url https://pypi.org/simple
|
||
python -m pip install -r requirments_cu128_py312.txt
|
||
```
|
||
|
||
#### RTX 50 シリーズより前の NVIDIA：2 段階
|
||
|
||
```bash
|
||
python -m pip install torch==2.7.1+cu118 torchaudio==2.7.1+cu118 \
|
||
--index-url https://download.pytorch.org/whl/cu118 \
|
||
--extra-index-url https://pypi.org/simple
|
||
python -m pip install -r requirments_cu118_py312.txt
|
||
```
|
||
|
||
Torch と CUDA を確認します。
|
||
|
||
```bash
|
||
python -c "import torch; print('torch:', torch.__version__); print('cuda:', torch.version.cuda); print('cuda available:', torch.cuda.is_available())"
|
||
```
|
||
|
||
アプリは NVIDIA GPU のメモリと計算能力も確認します。約 4 GiB 未満、または SM 5.3 未満の場合は CPU を使用します。
|
||
|
||
### パッケージのダウンロード元
|
||
|
||
3 つの `requirments_*.txt` の先頭にダウンロード元があります。公式の配布元を使用する場合は `--index-url` と `--extra-index-url` だけを置き換え、バージョン、CUDA 接尾辞、2 段階の順序は維持してください。
|
||
|
||
| Default mirror | Official source |
|
||
| --- | --- |
|
||
| `https://mirrors.pku.edu.cn/pypi/simple` | `https://pypi.org/simple` |
|
||
| `https://mirrors.nju.edu.cn/pytorch/whl/cpu` | `https://download.pytorch.org/whl/cpu` |
|
||
| `https://mirrors.nju.edu.cn/pytorch/whl/cu118` | `https://download.pytorch.org/whl/cu118` |
|
||
| `https://mirrors.nju.edu.cn/pytorch/whl/cu128` | `https://download.pytorch.org/whl/cu128` |
|
||
|
||
## モデルと実行ディレクトリ
|
||
|
||
WebUI は実行ディレクトリを自動作成します。[Hugging Face モデルリポジトリ](https://huggingface.co/lj1995/VoiceConversionWebUI/tree/main)からモデルをダウンロードし、次の構成を維持してください。
|
||
|
||
```text
|
||
assets/
|
||
├── hubert_base/
|
||
│ ├── config.json
|
||
│ ├── preprocessor_config.json
|
||
│ └── pytorch_model.bin
|
||
├── rmvpe/rmvpe.pt
|
||
├── pretrained/
|
||
├── pretrained_v2/
|
||
├── uvr5_weights/
|
||
├── weights/ # user RVC .pth models
|
||
└── indices/ # user .index files
|
||
logs/
|
||
└── mute/ # training silence samples
|
||
|
||
# Exact paths used by the code
|
||
assets/hubert_base/config.json
|
||
assets/hubert_base/preprocessor_config.json
|
||
assets/hubert_base/pytorch_model.bin
|
||
assets/rmvpe/rmvpe.pt
|
||
assets/pretrained/*.pth
|
||
assets/pretrained_v2/*.pth
|
||
assets/uvr5_weights/*
|
||
assets/weights/*.pth
|
||
assets/indices/*.index
|
||
logs/mute/*
|
||
```
|
||
|
||
### モデルのダウンロード
|
||
|
||
```bash
|
||
python -m pip install --upgrade huggingface_hub
|
||
|
||
# Required for inference and feature extraction
|
||
hf download lj1995/VoiceConversionWebUI --revision main \
|
||
--include "hubert_base/*" --local-dir assets
|
||
hf download lj1995/VoiceConversionWebUI rmvpe.pt --revision main \
|
||
--local-dir assets/rmvpe
|
||
|
||
# Required for v1/v2 training
|
||
hf download lj1995/VoiceConversionWebUI --revision main \
|
||
--include "pretrained/*" "pretrained_v2/*" --local-dir assets
|
||
hf download lj1995/VoiceConversionWebUI mute.zip --revision main \
|
||
--local-dir .model-downloads
|
||
python -m zipfile -e .model-downloads/mute.zip logs
|
||
|
||
# Required only for UVR5 vocal separation
|
||
hf download lj1995/VoiceConversionWebUI --revision main \
|
||
--include "uvr5_weights/*" --local-dir assets
|
||
```
|
||
|
||
Windows の AMD/Intel DirectML 環境では、さらに次のファイルが必要です。
|
||
|
||
```bash
|
||
hf download lj1995/VoiceConversionWebUI rmvpe.onnx --revision main \
|
||
--local-dir assets/rmvpe
|
||
```
|
||
|
||
旧形式の `hubert_base.pt` はこのブランチでは使用しません。現在は `assets/hubert_base/` の Transformers モデルを使用します。FCPE は `torchfcpe` に含まれます。
|
||
|
||
### FFmpeg
|
||
|
||
上記の Ubuntu コマンドで FFmpeg がインストールされます。Windows では次のファイルをリポジトリのルートに配置します。
|
||
|
||
- [ffmpeg.exe](https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/ffmpeg.exe?download=true)
|
||
- [ffprobe.exe](https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/ffprobe.exe?download=true)
|
||
|
||
## WebUI の起動
|
||
|
||
```bash
|
||
python webui.py
|
||
```
|
||
|
||
画面のない Ubuntu サーバー：
|
||
|
||
```bash
|
||
python webui.py --noautoopen
|
||
```
|
||
|
||
既定のポートは `7865` です。`.pth` モデルは `assets/weights/`、`.index` ファイルは `assets/indices/` に配置します。
|
||
|
||
## 参考プロジェクト
|
||
|
||
- [ContentVec](https://github.com/auspicious3000/contentvec/)
|
||
- [VITS](https://github.com/jaywalnut310/vits)
|
||
- [HIFIGAN](https://github.com/jik876/hifi-gan)
|
||
- [Gradio](https://github.com/gradio-app/gradio)
|
||
- [FFmpeg](https://github.com/FFmpeg/FFmpeg)
|
||
- [Ultimate Vocal Remover](https://github.com/Anjok07/ultimatevocalremovergui)
|
||
- [audio-slicer](https://github.com/openvpi/audio-slicer)
|
||
- [Vocal pitch extraction:RMVPE](https://github.com/Dream-High/RMVPE)
|
||
- 事前訓練されたモデルは[yxlllc](https://github.com/yxlllc/RMVPE)と[RVC-Boss](https://github.com/RVC-Boss)によって訓練され、テストされました。
|
||
|
||
## すべての貢献者の努力に感謝します
|
||
|
||
<a href="https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/graphs/contributors" target="_blank">
|
||
<img src="https://contrib.rocks/image?repo=RVC-Project/Retrieval-based-Voice-Conversion-WebUI" />
|
||
</a>
|