Sing.md

# Rinne を歌わせたい

[Retrieval-based-Voice-Conversion-WebUI](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI) で、すでにある曲を Rinne に歌わせます。

# つかいかた

1. 女性のボーカル付きの曲を mp3 形式や wav 形式で用意します。
2. `Sing.bat` をダブルクリックして、[Retrieval-based-Voice-Conversion-WebUI](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI) を立ち上げます。
	- Windowsファイアウォールで通信を許可しなくとも利用できるようです。
3. ブラウザに WebUI が表示されたら画面上部の、「伴奏とボーカルの分離」で、曲を伴奏とボーカルに分離します。
![Sing0](./Sing0.png)
	- 左下の「ここにファイルをドロップ -または- クリックしてアップロード」から mp3 形式や wav 形式の曲を登録できますが、**すぐ上の「フォルダパスを入力」を空欄にする必要があります**。
	- モデルを「HP5-～」にして「変換」すると `RVC-beta\opt\` 以下に伴奏とボーカルの wav が出力されます。
		- 曲によって相性があるようなので、「HP2-～」でも「変換」してどちらが伴奏とボーカルをキレイに分離できているかを比較します。
4. ボーカルが分離できたら上部の「モデル推論」で、ボーカルを Rinne の声に変換します。
![Sing1](./Sing1.png)
	- 「音源推論」を「Rinne.pth」にします。
	- 「処理対象音声ファイルのパス」にボーカルのwevのパスにします（フルパス可）。
	- 「ピッチ抽出アルゴリズム」を「harvest」にします。
	- 「特徴量検索データベースのファイルパス」を「..\Rinne.index」にします（フルパス可）。
	- 「特徴量ファイルのパス」を「..\Rinne.py」にします（フルパス可）。
5. 「変換」が成功したら、「出力音声」の「…」から変換したボーカルの wav をダウンロードします。
6. 変換したボーカルの wav と、分離した伴奏の wav を、[Audacity](https://www.audacityteam.org/) などのツールで結合します。
	- 例）[Audacity](https://www.audacityteam.org/) でボーカルと伴奏を開き、「ファイル」-「書き出し」-「MP3として書き出す」
![](./Sing2.png)

# 品質の向上

- 曲を伴奏とボーカルに分離する手段はたくさんあり、よりキレイに分離できる手法がありそうです。
	- 例）「[UVR5で高精度なBGM除去を行う方法](https://ddpn08.fanbox.cc/posts/5738173)」
- 曲や声の組み合わせによって、最適なパラメータは異なるようです。
	- 「ピッチ変更」を上げ下げしてみる
	- 「ピッチ抽出アルゴリズム」を「harvest」でなく「pm」にしてみる
	- 「检索特征占比（特徴量の検索割合？）」を上げ下げしてみる
- [Audacity](https://www.audacityteam.org/) などのサウンドツールでも、品質を向上できます。
	- ボーカルと伴奏のバランス調整やノイズの除去など

[戻る](./README.md)