tuna2134/sbv2-v2
1
0
Fork 0
Code Issues Pull Requests 1 Actions Packages Projects Releases Wiki Activity
Files
62d360e777645806facfc2e2be00fd2cbafc2249
sbv2-v2/README.md
litagin02 62d360e777 Merge branch 'dev-api' into dev
2023-12-31 09:19:01 +09:00

11 KiB
Raw Blame History

Style-Bert-VITS2

Bert-VITS2 with more controllable voice styles.

https://github.com/litagin02/Style-Bert-VITS2/assets/139731664/b907c1b8-43aa-46e6-b03f-f6362f5a5a1e

注意: 上記動画のライセンス表記は誤っていました、正しくはCC BY-SA 4.0で商用利用に制限はありません。近日訂正版動画に差し替えます。

Open In Colab

Online demo: https://huggingface.co/spaces/litagin/Style-Bert-VITS2-JVNV

This repository is based on Bert-VITS2 v2.1, so many thanks to the original author!

概要

  • Bert-VITS2のv2.1を元に、正確に感情や発話スタイルを強弱混みで指定して音声を生成することができるようにしたものです。
  • GitやPythonがない人でも（Windowsユーザーなら）簡単にインストールでき、学習もできます (多くをEasyBertVits2からお借りしました)。
  • 音声合成のみに使う場合は、グラボがなくてもCPUで動作します。

使い方

動作環境

各UIとAPI Serverにおいて、Windows コマンドプロンプト・WSL2・Linux(Ubuntu Desktop)での動作を確認しています(WSLでのパス指定は相対パスなど工夫ください)。

インストール

GitやPythonに馴染みが無い方

Windowsを前提としています。

  1. このzipファイルをダウンロードして展開します。
  • グラボがある方は、Install-Style-Bert-VITS2.batをダブルクリックします。
  • グラボがない方は、Install-Style-Bert-VITS2-CPU.batをダブルクリックします。
  1. 待つと自動で必要な環境がインストールされます。
  2. その後、自動的に音声合成するためのWebUIが起動したらインストール成功です。デフォルトのモデルがダウンロードされるているので、そのまま遊ぶことができます。

またアップデートをしたい場合は、Update-Style-Bert-VITS2.batをダブルクリックしてください。

GitやPython使える人

Windowsの通常環境のPython 3.10で動作確認していますが、他の環境でも動くと思います。

git clone https://github.com/litagin02/Style-Bert-VITS2.git
cd Style-Bert-VITS2
python -m venv venv
venv\Scripts\activate
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
python initialize.py  # 必要なモデルとデフォルトTTSモデルをダウンロード

最後を忘れずに。

音声合成

App.batをダブルクリックか、python app.pyするとWebUIが起動します。インストール時にデフォルトのモデルがダウンロードされているので、学習していなくてもそれを使うことができます。

音声合成に必要なモデルファイルたちの構造は以下の通りです（手動で配置する必要はありません）。

model_assets
├── your_model
│   ├── config.json
│   ├── your_model_file1.safetensors
│   ├── your_model_file2.safetensors
│   ├── ...
│   └── style_vectors.npy
└── another_model
    ├── ...

このように、推論にはconfig.jsonと*.safetensorsとstyle_vectors.npyが必要です。 style_vectors.npyはスタイルを制御するために必要なファイルで、学習の時にデフォルトで平均スタイル「Neutral」が生成されます。 複数スタイルを使いたい方は、下の「スタイルの生成」を参照してください。

学習

Train.batをダブルクリックかpython webui_train.pyするとWebUIが起動します。

スタイルの生成

  • デフォルトスタイル「Neutral」以外のスタイルを使いたい人向けです。
  • Style.batをダブルクリックかpython webui_style_vectors.pyするとWebUIが起動します。
  • 学習とは独立しているので、学習中でもできるし、学習が終わっても何度もやりなおせます。
  • スタイルについての詳細はclustering.ipynbを参照してください。

データセット作り

  • Dataset.batをダブルクリックかpython webui_dataset.pyすると、音声ファイルからデータセットを作るためのWebUIが起動します。音声ファイルのみからでもこれを使って学習できます。

注意: データセットの手動修正やノイズ除去や、より高品質なデータセットを作りたい場合は、Aivisや、そのデータセット部分のWindows対応版 Aivis Dataset を使うのをおすすめします。

API Server

構築した環境下でpython server_fastapi.pyするとAPIサーバーが起動します。 API仕様は起動後に/docsにて確認ください。

デフォルトではCORS設定を全てのドメインで許可しています。 できる限り、config.ymlのserver.originsの値を変更し、信頼できるドメインに制限ください(キーを消せばCORS設定を無効にできます)。

Bert-VITS2 v2.1との関係

基本的にはBert-VITS2 v2.1のモデル構造を少し改造しただけです。事前学習モデルも、実質Bert-VITS2 v2.1と同じものを使用しています（不要な重みを削ってsafetensorsに変換したもの）。

具体的には以下の点が異なります。

  • EasyBertVits2のように、PythonやGitを知らない人でも簡単に使える。
  • 感情埋め込みのモデルを変更（1024次元のwav2vec2-large-robust-12-ft-emotion-msp-dimから256次元のwespeaker-voxceleb-resnet34-LMへ、感情埋め込みというよりは話者識別のための埋め込み）
  • 埋め込みもベクトル量子化を取り払い、単なる全結合層に。
  • スタイルベクトルファイルstyle_vectors.npyを作ることで、そのスタイルを使って効果の強さも連続的に指定しつつ音声を生成することができる。
  • 各種WebUIを作成
  • bf16での学習のサポート
  • safetensors形式のサポート、デフォルトでsafetensorsを使用するように
  • その他軽微なbugfixやリファクタリング

TODO

  • LinuxやWSL等、Windowsの通常環境以外でのサポート？
  • 複数話者学習での音声合成対応（学習は現在でも可能）
  • 本家のver 2.1, 2.2, 2.3モデルの推論対応？（ver 2.1以外は明らかにめんどいのでたぶんやらない）
  • server_fastapi.pyの対応、とくにAPIで使えるようになると嬉しい人が増えるのかもしれない
  • モデルのマージで声音と感情表現を混ぜる機能の実装
  • 英語等多言語対応？

実験したいこと

  • 複数話者での学習の実験（原理的にはできるはず、スタイルがどう効くかが未知）
  • むしろ複数話者で単一話者扱いで学習しても、スタイル埋め込みが話者埋め込みでそこに話者の情報が含まれているので、スタイルベクトルを作ることで複数話者の音声を生成できるのではないか？
  • もしそうなら、大量の人数の音声を学習させれば、ある意味「話者空間から適当に選んだ話者（連続的に変えられる）の音声合成」ができるのでは？リファレンス音声も使えばゼロショットでの音声合成もできるのでは？

References

In addition to the original reference (written below), I used the following repositories:

The pretrained model is essentially taken from the original base model of Bert-VITS2 v2.1, so all the credits go to the original author (Fish Audio):

Below is the original README.md.

LOGO

Bert-VITS2

VITS2 Backbone with multilingual bert

For quick guide, please refer to webui_preprocess.py.

简易教程请参见 webui_preprocess.py。

请注意，本项目核心思路来源于anyvoiceai/MassTTS 一个非常好的tts项目

MassTTS的演示demo为ai版峰哥锐评峰哥本人,并找回了在金三角失落的腰子

成熟的旅行者/开拓者/舰长/博士/sensei/猎魔人/喵喵露/V应当参阅代码自己学习如何训练。

严禁将此项目用于一切违反《中华人民共和国宪法》，《中华人民共和国刑法》，《中华人民共和国治安管理处罚法》和《中华人民共和国民法典》之用途。

严禁用于任何政治相关用途。

Video:https://www.bilibili.com/video/BV1hp4y1K78E

Demo:https://www.bilibili.com/video/BV1TF411k78w

QQ Group：815818430

References

感谢所有贡献者作出的努力

Reference in New Issue View Git Blame Copy Permalink