Docs
This commit is contained in:
litagin02
@@ -86,7 +86,7 @@ Style-Bert-VITS2の学習用データセットを作成するためのツール
|
||||
|
||||
## 必要なもの
|
||||
|
||||
学習したい音声が入ったwavファイルいくつか。
|
||||
学習したい音声が入った音声ファイルいくつか（形式はwav以外でも通常の音声ファイル形式なら可能）。
|
||||
合計時間がある程度はあったほうがいいかも、10分とかでも大丈夫だったとの報告あり。単一ファイルでも良いし複数ファイルでもよい。
|
||||
|
||||
## スライス使い方
|
||||
@@ -102,9 +102,8 @@ Style-Bert-VITS2の学習用データセットを作成するためのツール
|
||||
|
||||
## 注意
|
||||
|
||||
- 長すぎる秒数（12-15秒くらいより長い？）のwavファイルは学習に用いられないようです。また短すぎてもあまりよくない可能性もあります。
|
||||
- ~~長すぎる秒数（12-15秒くらいより長い？）のwavファイルは学習に用いられないようです。また短すぎてもあまりよくない可能性もあります。~~ この制限はVer 2.5でなくなりましたが、長すぎる音声があるとVRAM消費量が増えたりするので、適度な長さにスライスすることをおすすめします。
|
||||
- 書き起こしの結果をどれだけ修正すればいいかはデータセットに依存しそうです。
|
||||
- 手動で書き起こしをいろいろ修正したり結果を細かく確認したい場合は、[Aivis Dataset](https://github.com/litagin02/Aivis-Dataset)もおすすめします。書き起こし部分もかなり工夫されています。ですがファイル数が多い場合などは、このツールで簡易的に切り出してデータセットを作るだけでも十分という気もしています。
|
||||
"""
|
||||
|
||||
|
||||
|
||||
@@ -4,6 +4,7 @@ import gradio as gr
|
||||
from huggingface_hub import snapshot_download
|
||||
|
||||
from config import get_path_config
|
||||
from style_bert_vits2.logging import logger
|
||||
|
||||
|
||||
assets_root = get_path_config().assets_root
|
||||
@@ -11,17 +12,18 @@ assets_root = get_path_config().assets_root
|
||||
how_to_md = """
|
||||
## 使い方
|
||||
|
||||
Hugging Face 🤗 に公開されているモデルをダウンロードして音声合成で使えるようにします。
|
||||
学習済みモデルの共有サイト Hugging Face 🤗 に公開されているモデルをダウンロードして音声合成で使えるようにします。
|
||||
|
||||
例:
|
||||
|
||||
- `https://huggingface.co/username/my_sbv2_model`を指定すると、`model_assets/username-my_sbv2_model`に全体がダウンロードされます。
|
||||
- `https://huggingface.co/username/my_sbv2_models/tree/main/model1`を指定すると、`model_assets/username-my_sbv2_models/model1`に`model1`フォルダのみがダウンロードされます（この場合、model1フォルダ）。
|
||||
- `https://huggingface.co/username/my_sbv2_models/tree/main/model1`を指定すると、`model_assets/username-my_sbv2_models-model1`に`model1`フォルダがダウンロードされます。
|
||||
|
||||
**注意**
|
||||
|
||||
- 音声合成で使うには、`model_assets/{model_name}`の**直下**に`*.safetensors`ファイルと`config.json`ファイルと`style_vectors.npy`ファイルが必要です。特にリポジトリの構成は確認しないので、ダウンロード後に必要ならば再配置等を行ってください。
|
||||
- リポジトリの内容はチェックしませんので、ダウンロードする前にURLにアクセスしてリポジトリの内容を確認してください。怪しいURLは入力しないでください。
|
||||
- **必ずモデルの利用には（掲載があれば）利用規約を確認してください。** ダウンロード後にREADMEファイルが下記に表示されます。
|
||||
- 音声合成で使うには、`model_assets/{model_name}`の**直下**に`*.safetensors`ファイルと`config.json`ファイルと`style_vectors.npy`ファイルが必要です。特にリポジトリの構成は確認しないので、ダウンロード後に確認し、必要ならば再配置を行ってください。
|
||||
- 内容はチェックしませんので、**ダウンロードする前にURLにアクセスして中身を必ず確認**してください。怪しいURLは入力しないでください。
|
||||
"""
|
||||
|
||||
|
||||
@@ -32,6 +34,7 @@ def download_model(url: str):
|
||||
# repo_id = "username/myrepo"
|
||||
repo_id = url.split("https://huggingface.co/")[1].split("/tree/main")[0]
|
||||
if len(repo_id.split("/")) != 2:
|
||||
logger.error(f"Invalid URL: {url}")
|
||||
return "Error: URLが不正です。"
|
||||
# repo_folder = "jvnv-F1-jp"
|
||||
repo_folder = url.split("/tree/main/")[-1] if "/tree/main/" in url else ""
|
||||
@@ -41,24 +44,41 @@ def download_model(url: str):
|
||||
if repo_folder == "":
|
||||
model_name = repo_id.replace("/", "-")
|
||||
local_dir = assets_root / model_name
|
||||
logger.info(f"Downloading {repo_id} to {local_dir}")
|
||||
result = snapshot_download(repo_id, local_dir=local_dir)
|
||||
else:
|
||||
model_name = repo_id.replace("/", "-") + "-" + repo_folder.split("/")[-1]
|
||||
local_dir = assets_root / model_name
|
||||
logger.info(f"Downloading {repo_id}/{repo_folder} to {local_dir}")
|
||||
result = snapshot_download(
|
||||
repo_id,
|
||||
local_dir=local_dir,
|
||||
allow_patterns=[repo_folder + "/*"],
|
||||
)
|
||||
# Move the downloaded folder to the correct path
|
||||
for item in (assets_root / model_name / repo_folder).iterdir():
|
||||
shutil.move(item, assets_root / model_name)
|
||||
shutil.copytree(
|
||||
assets_root / model_name / repo_folder, local_dir, dirs_exist_ok=True
|
||||
)
|
||||
shutil.rmtree(assets_root / model_name / repo_folder.split("/")[0])
|
||||
# try to download README.md
|
||||
try:
|
||||
snapshot_download(
|
||||
repo_id,
|
||||
local_dir=local_dir,
|
||||
allow_patterns=["README.md"],
|
||||
)
|
||||
# README.mdの中身を表示
|
||||
with open(local_dir / "README.md", encoding="utf-8") as f:
|
||||
readme = f.read()
|
||||
except Exception as e:
|
||||
logger.warning(f"README.md not found: {e}")
|
||||
readme = "README.mdが見つかりませんでした。"
|
||||
|
||||
# Remove local_dir/.huggingface
|
||||
hf_dir = local_dir / ".huggingface"
|
||||
if hf_dir.exists():
|
||||
shutil.rmtree(local_dir / ".huggingface")
|
||||
return f"ダウンロード完了: {result}"
|
||||
return f"保存完了。フォルダ:\n{result}", readme
|
||||
|
||||
|
||||
def create_download_app() -> gr.Blocks:
|
||||
@@ -68,8 +88,11 @@ def create_download_app() -> gr.Blocks:
|
||||
label="URL", placeholder="https://huggingface.co/username/myrepo"
|
||||
)
|
||||
btn = gr.Button("ダウンロード")
|
||||
info = gr.Textbox(label="情報", value="")
|
||||
btn.click(download_model, inputs=[url], outputs=[info])
|
||||
info = gr.Markdown("ダウンロード結果")
|
||||
md = gr.Markdown(
|
||||
label="README.mdファイル", value="ここにREADME.mdがあれば表示されます。"
|
||||
)
|
||||
btn.click(download_model, inputs=[url], outputs=[info, md])
|
||||
|
||||
return app
|
||||
|
||||
|
||||
Reference in New Issue
Block a user