tuna2134/sbv2-v2
1
0
Fork 0
Code Issues Pull Requests 1 Actions Packages Projects Releases Wiki Activity

Improve: Since the use cases for speech synthesis in English and Chinese are limited, only Japanese BERT models/tokenizers will be pre-loaded to save VRAM

Browse Source
This commit is contained in:
tsukumi
2024-09-23 08:58:57 +09:00
parent faddb0a8a8
commit 5a82105df3
2 changed files with 3 additions and 6 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
server_editor.py
View File

@@ -195,7 +195,7 @@ skip_static_files = bool(args.skip_static_files)
## server_editor.py は日本語にしか対応していないため、日本語の BERT モデル/トークナイザーのみロードする ## server_editor.py は日本語にしか対応していないため、日本語の BERT モデル/トークナイザーのみロードする
bert_models.load_model(Languages.JP, device_map=device) bert_models.load_model(Languages.JP, device_map=device)
bert_models.load_tokenizer(Languages.JP) bert_models.load_tokenizer(Languages.JP)
# VRAM を浪費しないように、既定では ONNX 版 BERT モデル/トークナイザーは事前ロードしない # VRAM 節約のため、既定では ONNX 版 BERT モデル/トークナイザーは事前ロードしない
if args.preload_onnx_bert: if args.preload_onnx_bert:
onnx_bert_models.load_model( onnx_bert_models.load_model(
Languages.JP, onnx_providers=torch_device_to_onnx_providers(device) Languages.JP, onnx_providers=torch_device_to_onnx_providers(device)

7
server_fastapi.py
View File

@@ -99,13 +99,10 @@ if __name__ == "__main__":
# 事前に BERT モデル/トークナイザーをロードしておく # 事前に BERT モデル/トークナイザーをロードしておく
## ここでロードしなくても必要になった際に自動ロードされるが、時間がかかるため事前にロードしておいた方が体験が良い ## ここでロードしなくても必要になった際に自動ロードされるが、時間がかかるため事前にロードしておいた方が体験が良い
## 英語や中国語で音声合成するユースケースは限られていることから、VRAM 節約のため日本語の BERT モデル/トークナイザーのみロードする
bert_models.load_model(Languages.JP, device_map=device) bert_models.load_model(Languages.JP, device_map=device)
bert_models.load_tokenizer(Languages.JP) bert_models.load_tokenizer(Languages.JP)
bert_models.load_model(Languages.EN, device_map=device) # VRAM 節約のため、既定では ONNX 版 BERT モデル/トークナイザーは事前ロードしない
bert_models.load_tokenizer(Languages.EN)
bert_models.load_model(Languages.ZH, device_map=device)
bert_models.load_tokenizer(Languages.ZH)
# VRAM を浪費しないように、既定では ONNX 版 BERT モデル/トークナイザーは事前ロードしない
if args.preload_onnx_bert: if args.preload_onnx_bert:
onnx_bert_models.load_model( onnx_bert_models.load_model(
Languages.JP, onnx_providers=torch_device_to_onnx_providers(device) Languages.JP, onnx_providers=torch_device_to_onnx_providers(device)