tuna2134/sbv2-v2
1
0
Fork 0
Code Issues Pull Requests 1 Actions Packages Projects Releases Wiki Activity

Improve: Since the use cases for speech synthesis in English and Chinese are limited, only Japanese BERT models/tokenizers will be pre-loaded to save VRAM

Browse Source
This commit is contained in:
tsukumi
2024-09-23 08:58:57 +09:00
parent faddb0a8a8
commit 5a82105df3
2 changed files with 3 additions and 6 deletions
Download Patch File Download Diff File Expand all files Collapse all files

7
server_fastapi.py
View File

@@ -99,13 +99,10 @@ if __name__ == "__main__":
# 事前に BERT モデル/トークナイザーをロードしておく
## ここでロードしなくても必要になった際に自動ロードされるが、時間がかかるため事前にロードしておいた方が体験が良い
## 英語や中国語で音声合成するユースケースは限られていることから、VRAM 節約のため日本語の BERT モデル/トークナイザーのみロードする
bert_models.load_model(Languages.JP, device_map=device)
bert_models.load_tokenizer(Languages.JP)
bert_models.load_model(Languages.EN, device_map=device)
bert_models.load_tokenizer(Languages.EN)
bert_models.load_model(Languages.ZH, device_map=device)
bert_models.load_tokenizer(Languages.ZH)
# VRAM を浪費しないように、既定では ONNX 版 BERT モデル/トークナイザーは事前ロードしない
# VRAM 節約のため、既定では ONNX 版 BERT モデル/トークナイザーは事前ロードしない
if args.preload_onnx_bert:
onnx_bert_models.load_model(
Languages.JP, onnx_providers=torch_device_to_onnx_providers(device)