tuna2134/sbv2-v2
1
0
Fork 0
Code Issues Pull Requests 1 Actions Packages Projects Releases Wiki Activity

Improve: Since the use cases for speech synthesis in English and Chinese are limited, only Japanese BERT models/tokenizers will be pre-loaded to save VRAM

Browse Source
This commit is contained in:
tsukumi
2024-09-23 08:58:57 +09:00
parent faddb0a8a8
commit 5a82105df3
2 changed files with 3 additions and 6 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
server_editor.py
View File

@@ -195,7 +195,7 @@ skip_static_files = bool(args.skip_static_files)
## server_editor.py は日本語にしか対応していないため、日本語の BERT モデル/トークナイザーのみロードする
bert_models.load_model(Languages.JP, device_map=device)
bert_models.load_tokenizer(Languages.JP)
# VRAM を浪費しないように、既定では ONNX 版 BERT モデル/トークナイザーは事前ロードしない
# VRAM 節約のため、既定では ONNX 版 BERT モデル/トークナイザーは事前ロードしない
if args.preload_onnx_bert:
onnx_bert_models.load_model(
Languages.JP, onnx_providers=torch_device_to_onnx_providers(device)