From 5a82105df3e0af21ff1b3f30145200a4d46bdf41 Mon Sep 17 00:00:00 2001 From: tsukumi Date: Mon, 23 Sep 2024 08:58:57 +0900 Subject: [PATCH] Improve: Since the use cases for speech synthesis in English and Chinese are limited, only Japanese BERT models/tokenizers will be pre-loaded to save VRAM --- server_editor.py | 2 +- server_fastapi.py | 7 ++----- 2 files changed, 3 insertions(+), 6 deletions(-) diff --git a/server_editor.py b/server_editor.py index a1e95d0..7124aa6 100644 --- a/server_editor.py +++ b/server_editor.py @@ -195,7 +195,7 @@ skip_static_files = bool(args.skip_static_files) ## server_editor.py は日本語にしか対応していないため、日本語の BERT モデル/トークナイザーのみロードする bert_models.load_model(Languages.JP, device_map=device) bert_models.load_tokenizer(Languages.JP) -# VRAM を浪費しないように、既定では ONNX 版 BERT モデル/トークナイザーは事前ロードしない +# VRAM 節約のため、既定では ONNX 版 BERT モデル/トークナイザーは事前ロードしない if args.preload_onnx_bert: onnx_bert_models.load_model( Languages.JP, onnx_providers=torch_device_to_onnx_providers(device) diff --git a/server_fastapi.py b/server_fastapi.py index a331578..fa2b0df 100644 --- a/server_fastapi.py +++ b/server_fastapi.py @@ -99,13 +99,10 @@ if __name__ == "__main__": # 事前に BERT モデル/トークナイザーをロードしておく ## ここでロードしなくても必要になった際に自動ロードされるが、時間がかかるため事前にロードしておいた方が体験が良い + ## 英語や中国語で音声合成するユースケースは限られていることから、VRAM 節約のため日本語の BERT モデル/トークナイザーのみロードする bert_models.load_model(Languages.JP, device_map=device) bert_models.load_tokenizer(Languages.JP) - bert_models.load_model(Languages.EN, device_map=device) - bert_models.load_tokenizer(Languages.EN) - bert_models.load_model(Languages.ZH, device_map=device) - bert_models.load_tokenizer(Languages.ZH) - # VRAM を浪費しないように、既定では ONNX 版 BERT モデル/トークナイザーは事前ロードしない + # VRAM 節約のため、既定では ONNX 版 BERT モデル/トークナイザーは事前ロードしない if args.preload_onnx_bert: onnx_bert_models.load_model( Languages.JP, onnx_providers=torch_device_to_onnx_providers(device)