diff --git a/convert_bert_onnx.py b/convert_bert_onnx.py index e4f43a5..055e7b8 100644 --- a/convert_bert_onnx.py +++ b/convert_bert_onnx.py @@ -265,6 +265,9 @@ if __name__ == "__main__": res = torch.cat(res["hidden_states"][-3:-2], -1)[0].cpu() return res + # 再度 Fast Tokenizer でロード + tokenizer = bert_models.load_tokenizer(language) + # ONNX 変換用の BERT モデルをロード model = ONNXBert() inputs = tokenizer("今日はいい天気ですね", return_tensors="pt")