Fix: ensure encoding=utf-8 for json

2024-01-01 09:26:36 +09:00
parent e9db74ac6d
commit f2e7c18aa9
5 changed files with 22 additions and 14 deletions
--- a/train_ms.py
+++ b/train_ms.py
@@ -703,8 +703,8 @@ def train_and_evaluate(

        global_step += 1
    # 本家ではこれをスピードアップのために消すと書かれていたので、一応消してみる
-    gc.collect()
-    torch.cuda.empty_cache()
+    # gc.collect()
+    # torch.cuda.empty_cache()
    if rank == 0:
        logger.info(f"====> Epoch: {epoch}, step: {global_step}")