update

2023-12-30 00:46:33 +09:00
parent 82ef037b91
commit 939cf3ec05
5 changed files with 32 additions and 10 deletions
--- a/train_ms.py
+++ b/train_ms.py
@@ -659,8 +659,8 @@ def train_and_evaluate(

        global_step += 1
    # 本家ではこれをスピードアップのために消すと書かれていたので、一応消してみる
-    # gc.collect()
-    # torch.cuda.empty_cache()
+    gc.collect()
+    torch.cuda.empty_cache()
    if rank == 0:
        logger.info(f"====> Epoch: {epoch}, step: {global_step}")