Restore gc and emptycache when training

train_ms.py

@@ -1,5 +1,6 @@
 import argparse
 import datetime
+import gc
 import os
 import platform
 
@@ -757,8 +758,9 @@ def train_and_evaluate(
             )
             pbar.update()
     # 本家ではこれをスピードアップのために消すと書かれていたので、一応消してみる
-    # gc.collect()
-    # torch.cuda.empty_cache()
+    # と思ったけどメモリ使用量が減るかもしれないのでつけてみる
+    gc.collect()
+    torch.cuda.empty_cache()
     if pbar is None and rank == 0:
         logger.info(f"====> Epoch: {epoch}, step: {global_step}")