Add preprocess_all.py and optimize cli settings

This commit is contained in:
litagin02
2024-02-19 17:22:40 +09:00
parent d26336bf0a
commit 036cea17f3
3 changed files with 135 additions and 10 deletions

View File

@@ -3,22 +3,20 @@ import shutil
import yaml
import argparse
parser = argparse.ArgumentParser(description="config.ymlの生成。あらかじめ前準備をしたデータをバッチファイルなどで連続で学習する時にtrain_ms.pyより前に使用する。")
# そうしないと最後の前準備したデータで学習してしまう
parser.add_argument(
"--model_name",
type=str,
help="Model name",
required=True
parser = argparse.ArgumentParser(
description="config.ymlの生成。あらかじめ前準備したデータをバッチファイルなどで連続で学習する時にtrain_ms.pyより前に使用する。"
)
# そうしないと最後の前準備したデータで学習してしまう
parser.add_argument("--model_name", type=str, help="Model name", required=True)
parser.add_argument(
"--dataset_path",
type=str,
help="Dataset path(example: Data\\your_model_name)",
required=True
required=True,
)
args = parser.parse_args()
def gen_yaml(model_name, dataset_path):
if not os.path.exists("config.yml"):
shutil.copy(src="default_config.yml", dst="config.yml")
@@ -29,6 +27,6 @@ def gen_yaml(model_name, dataset_path):
with open("config.yml", "w", encoding="utf-8") as f:
yaml.dump(yml_data, f, allow_unicode=True)
if __name__ == "__main__":
gen_yaml(args.model_name, args.dataset_path)