Fix: handling esd.list processing error

This commit is contained in:
litagin02
2024-02-25 18:33:47 +09:00
parent 8d7d7c3265
commit 9d6a1db0e9
2 changed files with 17 additions and 7 deletions

View File

@@ -12,11 +12,13 @@
以下では次のような方針でやっています。
- `/storage/`は永続ストレージなので、事前学習モデルとかを含めてリポジトリをクローンするとよい。
- `/notebooks/`一時ストレージなので、データセットやその結果を保存する
- `/notebooks/`ノートブックごとに変わるストレージなので(同一ノートブック違うランタイムだと共有されるらしい)、データセットやその結果を保存する。ただ容量が多い場合はあふれる可能性があるので`/tmp/`に保存するとよいかもしれない
- hugging faceアカウントを作り、プライベートなリポジトリを作って、学習元データを置いたり、学習結果を随時アップロードする。
### 1. 環境を作る
以下はデフォルトの`Start from Scratch`で作成した環境の場合。[Dockerfile.train](../Dockerfile.train)を使ったカスタムイメージをするとPythonの環境構築の手間がちょっと省けるので、それを使いたい人は`Advanced Options / Container / Name`に[`litagin/mygradient:latest`](https://hub.docker.com/r/litagin/mygradient/tags)を指定すると使えますpipの箇所が不要になる等
まずは永続ストレージにgit clone
```bash
mkdir -p /storage/sbv2