画像分類用に自分でデータセットを作りたい

Question

手書き数字のMINISTを使って学習し分類をする方法を学んだのですが、せっかくなので自分で用意したデータでも分類器を作ってみたいと思いました。

まず学習用とテスト用として画像を集め、それぞれ3クラス(ABC)に分けたフォルダを作りました。

そこからどうすれば良いのか迷っています。調べてみたところデータセットが用意されている場合と2クラスでの分類の場合が多いのとデータの構造がよく分からず、あまり参考になりませんでした。

https://teratail.com/questions/113349　こちらのように画像の名前でラベルを貼っていくのではなくフォルダごとにラベルを貼りたいです。

MINISTデータのように扱うには白黒にしたり正規化する必要があるのだと思いますが、何をすべきか教えてください。できたらPillowで行いたいです。切り取ったり中央に寄せたりはしなくてもいいはずです。

データの構造は以下の通りです。

/image/train
/A（jpg画像1000枚程度）
/B
/C
/image/test
/A
/B
/C

Answer 1

まず学習用とテスト用として画像を集め、それぞれ3クラス(ABC)に分けたフォルダを作りました。

以下のようなフォルダごとにクラスで分けるという質問のやり方で問題ないです。

dataset
├── train
│   ├── A
│   ├── B
│   └── C
└── val
    ├── A
    ├── B
    └── C

MINISTデータのように扱うには白黒にしたり正規化する必要があるのだと思いますが、何をすべきか教えてください。できたらPillowで行いたいです。切り取ったり中央に寄せたりはしなくてもいいはずです。

正規化やリサイズ等は実行時にリアルタイムで行えばよいので、予め Pillow を使って、行う必要はありません。Keras (Tensorflow) や Pytorch では、モデルに流すための前処理を行う機能が用意されているので、それを使えばよいです。

Pytorchのやり方
Pytorch - 事前学習モデルを使ってクラス分類モデルを学習する方法

TensorFlow のやり方
TensorFlow / Keras - ImageDataGenerator を使った画像分類モデルの学習方法

追記

image
├── train
│   ├── A
│   ├── B
│   └── C
└── val
    ├── A
    ├── B
    └── C

上記のようなデータ構造ならば、In [3]: の

# ダウンロードして、解凍する。
url = "https://download.pytorch.org/tutorial/hymenoptera_data.zip"
save_dir = Path("/data")  # 適宜変更してください
dataset_dir = save_dir / "hymenoptera_data"

datasets.utils.download_and_extract_archive(url, save_dir)

の部分を

dataset_dir = Path("image")  # image フォルダのパス

に変えるだけで動くと思います。
In [3]: だけ上のように変えて、あとは上から順番に In [1]: から実行していけば動きませんか？

Comments

[tbc]

取り急ぎ前者のpytorchの方を試してみたのですが、
In[5] img_datasets = {x: datasets.ImageFolder(dataset_dir / x, data_transforms[x])
for x in ["train", "test"]}
---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
<ipython-input-19-cb55d1b61c60> in <module>()
1
2 img_datasets = {x: datasets.ImageFolder(dataset_dir / x, data_transforms[x])
----> 3 for x in ["train", "test"]}

<ipython-input-19-cb55d1b61c60> in <dictcomp>(.0)
1
2 img_datasets = {x: datasets.ImageFolder(dataset_dir / x, data_transforms[x])
----> 3 for x in ["train", "test"]}

KeyError: 'test'
と出てしまいました。
In[3]の最初と最後の文をulrがないので消し、ディレクトリのところを自分の環境に合わせたのが変更点です。
できたらtestという名前は変えずに行いたいのですがどうすればいいのでしょうか？
やはりデータをダウンロードした場合と自分のデータを使う場合とでどう変更すればいいのかというのが難しいです。

[tiitoi]

追記しました。In [3]: だけ変更して、上から順番に実行していけば動きませんか？
動かなかったら教えてください