CNNを用いた2クラス分類の方法について

Question

やりたい事

Kerasを用いて2クラス分類のCNNを作成したいと考えています．
対象となる画像データは農作物で，2クラス分類によりその農作物が収穫可能な時期であるかどうかを判別しようと考えています．
CNNの作成を行うにあたりいくつか分からない部分があるのでそこについてお聞きしたいです．

現在把握していること

　現在把握しているCNNモデルの作成手順を以下に示します．
######1. データセットの準備
- 収穫可能な作物の画像（positive）と収穫可能でない作物の画像（negative）の画像を用意する．
- 用意する画像は正方形とする．
- 画像の形式は(bmp/jpg/png)など

######2. ネットワーク構造の設定
- 畳み込み層やプーリング層などの設定を行う

• model.add()を用いる

######3. モデルの学習を行う

• model.fit()を用いる

######4. モデルを評価する

• model.evaluate()を用いる
• Trainデータとは別のTestデータに対して評価を行うことで汎化性能を評価する

以上，ざっくりと示した内容が私が理解している範囲です．

分からないこと・質問したいこと

現在，データセットの準備を行う段階なのですがそこで分からない点を3つ質問します．

質問1 データセットの画像サイズについて
CNNに入力する画像は正方形であればよいと認識しています．
そのためデータセットの画像サイズが例えば64x64[px]や100x100[px]など複数存在しても，ある一定の〇x〇[px]の正方形の解像度にスケーリングすることによって複数の解像度の画像を入力することは可能でしょうか？

質問2 データセットの分割方法(train/validation/test)について
データセットを分割するにあたってデータセットのディレクトリ構造について疑問が生じました．
ディレクトリ構造は，
①

のようにして後からtrain/validation/testに分割

②

のようにはじめから分割のどちらにするべきなのでしょうか？

質問3 そもそもvalidationデータとは何なのか
Aidemyでディープラーニング基礎を学習したのですがそのときは，trainとtestしか出てきませんでした．
validationは何に使うのでしょうか？
調査してもいまいち理解できません．

以上，お手数おかけしますがご回答よろしくお願い致します．

Answer 1

複数の解像度の画像を入力することは可能でしょうか？

学習する際は解像度はすべての画像で同じにする必要があります。
画像によってサイズが違う場合はリサイズするのが一般的です。

質問2 データセットの分割方法(train/validation/test)について

フォルダ構成の段階で分割しておいても、1つのフォルダからデータを読み込んでプログラム上で分割してもどちらでも構いません。

質問3 そもそもvalidationデータとは何なのか

validation は、学習するモデルの汎化性能を検証するために使用するデータです。
テストデータは最終的なモデルの性能を評価するのに使用するため、学習中はアクセスしないようにします。

学習/テストの2つでいいのではないかと思うかもしれませんが、例えば、バリデーションデータに対する性能を見て、ハイパーパラメータを調整する場合、バリデーションデータに特化した値を選択してしまう可能性があり、同じデータをテストにも使うとモデルの汎化性能を正しく評価できなくなってしまいます。

machine learning - What is the difference between test set and validation set? - Cross Validated

Comments

[eight-r]

返答ありがとうございます．データセットの分割方法ですがどちらでも良いのですね．先ほどフォルダ構成の段階で分割しておくとflow_from_directory()が使えると知ったのですがflow_from_directory()を使うことの利点は，Data Augmentationが行えるということで合っていますでしょうか？

[tiitoi]

> Data Augmentationが行えるということで合っていますでしょうか？

オーグメンテーションの他に、画像をディレクトリから読み込んでリサイズするといった処理もやってくれます。
flow_from_directory() を使う場合はたしかに予めディレクトリを分けておく必要があります。

[eight-r]

回答ありがとうございます．今後のことを考え予めディレクトリを分けてデータセットを作成したいと思います．ディレクトリの分け方ですが，train・validation・testに格納する画像はそれぞれ同一の画像が存在してはいけないですよね？例えば画像総数が1000枚であればtrain:700枚，validation:200枚，test:100枚のように振分ければ大丈夫でしょうか？

[tiitoi]

> 同一の画像が存在してはいけないですよね？

同一の画像はあってはだめです。

> train:700枚，validation:200枚，test:100枚のように振分ければ大丈夫でしょうか？

どのくらいの割合で分けるかは自由ですが、そのような感じで問題ないと思います。

[eight-r]

回答ありがとうございます．現時点での疑問は解消することができました．また何かお聞きする機会があるかもしれませんがその際はよろしくお願いいたします．