Deep CNNに対する極端な訓練について

Question

一つの標準画像しかない場合、これを以ってDeep CNNを訓練したい場合、
ただ一つ学習画像で学習させる場合とこの学習画像を繰り返し学習させる場合、
どっちが効果的な学習になるのでしょうか。

それとも両者は同じ？

どうぞ宜しくお願いします。

Comments

[mkgrei]

「どっち」というのは「ただ一つ学習画像で学習させる場合」と「この学習画像を繰り返し学習させる場合」ということでしょうか？この2つの違いは何でしょう？

[leilei]

お返答ありがとうございます。言いたいのは一つの画像に対して、一回だけNNに入力して終わると、あたかも複数異なる画像があるように、この画像を沢山複製して何らかの形でNNに学習させる方法の間に訓練効果的に差はあるかどうかと言う質問ですね。

Answer 1

https://qiita.com/bohemian916/items/9630661cd5292240f8c7

同じ画像を様々な処理をすることによってかさ増しすれば、情報を絞り尽くすことができます。

正当化の理由としては、違う角度での見た目、異なる照明下での見た目、などを擬似的に表現します。

Answer 2

『データ件数不足のため、今あるデータを完全コピーして水増しすると過学習になりやすい』ということは既に知られていることです。よって、1件のデータだけを使って複数回の学習を行う場合であっても、完全コピーしたもの複数件で学習を行う場合であっても、行き着く先は過学習のように思います。

回避策としては、mkgreiさんが紹介するように『ぼかし』、『ノイズ』などを入れたオリジナルとは異なるものを多数作ることがいいと思います。

Answer 3

「画像を一枚だけ使う」のと「同じ画像のコピーを複数枚作る」の違いだと思って回答します。

損失関数の計算過程で、バッチ内で平均を取ると、結局、1枚だけでやった場合と同じ値になるので、違いはないと思います。

Comments

[leilei]

早速お返答ありがとう御座います！
結局、この画像一枚を一つのバッチとして訓練する場合と、同じ画像を沢山複製して、沢山mini-batchを組んで訓練させる場合とは、最終的に同じDNNパラメータを得ることになるでしょうか。

[退会済みユーザー]

画像1枚の損失点をcとすると、これn枚からなるmini-batchの損失点は、(c+c+...+c)/n=cになって、1枚だけ使った場合の損失点と同じになるので、パラメータをどっちに動かしたら損失が小さくなるか、という方向も全く同じになるので、最終的に同じパラメータに落ち着くはずです。