CNN回帰でval_loss(trainデータ)がloss(validationデータ)と比べ小さくなる現象について

Question

現在、用意した画像データ(150枚)と画像に一対一で対応する数字データを教師データとし、画像から数字を推論しようと試みています。そのときのlossとval_lossの値を図示したとき下記のようになりました。今回用意した画像と教師データの品質が良くないので、val_lossの値が想定より高い値となったのは良いのですが、trainの値がvalidation(図内ではtestと表記)よりも高い値となった理由がわかりませんでした。ざっくりとした質問で申し訳ないのですが、どういった要因が考えられるか教えて頂きたいです。

計算条件
・試したモデル(Lenet,AlexNet, VGG)
→いずれのモデルでもtrainのほうが大きくなりました。
・画像サイズ256*256
・Optimizer : Adam
・Batchsize : 32
・loss : mean_squared_error
・metrics : MSE (or MAE)

試しにMNISTのラベルを回帰させてみましたが、再現できませんでした。
他MNISTで試したこと
・ラベルに乱数を足す
・画像のサイズをresizeで拡大
・ガウシアンノイズを足す。

Answer 1

Dropout を入れてるからではないでしょうか？

Comments

[Kohei_KESE]

Dropoutをはずしたら改善しました！回答ありがとうございます。
それと、どういった理由でDropoutが悪さをしているのか、理由や参考になるサイトがあれば教えて頂けないでしょうか？

[tiitoi]

Dropout は訓練時にランダムにニューロンを脱落させ、そのニュを使わないで学習することで過学習を防ぐテクニックです。
推論時は脱落させずすべてのニューロンを使います。
なので、モデルの表現力は学習時より推論時のモデルのほうが高いので、validation error のほうが低くなるのは自然なことです。
悪さをしているわけではなく、Dropout の本来の意図通り動いているということなので外さなくてもいいでしょう。

[Kohei_KESE]

trainがなかなか下がらないのはdropoutを入れているから収束しづらくなっているからで、validation自体はdropoutにより汎化されるから下がりやすくなるという解釈であってますか？

[tiitoi]

図を見ると、validation loss のほうが低いだけで training loss もちゃんと下がっていってますよね？

training loss は dropout によりモデルの一部のニューロンのみ使って計算された値です。
マラソン選手は練習のときは足に重りを付けて、走る練習をしていると聞いたことがあります。練習の際にわざと制約をつけて負荷を上げることで、本番でパフォーマンスを発揮できるようにするわけですね。
それと同じで制約を課して訓練して、推論時は制約をはずしてモデル本来の能力が活用されているわけです。

[Kohei_KESE]

わかりやすい例えありがとうございます。だいぶ理解を進めることができました。
回答ありがとうございます。