valuationlossが大きく変化する

Question

valuationlossに関する質問です。
あるプログラムを実行たところ、
0.598609　エポック1
0.55283 エポック２
0.51705　エポック３
0.5126　エポック４
0.5091　エポック５

というような値が出ました。
しかし、パラメータを何も変えずに同じプログラムを実行したところ
0.559940　エポック１
0.498634　エポック２
0.518736　エポック３
0.491624　エポック４

というような結果になり、過学習の傾向が見られます。
これはなぜでしょうか
対処法などもあれば踏まえて、教えていただきたいです。

Comments

[jbpb0]

ネットワークの重みの初期値に乱数を使ってるので、全く同じ条件で実行を繰り返すと結果が変わるのは、普通のことです

もしかしたら、乱数のシードを固定したら、結果が再現される(毎回同じ結果になる)かもしれません
https://qiita.com/Rin-P/items/acacbb6bd93d88d1ca1b

Answer 1

ネットワークを生成した際の weight が乱数生成になっているためかと思われます。
weight を固定値にしても学習を GPU で行っている場合は CUDA 内部の演算で再現性が失われるため、毎回違う値をとります。
条件を全く同じで再現性を確保したいのであれば、乱数を seed 固定し、学習も CPU で行えば可能です。

また、過学習とは学習が train データに寄ってしまい、同系統のそのほかのデータに対して精度が悪くなることを言います。
そのため、train loss は下がり（train accuracyは上がり）つつ、validation loss が上がる（validation accuracyが下がる）ことなので、質問者様が記入していた数値のみでは過学習かどうかの判断は難しいかと。