loss値の収束が早すぎる、精度が振動する。

Question

ConvLSTMモデル（Keras）で50px＊50px, RGB画像約15000枚のデータを学習させています。
損失関数はMAE、オプティマイザーはAdam(lr=0.001, 他デフォルト)、学習精度は metrics=['acc'] を使っています。
上のグラフはエポック数500、バッチサイズ16で学習させたときの、lossと学習精度のグラフです。ご覧の通り、lossの収束が早すぎるのと、学習精度が振動するのが何故かわからなくて困っています。
考えられる可能性や思いついたことなどありましたら、教えてほしいです。

Answer 1

Lossの収束:
収束が早すぎるというのはどのような問題が起きるのでしょうか？Val-lossと乖離して困っているだとか、tsugumi_7788さんがまだ文字に起こしていないもう少し別の問題が潜んでいると思います。

精度の振動:
振動に関してはこんなものかな、という気もします。
Adamは適応が早いですが、学習が難しいものに対してブレる（学習時にやり過ぎて行ったり来たりしている？）と直感的には理解しています。
対策としては、学習率を下げたり、SGDのようなシンプルなオプティマイザにすると（学習が多少遅くなるにしても）安定して上がるかもしれません。

Comments

[tsugumi_7788]

Val-lossも同じ位の大きさです。lossの収束の速さが、扱っているデータの学習難易度と対応していないと肌感覚で感じています。もっとlossは大きいか、収束がもっとゆっくり進む方がしっくりきます。（直感みたいなものですが。。。）まだ初学なので、色々と試行錯誤しています。
試してみます。ご回答していただきありがとうございます。調べてみると、ドロップアアウトとかはこのような場合に用いられたりするのでしょうか？

[退会済みユーザー]

ドロップアウトは過学習対策で使われます。もし一から作ったもので学習がうまくいかない、であれば、ポカヨケのために「似たようなタスクで誰かが作ったもの」で試運転をして学習ができる/できないを見るのも手かもしれません。

[tsugumi_7788]

ありがとうございます。参考にさせていただきます。

Answer 2

タスクの内容がわからないのですが、Accuracyを求めているということは分類タスクでいいのでしょうか。

そうだとすると、損失関数がMAEなのは違和感を覚えます。一般にMAEは回帰タスクに用いるもので、分類タスクであれば、categorical_crossentropy等を使うことが一般的かと思います。

Comments

[tsugumi_7788]

ご意見ありがとうございます。
時系列画像データを扱っているので、タスクは回帰に近いと思います。Kerasの提供している評価関数に、本モデルの適した関数が見当たらなかったので、使っています。（書くべきでした。すいません。）（インプットRGB値⇔アウトプットRGB値）したがって、精度はあくまで学習がうまくできているかの指標程度に考えています。