Deep Learningの学習中における損失関数の値について

Question

Deep Learningの学習中における損失関数の値について質問させてください。

現在、TensorFlowとKerasを使って画像に対する機械学習を行っております。

ひとつは教師画像（ラベルデータ）もうひとつは風景写真です。
風景写真を、セマンティックセグメンテーションすることを目的として
機械学習を行っております。

学習をさせるさいに、損失関数が0.9980あたりから始まり、1Epoch目のときは徐々に0.0に近づいていくのですが、
2Epoch目からは1.000となってしまい、1.000のまま学習が終わってしまいます。

これは、用意している学習データの品質が良くないということでしょうか？
また、損失関数が1.000のままということは発散してしまったと解釈してよろしいでしょうか？

お手数おかけしますが、ご存知の方がいましたら回答の方をお願い致します。

Answer 1

損失関数の種類にもよりますが、あまり変化しなくなるのは学習がうまくいっていない証拠ですね。
学習率を調整してみてください。
一桁ずつ下げて見ると傾向を見ることができます。

Comments

[essa]

mkgrei様

回答ありがとうございます。

損失関数はdice係数を使っています。
また、optimizeはAdamを使用しております。
学習率の調整。ということは
keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=None, decay=0.0, amsgrad=False)
のうち、lrを変更するということでしょうか？
現状はデフォルトで使用しております。

この学習率はどのような意味があるのでしょうか？
自分でも調べたのですが、いまいちわからなかったため、もしよければ教えていただけると嬉しいです。

以上、よろしくお願い致します。

[mkgrei]

BPでは勾配は一意的に決まるのですが、その勾配に定数倍の自由度、更新することが許されています。
その定数倍というものが学習率です。
最急降下法などと比較して考えるとわかりやすいです。

https://qiita.com/isaac-otao/items/6d44fdc0cfc8fed53657
経験的な振る舞いを実験？したもの。

http://postd.cc/optimizing-gradient-descent/
ちゃんとした説明。

[essa]

mkgrei様

ありがとうございます。