学習曲線の形がおかしい

Question

まずは学習曲線を見ていただきたいです
（2つの値を出力するモデルのため、TrainとValのLossが２つずつあります）

この曲線には以下の2つの違和感があると感じております。
・最初はLossの減りが緩やかで、少し経つと減りが大きくなり、最後には収束している
・ValidationのロスはTrainよりも低い

予測自体は正しくできていたのですが、こうした学習曲線を今まで見たことがないために、
”正しく学習できた”と判断してよいものか迷っています。
みなさんのご意見をお聞かせいただきたいです。

抽象的な質問で誠に恐縮ですが、追記・補足すべきことがありましたらお気軽にお知らせください。

---

以下、関係があるかはわかりませんが、ご参考までに。
・用いているのは転移学習のモデルで、事前学習と再学習にはかなり似通ったデータを使っています
・学習率は非常に低く設定していますが(0.00001)、これを大きくすると学習が安定しなくなります

---

Comments

[退会済みユーザー]

AとBの違いは何でしょうか？よくあるグラフのようにも見えます。

[-AYAKA20]

コメント誠にありがとうございます。
2つの値を出力するモデルなので、便宜上A,Bとそれぞれ名前をつけておりました。

さて、よくあるグラフに見えるとのことですが...質問文に記載した2点に関しましても、
fourteenlength様としては特段違和感が無いとお考えでしょうか？

Answer 1

・最初はLossの減りが緩やかで、少し経つと減りが大きくなり、最後には収束している

ネットワークの構造にもよると思いますが、膨大なパラメータを具合よく調整していくのは難しいと思います。初めは見当違いなパラメータだったものが、だんだん具合良くなっていき、最後は微調整をしている、と理解すればこういう曲線になるだろうと思います。

・ValidationのロスはTrainよりも低い

ものによるかもしれませんが、必ずしもTrain lossの方が小さいとは限らないと思います。昔どこかに書きましたが、Trainはバッチの平均のlossを表示、Validationはバッチの最後にTrainで鍛え上げられてチューニングされた状態で最後にまとめて計算というように違いがあるので、こういうものかなと思います。

本質的に同じAとBとで片方だけ乱高下していたらプログラミングのミスを疑いますが、こういう感じであれば、「よしよし、うまくいってる」と思っていいと思います。