機械学習においてval_lossに上昇傾向がみられた場合には、すぐにepochを中止すべきなのでしょうか。

Question

機械学習の勉強をしております。

曖昧な質問で申し訳ないのですが、val_lossが低下しなくなるとepochsを止めてすぐに学習をさせないほうが望ましいのでしょうか。

以下に取得したデータからラベル分類を行った損失関数と正答率についてのグラフデータをはっております。（手法はnormal_NN,convolveなどを試しております。）

val_lossに上昇がみられたとしても、そのままepochsを進めて見ると、損失関数lossは低下傾向を維持しており、val_acc,accはともに上昇傾向でもあります。

学習の手法自体に問題がある可能性もありますが、このようなval_lossのみ上昇がみられた際において、loss,val_loss,accuracyについてどの状態を優先すべきかどうかについて何かアドバイスを頂けますと有難いです。

よろしくお願いいたします。

Answer 1

評価指標（val_acc）が下がっているなら問題ですが、向上していくのなら学習を進めても大きな問題はありません（全体的な学習の成功具合は別として。また、accuracyを使う妥当性についても考えるべき）。

---

直感的な現象の説明としては、以下のようになります。

たとえば二値分類で出力層ユニット数1、活性化関数sigmoidとしたとします。

バリデーションセットに含まれる真値が0のデータを一旦は0.1に写像するように学習できたとし、そこから学習を進めた結果値が上がっていって0.3になったとします。

この場合、どちらにせよ分類結果は0.5を境に分けるので変わりませんが、val_lossは上昇すると思います。

これが一概に悪いとは言えません。もともと確率30%くらいのところにあるべきデータだったのかもしれません。

質問のデータのようにval_lossとval_accが同時に上昇するということは、そういった際どいデータに対する分類性能が微妙に改善していることを表すように思えます。どちらかというと汎化が進んでいるサインと解釈できます。

Comments

[yohehe]

なるほど、汎化が進んでいるサインとしてとらえることもできるのですか。勉強になります。様々な手法を行っていましてこのような状態に何度かなってしまい、学習の設定に困っておりました。

accuracyについての妥協点について、少し伺いたいのですが、accuracyが１．０に到達した際を学習させるepochsの目安（val_accはさらに向上することもあるとしても）としてとらえることはあまり望ましくないでしょうか。テストデータでの正答率をまず指標にすることは間違いないですが。

[hayataka2049]

実性能で数%妥協することになるかもしれませんが、それを呑めるならありだと思います
正常に学習できていれば、学習データを100%分類できるようになった時点で相応に収束していると考えられるので
https://postd.cc/26-things-i-learned-in-the-deep-learning-summer-school/

[yohehe]

hayataka2049様、ありがとうございます。
参考サイトの情報も読んで、改めて勉強してみます。