質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

1回答

24672閲覧

機械学習においてval_lossに上昇傾向がみられた場合には、すぐにepochを中止すべきなのでしょうか。

yohehe

総合スコア48

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

1クリップ

投稿2018/10/28 08:38

機械学習の勉強をしております。

曖昧な質問で申し訳ないのですが、val_lossが低下しなくなるとepochsを止めてすぐに学習をさせないほうが望ましいのでしょうか。

以下に取得したデータからラベル分類を行った損失関数と正答率についてのグラフデータをはっております。(手法はnormal_NN,convolveなどを試しております。)

val_lossに上昇がみられたとしても、そのままepochsを進めて見ると、損失関数lossは低下傾向を維持しており、val_acc,accはともに上昇傾向でもあります。

学習の手法自体に問題がある可能性もありますが、このようなval_lossのみ上昇がみられた際において、loss,val_loss,accuracyについてどの状態を優先すべきかどうかについて何かアドバイスを頂けますと有難いです。

よろしくお願いいたします。

イメージ説明

イメージ説明

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

評価指標(val_acc)が下がっているなら問題ですが、向上していくのなら学習を進めても大きな問題はありません(全体的な学習の成功具合は別として。また、accuracyを使う妥当性についても考えるべき)。


直感的な現象の説明としては、以下のようになります。

たとえば二値分類で出力層ユニット数1、活性化関数sigmoidとしたとします。

バリデーションセットに含まれる真値が0のデータを一旦は0.1に写像するように学習できたとし、そこから学習を進めた結果値が上がっていって0.3になったとします。

この場合、どちらにせよ分類結果は0.5を境に分けるので変わりませんが、val_lossは上昇すると思います。

これが一概に悪いとは言えません。もともと確率30%くらいのところにあるべきデータだったのかもしれません。

質問のデータのようにval_lossとval_accが同時に上昇するということは、そういった際どいデータに対する分類性能が微妙に改善していることを表すように思えます。どちらかというと汎化が進んでいるサインと解釈できます。

投稿2018/10/28 08:58

hayataka2049

総合スコア30933

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

yohehe

2018/10/28 09:22 編集

なるほど、汎化が進んでいるサインとしてとらえることもできるのですか。勉強になります。様々な手法を行っていましてこのような状態に何度かなってしまい、学習の設定に困っておりました。 accuracyについての妥協点について、少し伺いたいのですが、accuracyが1.0に到達した際を学習させるepochsの目安(val_accはさらに向上することもあるとしても)としてとらえることはあまり望ましくないでしょうか。テストデータでの正答率をまず指標にすることは間違いないですが。
yohehe

2018/10/28 12:06

hayataka2049様、ありがとうございます。 参考サイトの情報も読んで、改めて勉強してみます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問