質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.80%

kerasにおける深層学習の精度についてです。

解決済

回答 3

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 5,812

Hayato1201

score 108

 前提・実現したいこと

ここに質問の内容を詳しく書いてください。
kerasを使いあるデータのクラス分類を行なっているのですが、エポックが進むごとにたまに精度が下がったりする事がありますがこれって普通に起こりえる事でしょうか?

以下のようにして、評価データをエポックごとに見ているのですが、突然精度が下がったりします。

model.fit(X_train, y_train, batch_size=100, verbose=1, epochs = epoch, validation_data = (X_test,y_test))

評価データの中からランダムにとってきてそれを評価しているならばたまたまとってきたところが学習できていないタイプのデータだったりすることによってこういうことが起きているのかとも思いますがどうなんでしょうか?
________________________________________________
追記です。

回答ありがとうございました。
データの表示やコールバック等はすでに使用しています。しかし後半精度がガクッと落ちてしまったりということがありました。ここで思ったのは評価データに偏りがあり、後半の評価データには教師データの数が少ないものが集中しており、それが原因かとも思ったのですが、validation_data = (X_test,y_test))となっている部分で、これが評価データに当たるのですが、毎エポックごとにこれはランダムに評価データをとってきているのでしょうか?そうだとしたら評価データの偏りは問題にならないし、モデルやパラメータの方に問題があるのかもしれませんが・・・
また、kerasの根本的な質問ですが、評価データに限らず、教室データの方も、バッチの数だけ毎回ランダムに使って学習しているのでしょうか?それともバッチ数100なら教師データ上から100、次はその次の100、という様にはなっていませんか?
________________________________
さらに追記です。

doropoutやbatchnormなどは使用して現在こんな感じです。イメージ説明

徐々に精度が下がってしまっています。。。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • 退会済みユーザー

    退会済みユーザー

    2018/02/19 13:14

    学習データの精度と訓練用の精度をepochごとにプロットしてみてください。典型的なoverfittingが起きていると思います。対策としては正則化を強める、dropoutを使うなどがあります。

    キャンセル

  • 退会済みユーザー

    退会済みユーザー

    2018/02/19 17:44

    モデルの自由度が高すぎるように見えますね。層の数、ユニットの数を減らして試してみてください。ただし、具体的なデータとモデルで再現できるようにしない限りはあてずっぽうな回答しか得られないと思います。

    キャンセル

回答 3

+3

 回答

これは一例(学習がうまくいっているパターン)ですが精度(accuracy)が一定のepoch毎に上がったり下がったりしますが全体の傾向として上昇傾向になるという例です。
ある一定区間(一定epoch数)だけをみると下がっているように見えるので「精度が下がったように見えた」という状況かもしれません。

イメージ説明
イメージ説明
Display Deep Learning Model Training History in Keras

 対策

精度やロスが減少傾向になっているか確認するのはどうするのか、上記のように精度とロスをプロットすることです。便利なことにKerasは学習中の精度とロスを履歴記録してくれるので簡単にプロットすることができます。

# 質問者様のコードを利用します
# http://aidiary.hatenablog.com/entry/20161109/1478696865 より
def plot_history(history):
    # print(history.history.keys())

    # 精度の履歴をプロット
    plt.plot(history.history['acc'])
    plt.plot(history.history['val_acc'])
    plt.title('model accuracy')
    plt.xlabel('epoch')
    plt.ylabel('accuracy')
    plt.legend(['acc', 'val_acc'], loc='lower right')
    plt.show()

    # 損失の履歴をプロット
    plt.plot(history.history['loss'])
    plt.plot(history.history['val_loss'])
    plt.title('model loss')
    plt.xlabel('epoch')
    plt.ylabel('loss')
    plt.legend(['loss', 'val_loss'], loc='lower right')
    plt.show()

# model.fitの戻り値で学習履歴(Historyオブジェクト)を受け取れます
history = model.fit(X_train, y_train, batch_size=100, verbose=1, epochs = epoch, validation_data = (X_test,y_test))

# 学習履歴をプロット
plot_history(history)

 参考

人工知能に関する断創録 - KerasでMNIST

学習履歴のプロット
fit()の戻り値である history に学習経過の履歴が格納されている。このオブジェクトを使えばいろいろな経過情報をプロットできる。デフォルトでは、loss(訓練データセットの損失)だけだが、modelのmetricsにaccuracyを追加するとacc(精度)が、バリデーションデータセットを使うとval_loss(バリデーションデータセットの損失)やval_acc(バリデーションデータセットの精度)が自動的に追加される。さっきの図はこのデータを使ってmatplotlibで書いた。ユーザ独自のメトリクスも定義できるようだ。

Keras - History

 おまけ

ついでにKerasのCallbackあたりを調べておくとモデルの学習が捗ると思います。
特にEarlyStoppingModelCheckpointなんかがよく使うかなと。

Keras - callbaks

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

checkベストアンサー

+1

学習方法・学習段階によっては十分に起こりうることです。。

単純な例ですと、学習率が大きすぎるために最適解を飛び越してしまうことで返ってエラーが大きくなることがあります。
学習方法で見ると、確率的勾配法は各ステップのランダム要素が大きいのでエラーが細かく上がったり下がったりします。ただ、少し長い区間で見ると全体的にエラーが下がって行きます(絶対ではありませんが)。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

0

追加についてだけ

評価データはずっと同じなはずです。
でないと比較ができません。
教師データもたくさん必要ですが、評価値の分散を下げるために評価データもそれなりに必要です。

また、バッチサイズとエポックについて少し誤解があるのではないでしょうか。
バッチサイズを決める実用上の理由はメモリにデータを載せることにあることが多いです。
バッチサイズ100、データ数1000だと、1エポックにつき10個のバッチを取り出しています。
1エポックというのはデータを1回ずつ全部使ったことを言います。

またデータのシャッフルについてはオプションがあって、エポックごとにバッチ取り出しを選びなおすか定めることができます。デフォルトは真です。
評価データはシャッフルしても意味はありません。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.80%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る