kerasにおける深層学習の精度についてです。

Question

前提・実現したいこと

ここに質問の内容を詳しく書いてください。
kerasを使いあるデータのクラス分類を行なっているのですが、エポックが進むごとにたまに精度が下がったりする事がありますがこれって普通に起こりえる事でしょうか？

以下のようにして、評価データをエポックごとに見ているのですが、突然精度が下がったりします。

model.fit(X_train, y_train, batch_size=100, verbose=1, epochs = epoch, validation_data = (X_test,y_test))

評価データの中からランダムにとってきてそれを評価しているならばたまたまとってきたところが学習できていないタイプのデータだったりすることによってこういうことが起きているのかとも思いますがどうなんでしょうか？
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
追記です。

回答ありがとうございました。
データの表示やコールバック等はすでに使用しています。しかし後半精度がガクッと落ちてしまったりということがありました。ここで思ったのは評価データに偏りがあり、後半の評価データには教師データの数が少ないものが集中しており、それが原因かとも思ったのですが、validation_data = (X_test,y_test))となっている部分で、これが評価データに当たるのですが、毎エポックごとにこれはランダムに評価データをとってきているのでしょうか？そうだとしたら評価データの偏りは問題にならないし、モデルやパラメータの方に問題があるのかもしれませんが・・・
また、kerasの根本的な質問ですが、評価データに限らず、教室データの方も、バッチの数だけ毎回ランダムに使って学習しているのでしょうか？それともバッチ数１００なら教師データ上から１００、次はその次の１００、という様にはなっていませんか？
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
さらに追記です。

doropoutやbatchnormなどは使用して現在こんな感じです。

徐々に精度が下がってしまっています。。。

Comments

[退会済みユーザー]

学習データの精度と訓練用の精度をepochごとにプロットしてみてください。典型的なoverfittingが起きていると思います。対策としては正則化を強める、dropoutを使うなどがあります。

[退会済みユーザー]

モデルの自由度が高すぎるように見えますね。層の数、ユニットの数を減らして試してみてください。ただし、具体的なデータとモデルで再現できるようにしない限りはあてずっぽうな回答しか得られないと思います。

Answer 1

回答

これは一例(学習がうまくいっているパターン)ですが精度(accuracy)が一定のepoch毎に上がったり下がったりしますが全体の傾向として上昇傾向になるという例です。
ある一定区間(一定epoch数)だけをみると下がっているように見えるので「精度が下がったように見えた」という状況かもしれません。

Display Deep Learning Model Training History in Keras

対策

精度やロスが減少傾向になっているか確認するのはどうするのか、上記のように精度とロスをプロットすることです。便利なことにKerasは学習中の精度とロスを履歴記録してくれるので簡単にプロットすることができます。

# 質問者様のコードを利用します
# http://aidiary.hatenablog.com/entry/20161109/1478696865 より
def plot_history(history):
    # print(history.history.keys())

    # 精度の履歴をプロット
    plt.plot(history.history['acc'])
    plt.plot(history.history['val_acc'])
    plt.title('model accuracy')
    plt.xlabel('epoch')
    plt.ylabel('accuracy')
    plt.legend(['acc', 'val_acc'], loc='lower right')
    plt.show()

    # 損失の履歴をプロット
    plt.plot(history.history['loss'])
    plt.plot(history.history['val_loss'])
    plt.title('model loss')
    plt.xlabel('epoch')
    plt.ylabel('loss')
    plt.legend(['loss', 'val_loss'], loc='lower right')
    plt.show()

# model.fitの戻り値で学習履歴(Historyオブジェクト)を受け取れます
history = model.fit(X_train, y_train, batch_size=100, verbose=1, epochs = epoch, validation_data = (X_test,y_test))

# 学習履歴をプロット
plot_history(history)

参考

人工知能に関する断創録 - KerasでMNIST

学習履歴のプロット

fit()の戻り値である history に学習経過の履歴が格納されている。このオブジェクトを使えばいろいろな経過情報をプロットできる。デフォルトでは、loss（訓練データセットの損失）だけだが、modelのmetricsにaccuracyを追加するとacc（精度）が、バリデーションデータセットを使うとval_loss（バリデーションデータセットの損失）やval_acc（バリデーションデータセットの精度）が自動的に追加される。さっきの図はこのデータを使ってmatplotlibで書いた。ユーザ独自のメトリクスも定義できるようだ。

Keras - History

おまけ

ついでにKerasのCallbackあたりを調べておくとモデルの学習が捗ると思います。
特にEarlyStoppingやModelCheckpointなんかがよく使うかなと。

Keras - callbaks

Answer 2

学習方法・学習段階によっては十分に起こりうることです。。

単純な例ですと、学習率が大きすぎるために最適解を飛び越してしまうことで返ってエラーが大きくなることがあります。
学習方法で見ると、確率的勾配法は各ステップのランダム要素が大きいのでエラーが細かく上がったり下がったりします。ただ、少し長い区間で見ると全体的にエラーが下がって行きます（絶対ではありませんが）。

Answer 3

追加についてだけ

評価データはずっと同じなはずです。
でないと比較ができません。
教師データもたくさん必要ですが、評価値の分散を下げるために評価データもそれなりに必要です。

また、バッチサイズとエポックについて少し誤解があるのではないでしょうか。
バッチサイズを決める実用上の理由はメモリにデータを載せることにあることが多いです。
バッチサイズ100、データ数1000だと、1エポックにつき10個のバッチを取り出しています。
1エポックというのはデータを１回ずつ全部使ったことを言います。

またデータのシャッフルについてはオプションがあって、エポックごとにバッチ取り出しを選びなおすか定めることができます。デフォルトは真です。
評価データはシャッフルしても意味はありません。