kerasの学習曲線のグラフでエラーが出ます。

Question

機械学習の過学習を確認するため、訓練データとテストデータの精度のグラフを描こうとすると、エラーが出てしまいます。
accのグラフは描けているようなのですが、val_accのグラフが描けないのです。

どなたかお詳しい方、お助けください。
よろしくお願いいたします。

model = keras.models.Sequential()


model.add(Dense(units=128,input_dim=250))
model.add(Activation('relu'))
model.add(Dropout(0.2))
          

model.add(Dense(units=32))
model.add(Activation('relu'))
#model.add(Dropout(0.2))

                      

model.add(Dense(units=2))
model.add(Activation('softmax'))

model.compile(loss='sparse_categorical_crossentropy',optimizer='adam',metrics=['accuracy'])

#　学習の実行
#model.fit(x_train_std,y_train,epochs=10,batch_size=4, verbose=0)
hist=model.fit(x_train_std,y_train,epochs=10,batch_size=4, verbose=0)
#　評価の実行
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
predict_classes = model.predict_classes(x_test_std)

score = model.evaluate(x_test_std,y_test)
print('正確度(accuracy):', score[1])
print('　')
print('精度:{:.3f}'.format(accuracy_score(y_test, predict_classes)))
print('適合率:{:.3f}'.format(precision_score(y_test, predict_classes)))
print('再現率:{:.3f}'.format(recall_score(y_test, predict_classes)))
print('f-1値:{:.3f}'.format(f1_score(y_test, predict_classes)))

#　混同行列（Confusion Matrix）
print('　')
from sklearn.metrics import confusion_matrix
print(confusion_matrix(y_test, predict_classes))

import matplotlib.pyplot as plt
# ⑥-2 学習経過をグラフに記録
# 正解率の推移をプロット
plt.plot(hist.history['acc'])
plt.plot(hist.history['val_acc'])
plt.title('Accuracy')
plt.legend(['train', 'test'], loc='upper left')
plt.show()
# ロスの推移をプロット
plt.plot(hist.history['loss'])
plt.plot(hist.history['val_loss'])
plt.title('Loss')
plt.legend(['train', 'test'], loc='upper left')
plt.show()

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-22-520aa5a76f5e> in <module>
      3 # 正解率の推移をプロット
      4 plt.plot(hist.history['acc'])
----> 5 plt.plot(hist.history['val_acc'])
      6 plt.title('Accuracy')
      7 plt.legend(['train', 'test'], loc='upper left')

KeyError: 'val_acc'

Comments

[magichan]

エラーとしては history に 'val_acc'が無いといっておりますので、一度
print(hist.history)
にて history の中身（'val_acc'キーの有無）を確認してみてください。

[python_2019]

ありがとうございます。

中身を確認しますと、データはあるようです。
訓練データ（acc）は描写されるので、どこかテストデータ（val_acc）の設定が抜けているのでしょうか？

[magichan]

historyに 'val_acc'のデータがあるのであれば、エラーなく表示されるはずなのですが。
print(hist.history['val_acc'])
で問題なくval_accの履歴が表示されるのですよね？

[python_2019]

ありがとございます。

print(hist.history['val_acc'])を実行させると、以下のように表示されました。
データは存在しているようなのですが...。

[0.8083333333333333, 0.775, 0.7916666666666666, 0.8, 0.8, 0.7916666666666666, 0.7916666666666666, 0.7833333333333333, 0.7833333333333333, 0.7916666666666666, 0.8083333333333333, 0.8, 0.8, 0.8166666666666667, 0.8, 0.8, 0.8083333333333333, 0.8, 0.8, 0.8166666666666667, 0.825, 0.825, 0.8083333333333333, 0.8083333333333333, 0.8166666666666667, 0.8, 0.8, 0.8, 0.8, 0.7833333333333333, 0.8, 0.7916666666666666, 0.7916666666666666, 0.8, 0.8, 0.8083333333333333, 0.8, 0.8, 0.7833333333333333, 0.8, 0.7916666666666666, 0.7916666666666666, 0.8, 0.8, 0.7833333333333333, 0.7833333333333333, 0.7666666666666667, 0.7583333333333333, 0.7666666666666667, 0.775, 0.7916666666666666, 0.7833333333333333, 0.7666666666666667, 0.7833333333333333, 0.7833333333333333, 0.7916666666666666, 0.7916666666666666, 0.7916666666666666, 0.8, 0.7916666666666666, 0.7916666666666666, 0.8166666666666667, 0.8083333333333333, 0.8, 0.7916666666666666, 0.8, 0.7916666666666666, 0.7916666666666666, 0.7833333333333333, 0.7833333333333333, 0.8, 0.7916666666666666, 0.8, 0.8083333333333333, 0.7833333333333333, 0.7916666666666666, 0.7916666666666666,

[magichan]

であればエラーは出ないはずですね。(上記の表示しているデータをプロットしているだけなので)
もう一度　綴りが間違っているないか　半角と全角が間違っていないかを確認下さい

[python_2019]

ご連絡ありがとうございます。

綴りや、半角と全角、インデントなど、何度もよく調べてみたのですが、やはり上記のエラーが出てしまいます。。
学習は正常にされているのに、その結果の訓練データのグラフ（acc）は描かれ、テストデータのグラフ（val_acc）だけが描かれないのが不思議です。
モデルのcompileやfitで、テストデータのグラフ描写用(データ格納用)のパラメータか何か足りないのでしょうか？

Answer 1

fit() 関数に validation_split=0.1 のようにバリデーションを行う設定をしないと、バリデーションは行われないので、history のキーに val_acc がないのだと思います。

公式リファレンスより

validation_split: 0から1までの浮動小数点数． 訓練データの中で検証データとして使う割合． 訓練データの中から検証データとして設定されたデータは，訓練時に使用されず，各エポックの最後に計算される損失関数や何らかのモデルの評価関数で使われます．

Sequentialモデル - Keras Documentation

Comments

[python_2019]

いつもありがとうございます。
的確なご指摘により、解決いたしました。
リンクも勉強になりました。

Answer 2

ご指摘どおり、バリデーションを設定すると上手く行きました。

どうもありがとうございました。

Answer 3

ご指摘どおり、バリデーションを設定すると上手く行きました。

ありがとうございました。

Answer 4

ご指摘どおり、バリデーションを設定すると上手く行きました。

ありがとうございました。