Keras historyを可視化できない

Question

Kerasでhistoryをグラフに出力したいのですが、学習の数値だけでグラフが出ません。

環境は macOS version:10.14.5、python3.7でjupyter labを使っています。

import numpy as np
import matplotlib.pyplot as plt
from keras.datasets import mnist
from keras.layers import Activation, Dense, Dropout
from keras.models import Sequential, load_model
from keras.utils.np_utils import to_categorical
from keras import optimizers
from keras import models
from keras import layers

%matplotlib inline

(X_train, y_train), (X_test, y_test) = mnist.load_data()

X_train = X_train.reshape(X_train.shape[0], 784)[:6000]
X_test = X_test.reshape(X_test.shape[0], 784)[:1000]
y_train = to_categorical(y_train)[:6000]
y_test = to_categorical(y_test)[:1000]

model = Sequential()
model.add(Dense(256, input_dim=784))
model.add(Activation("sigmoid"))
model.add(Dense(128))
model.add(Activation("sigmoid"))

model.add(Dropout(rate=0.5))

model.add(Dense(10))
model.add(Activation("softmax"))

sgd = optimizers.SGD(lr=0.1)

model.compile(optimizer=sgd, loss="categorical_crossentropy", metrics=["accuracy"])

history = model.fit(
    X_train,
    y_train,
    batch_size=32,
    epochs=5,
    verbose=1,
    validation_data=(X_test, y_test),
)

acc = history.history["acc"]
val_acc = history.history["val_acc"]
loss = history.history["loss"]
val_loss = history.history["val_loss"]

epochs = range(0, len(acc)+1)

plt.plot(epochs, acc, label="acc", ls="-", marker="o")
plt.plot(epochs, val_acc, label="val_acc", ls="-", marker="x")
plt.ylabel("accuracy")
plt.xlabel("epoch")
plt.legend(loc="best")
plt.show()

OUT

WARNING:tensorflow:From /Users/tk/.pyenv/versions/anaconda3-5.3.1/lib/python3.7/site-packages/tensorflow/python/framework/op_def_library.py:263: colocate_with (from tensorflow.python.framework.ops) is deprecated and will be removed in a future version.
Instructions for updating:
Colocations handled automatically by placer.
WARNING:tensorflow:From /Users/tk/.pyenv/versions/anaconda3-5.3.1/lib/python3.7/site-packages/keras/backend/tensorflow_backend.py:3445: calling dropout (from tensorflow.python.ops.nn_ops) with keep_prob is deprecated and will be removed in a future version.
Instructions for updating:
Please use rate instead of keep_prob. Rate should be set to rate = 1 - keep_prob.
WARNING:tensorflow:From /Users/tk/.pyenv/versions/anaconda3-5.3.1/lib/python3.7/site-packages/tensorflow/python/ops/math_ops.py:3066: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version.
Instructions for updating:
Use tf.cast instead.
Train on 6000 samples, validate on 1000 samples
Epoch 1/5
6000/6000 [==============================] - 2s 406us/step - loss: 1.7341 - acc: 0.4120 - val_loss: 1.1612 - val_acc: 0.6760
Epoch 2/5
6000/6000 [==============================] - 2s 261us/step - loss: 1.0437 - acc: 0.6675 - val_loss: 0.8453 - val_acc: 0.7640
Epoch 3/5
6000/6000 [==============================] - 1s 238us/step - loss: 0.8622 - acc: 0.7213 - val_loss: 0.7237 - val_acc: 0.7970
Epoch 4/5
6000/6000 [==============================] - 2s 282us/step - loss: 0.7922 - acc: 0.7522 - val_loss: 0.6881 - val_acc: 0.8060
Epoch 5/5
6000/6000 [==============================] - 2s 256us/step - loss: 0.7314 - acc: 0.7722 - val_loss: 0.6314 - val_acc: 0.8150

---

「Pythonで学ぶ！深層学習の教科書」という本で勉強しているのですが、この本のソースコード通りに書いても同じ結果になってしまいます。
本では、plt.plotの部分が

plt.plot(history.history["acc"], label="acc", ls="-", marker="o")

となっています。

何かわかることがございましたら、ご教示いただければ幸いです。

---

追記

plt.plot([1, 5], [1, 10])を書いてみたのですが、グラフが表示されませんでした。
pythonやkerasのバージョンが原因で表示されないことはあるのでしょうか？

import numpy as np
import matplotlib.pyplot as plt
from keras.datasets import mnist
from keras.layers import Activation, Dense, Dropout
from keras.models import Sequential, load_model
from keras.utils.np_utils import to_categorical
from keras import optimizers
from keras import models
from keras import layers
import tensorflow
import tensorboard
from livelossplot import PlotLossesKeras

%matplotlib inline

(X_train, y_train), (X_test, y_test) = mnist.load_data()

X_train = X_train.reshape(X_train.shape[0], 784)[:6000]
X_test = X_test.reshape(X_test.shape[0], 784)[:1000]
y_train = to_categorical(y_train)[:6000]
y_test = to_categorical(y_test)[:1000]

model = Sequential()
model.add(Dense(256, input_dim=784))
model.add(Activation("sigmoid"))
model.add(Dense(128))
model.add(Activation("sigmoid"))

model.add(Dropout(rate=0.5))

model.add(Dense(10))
model.add(Activation("softmax"))

sgd = optimizers.SGD(lr=0.1)

model.compile(optimizer=sgd, loss="categorical_crossentropy", metrics=["accuracy"])

# callbacks = [PlotLossesKeras()]

history = model.fit(
    X_train,
    y_train,
    batch_size=32,
    epochs=5,
    verbose=1,
    validation_data=(X_test, y_test),
#     callbacks=[PlotLossesKeras()]
)

acc = history.history["acc"]
val_acc = history.history["val_acc"]
loss = history.history["loss"]
val_loss = history.history["val_loss"]

epochs = range(1, len(acc) + 1)


print("-" * 20)
print(epochs)
print(history)
print("-" * 20)


plt.plot([1, 5], [1, 10])  # 追記
plt.plot(epochs, acc, label="acc", ls="-", marker="o")
plt.plot(epochs, val_acc, label="val_acc", ls="-", marker="x")
plt.ylabel("accuracy")
plt.xlabel("epoch")
plt.legend(loc="best")

Answer 1

epochsのデータ数が合ってませんね。

epochs = range(0, len(acc)+1)

の部分は

epochs = range(0, len(acc))

または

epochs = range(1, len(acc)+1)

の間違いではないでしょうか。
あと、

%matplotlib inline

を記述しているのであれば

plt.show()

は不要ですね。

---

【追記】
実際に実行したコード

import numpy as np
import matplotlib.pyplot as plt
from keras.datasets import mnist
from keras.layers import Activation, Dense, Dropout
from keras.models import Sequential, load_model
from keras.utils.np_utils import to_categorical
from keras import optimizers
from keras import models
from keras import layers

%matplotlib inline

(X_train, y_train), (X_test, y_test) = mnist.load_data()
X_train = X_train.reshape(X_train.shape[0], 784)[:6000]
X_test = X_test.reshape(X_test.shape[0], 784)[:1000]
y_train = to_categorical(y_train)[:6000]
y_test = to_categorical(y_test)[:1000]

model = Sequential()
model.add(Dense(256, input_dim=784))
model.add(Activation("sigmoid"))
model.add(Dense(128))
model.add(Activation("sigmoid"))
model.add(Dropout(rate=0.5))
model.add(Dense(10))
model.add(Activation("softmax"))
sgd = optimizers.SGD(lr=0.1)
model.compile(optimizer=sgd, loss="categorical_crossentropy", metrics=["accuracy"])
model.summary()
history = model.fit(
    X_train,
    y_train,
    batch_size=32,
    epochs=5,
    verbose=1,
    validation_data=(X_test, y_test),
)

acc = history.history["acc"]
val_acc = history.history["val_acc"]
loss = history.history["loss"]
val_loss = history.history["val_loss"]
epochs = range(1, len(acc)+1)

plt.plot(epochs, acc, label="acc", ls="-", marker="o")
plt.plot(epochs, val_acc, label="val_acc", ls="-", marker="x")
plt.ylabel("accuracy")
plt.xlabel("epoch")
plt.legend(loc="best")

実行した結果（途中経過は省略しております）

です。

もしこれで表示できないのであれば、matplotlib のインストール等に失敗している可能性があります。
試しに最小限のコード

%matplotlib inline
import matplotlib.pyplot as plt
plt.plot([0,1],[0,1])

にてグラフが描画できるか確認してみてください。

Comments

[wrkig]

回答ありがとうございます！
修正してみましたが、出力は変わらずで、グラフは表示されませんでした。。。

plt.show()は不要なんですね！

[magichan]

んーなんでだろ？？
とりあえず、私の環境にて動作したコードをそのまま転記しましたので、ご確認ください。

[wrkig]

最小限のコードを実行したところ正常にグラフが出力されました。

載せていただいたコードも実行したのですが、グラフは出力されませんでした。

[magichan]

であれば、結果がどうなっているかですね。
新しいセルに
acc
だけ記述して実行した結果（accの中身）はどうなってますか？

[wrkig]

新しいセルでaccを実行してみたところ、NameError: name 'acc' is not definde となってしまっていました。

[magichan]

あれ？
コードに
acc = history.history["acc"]
があるので、acc には何らかの値が入っているはずなのですが・・
今一度、上記のkerasのコードが入ったセルを実行した後に、acc だけのセルを実行してみてください。（下記忘れてましたが、kerasのコードと同じノート上のセルでお願いします）

[magichan]

kerasにて問題なく学習が進んでいるのであれば、acc の結果は何らかの１次配列となっている筈です。
であれば更に新しいセルで

plt.plot(acc)

を実行すると何らかのグラフが描画されると思うのすが。

[wrkig]

載せていただいたコードのplt.plotの前に、print(acc)やprint("Hello")を書いてみたのですが、これも出力されませんでした。。。

[magichan]

一度整理しましょうか。
history = model.fit(...)
までを実行すると出力に質問で書かれている

Epoch 1/5
6000/6000 [==============================] - 2s 406us/step - loss: 1.7341 - acc: 0.412

のようなログが表示されるのですが、これは表示されてますか？
表示されているのであれば、その次の行に

print(history.history)

を入れてhistory情報が格納されているかを確認してください。

[wrkig]

新しいセルで plt.plot(acc) を実行してみたのですが、
NameError: name 'plt' is not defined
になってしまいます。
accも相変わらず not defined です・・・

昨日、質問文記載のコードに print(acc) や print("Hello") を書いて何回も実行していた中で、一度だけ acc の配列と Hello が表示されたことがありました。
このときもグラフは出力されずで、新しいセルで plt.plot(epochs, acc) を実行したのですが、このときも name 'plt' is not defined となってしまっていました。

[wrkig]

print(history.history)も　name 'history' is not defined でした。

学習ログは表示されていました。

[magichan]

history = model.fit(...)
を実行した後なのですから、history が定義されていない事はないかと思います。
また、質問のコードの２行目で
import matplotlib.pyplot as plt
を実行していますので、plt が定義されていない事もありません。

[wrkig]

さらに追記失礼します。
いま、記載していただいたコードに　print(acc)　と　print(val_acc)　を書いて実行したところ、

[0.4151666666666667, 0.6521666666666667, 0.7196666666666667, 0.754, 0.7613333333333333]
[0.7, 0.764, 0.786, 0.798, 0.826]

が出力されました。

plt.plot(acc)　を新しいセルで実行したところ、右上のkernelが動き続けていて出力される気配がありません。。。

[wrkig]

昨日からいろいろと試しているのですが、model.fit(...) は正常に動いていて、history に格納されず、model.fit(...)以下のコードが実行されていないような挙動をしています。

もう一回コードを実行したところ、またprint文が出力されなくなってしまいました...

[magichan]

症状的には model.fit() の実行後に終了していないような感じですね。であれば TensorFlow / Keras 環境が怪しいかもしれませんね。

[magichan]

まずは Google colaboratory などの フリーの Jupyter実行環境を使って上記のコードの正常系の動作を確認してみるのも良いかもしれません。

[wrkig]

Google colaboratory で実行してみたところ、グラフも含めて正常に出力されたので、私の環境に問題があるようです。ご指摘の通りTensorFlow / Keras の環境を見直してみようと思います。

貴重なお時間を割いていただいて本当にありがとうございます！