学習の様子を可視化できない

Question

学習の様子を可視化できないです。

・
・
・
# placeholders
input_sequence = Input((story_maxlen,))
question = Input((query_maxlen,))

# encoders
# embed the input sequence into a sequence of vectors
input_encoder_m = Sequential()
input_encoder_m.add(Embedding(input_dim=vocab_size,
                              output_dim=64))
input_encoder_m.add(Dropout(0.3))
# output: (samples, story_maxlen, embedding_dim)

# embed the input into a sequence of vectors of size query_maxlen
input_encoder_c = Sequential()
input_encoder_c.add(Embedding(input_dim=vocab_size,
                              output_dim=query_maxlen))
input_encoder_c.add(Dropout(0.3))
# output: (samples, story_maxlen, query_maxlen)

# embed the question into a sequence of vectors
question_encoder = Sequential()
question_encoder.add(Embedding(input_dim=vocab_size,
                               output_dim=64,
                               input_length=query_maxlen))
question_encoder.add(Dropout(0.3))
# output: (samples, query_maxlen, embedding_dim)

# encode input sequence and questions (which are indices)
# to sequences of dense vectors
input_encoded_m = input_encoder_m(input_sequence)
input_encoded_c = input_encoder_c(input_sequence)
question_encoded = question_encoder(question)

# compute a 'match' between the first input vector sequence
# and the question vector sequence
# shape: `(samples, story_maxlen, query_maxlen)`
match = dot([input_encoded_m, question_encoded], axes=(2, 2))
match = Activation('softmax')(match)

# add the match matrix with the second input vector sequence
response = add([match, input_encoded_c])  # (samples, story_maxlen, query_maxlen)
response = Permute((2, 1))(response)  # (samples, query_maxlen, story_maxlen)

# concatenate the match matrix with the question vector sequence
answer = concatenate([response, question_encoded])

# the original paper uses a matrix multiplication for this reduction step.
# we choose to use a RNN instead.
answer = LSTM(32)(answer)  # (samples, 32)

# one regularization layer -- more would probably be needed.
answer = Dropout(0.3)(answer)
answer = Dense(vocab_size)(answer)  # (samples, vocab_size)
# we output a probability distribution over the vocabulary
answer = Activation('softmax')(answer)

# build the final model
model = Model([input_sequence, question], answer)
model.compile(optimizer='rmsprop', loss='categorical_crossentropy',
              metrics=['accuracy'])

# train
hist = model.fit([inputs_train, queries_train], answers_train,
          batch_size=32,
          epochs=120,
          validation_data=([inputs_test, queries_test], answers_test))


model_path1 = 'model1.h5'
model.save(model_path1)

val_acc = hist.history['val_acc']

plt.rc('font',family='serif')
fig = plt.figure()
plt.plot(range(240),val_acc,label='acc',color='black')
plt.xlabel('epochs')
plt.show()

のようにコードを書いて学習の様子を可視化しようとしました。
しかし、何エポックになってもy軸が０のところにずっと線が引かれており学習の様子を可視化できませんでした。学習自体はできており、可視化がだけがうまくいっていないです。なぜうまく行かないのでしょうか？

Comments

[tiitoi]

学習できていることはどのように確認したのでしょうか？hist.history['val_acc'] を print すると、どうなりますか？

[taiyo2017]

予測と予測結果が表示されているからです。

[taiyo2017]

hist.history['val_acc']は、[0.0, 0.0, 0.0, 0.0, 0.0, 0.0・・・・0.0]のようになっています

[tiitoi]

model.fit() で学習を開始すると、学習やバリデーションの accuracy が表示されていると思いますが、そちらはちゃんと精度が出ているけど、history の値は全部0ということでしょうか？

[taiyo2017]

はい、そうです

[tiitoi]

model.fit() の返り値について回答にて整理しました。

Keras のコードを確認しましたが、history にある値は、model.fit() のときに表示される値と同じになるはずです。
お手数ですが、`acc` でなく、`val_acc` の値がどうなっているか確認できますか。

Answer 1

MNIST 学習サンプルコード

MNIST のサンプルで試してみました。

from keras import backend as K
from keras.datasets import mnist
from keras.layers import Activation, BatchNormalization, Dense, Dropout
from keras.models import Sequential
from keras.utils.np_utils import to_categorical
import numpy as np

# MNIST データを取得する。
(x_train, y_train), (x_test, y_test) = mnist.load_data()
print('x_train.shape', x_train.shape)  # x_train.shape (60000, 28, 28)
print('y_train.shape', y_train.shape)  # y_train.shape (60000,)
print('x_test.shape', x_test.shape)  # x_test.shape (10000, 28, 28)
print('y_test.shape', y_test.shape)  # y_test.shape (10000,)

# 1次元配列にする。 (28, 28) -> (784,) にする
x_train = x_train.reshape(len(x_train), -1)
x_test = x_test.reshape(len(x_test), -1)

# one-hot 表現に変換する。
y_train = to_categorical(y_train)
y_test = to_categorical(y_test)

# モデルを作成する。
model = Sequential()
model.add(Dense(10, input_dim=784))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(Dense(10))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(Dense(10))
model.add(BatchNormalization())
model.add(Activation('softmax'))
model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

# 学習する。
history = model.fit(x_train, y_train, epochs=10, batch_size=128,
                    validation_data=(x_test, y_test))

model.fit() の返り値

model.fit() は学習が終了すると、keras.callbacks.History オブジェクトを返す。

これの history 属性に辞書で以下のキーで値が入っている。

• loss: 各エポックの学習誤差
• val_loss: 各エポックのバリデーション誤差
• acc: 各エポックの学習精度
• val_acc: 各エポックのバリデーション精度

---

バリデーションのログは、model.fit() 時に引数で次のいずれかでバリデーション機能を有効にした場合のみ、キーが存在している。

• validation_data=(x_test, y_test) でバリデーション用のデータを与える。
• validation_split で学習データのうち、バリデーション用に使う割合を指定する。

---

精度のログは、model.compile() 時に引数で metrics=['accuracy'] を指定した場合のみ、キーが存在している。

model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

ログをグラフ化するコード

import matplotlib.pyplot as plt
fig, [axes1, axes2] = plt.subplots(1, 2, figsize=(8, 4))

epochs = np.arange(1, len(history.history['loss']) + 1)

# 各エポックの誤差の推移
axes1.set_title('loss')
axes1.plot(epochs, history.history['loss'], label='train')
axes1.plot(epochs, history.history['val_loss'], label='validation')
axes1.set_xticks(epochs)

# 各エポックの精度の推移
axes2.set_title('accuracy')
axes2.plot(epochs, history.history['acc'], label='train')
axes2.plot(epochs, history.history['val_acc'], label='validation')
axes2.set_xticks(epochs)

plt.show()

バリデーションの精度がすべて 0 である問題について

model.fit() で学習を開始すると、エポックごとに4つの指標 loss, acc, val_loss, val_acc の値が表示されると思いますが、ここの val_acc の値は本当に 0 になっていませんか？ ここの値も 0 になっているなら、実際そのとおりの結果なのだと思います。

Epoch 1/10
60000/60000 [==============================] - 1s 24us/step - loss: 0.9237 - acc: 0.7781 - val_loss: 0.5519 - val_acc: 0.8862
Epoch 2/10
60000/60000 [==============================] - 1s 11us/step - loss: 0.4600 - acc: 0.8953 - val_loss: 0.3564 - val_acc: 0.9146

また以下のコードで history の値も確認してみてください。

from pprint import pprint
for key, value in history.history.items():
    print('key', key)
    pprint(value)

Comments

[taiyo2017]

ありがとうございます！今更なのですが、オレンジと青の２つの線がそれぞれどちらを示しているか見分けをつける方法はあるのでしょうか？

[tiitoi]

Axes.legend() を呼び出すことで、plot() した際に label 引数で指定したラベル名が表示できます。

例
```
axes1.plot(epochs, history.history['loss'], label='train')
axes1.plot(epochs, history.history['val_loss'], label='validation')
axes1.legend()
```

[taiyo2017]

なるほど！ありがとうございます！