kerasで指定したepoch数ごとに学習したモデルを保存する方法について

Question

kerasでディープラーニングの計算をする際に、一日放置していた時、モデルが過学習を起こしていたので、指定したepochごとに学習したモデルとlossなどの計算結果を保存するプログラムが欲しいです。
fitで学習を実行したときに引数のcallbacksでログを保存することは知っているのですが、それだと最終結果しか保存されないので困っています。
よろしくお願いします。

Answer 1

ModelCheckpoint を fit() 関数に渡してあげるとできます。

サンプルコード

import os

import numpy as np
from keras.callbacks import ModelCheckpoint
from keras.datasets import mnist
from keras.layers import Activation, BatchNormalization, Dense
from keras.models import Sequential
from keras.utils.np_utils import to_categorical

# MNIST データを取得する。
(x_train, y_train), (x_test, y_test) = mnist.load_data()
print('x_train.shape', x_train.shape)  # x_train.shape (60000, 28, 28)
print('y_train.shape', y_train.shape)  # y_train.shape (60000,)
print('x_test.shape', x_test.shape)  # x_test.shape (10000, 28, 28)
print('y_test.shape', y_test.shape)  # y_test.shape (10000,)

# 1次元配列にする。 (28, 28) -> (784,) にする
x_train = x_train.reshape(len(x_train), -1)
x_test = x_test.reshape(len(x_test), -1)

# one-hot 表現に変換する。
y_train = to_categorical(y_train)
y_test = to_categorical(y_test)

# モデルを作成する。
model = Sequential()
model.add(Dense(10, input_dim=784))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(Dense(10))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(Dense(10))
model.add(BatchNormalization())
model.add(Activation('softmax'))
model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

# 学習する。
os.makedirs('models', exist_ok=True)
model_checkpoint = ModelCheckpoint(
    filepath=os.path.join('models', 'model_{epoch:02d}_{val_loss:.2f}.h5'),
    monitor='val_loss',
    verbose=1)

history = model.fit(x_train, y_train, epochs=10, batch_size=128,
                    validation_data=(x_test, y_test),
                    callbacks=[model_checkpoint])

$ tree models
models
|-- model_01_0.52.h5
|-- model_02_0.35.h5
|-- model_03_0.29.h5
|-- model_04_0.26.h5
|-- model_05_0.25.h5
|-- model_06_0.23.h5
|-- model_07_0.23.h5
|-- model_08_0.22.h5
|-- model_09_0.22.h5
`-- model_10_0.22.h5

0 directories, 10 files

Comments

[Kohei_KESE]

回答ありがとうございます。無事保存することができました。model_checkpointでperiodを指定すれば期間も指定することができますね。

[tiitoi]

ModelCheckpoint() についてですが、監視している値 (monitor 引数で指定) が最良のものだけ保存したい場合は、save_best_only=True にしとけば、過学習が発生してもモデルが上書かれてしまうことはなくなりそうです。

[Kohei_KESE]

確かにこれを組み合わせると容量の節約ができますし、一目で最良のモデルがどれかが分かりますね。
アドバイスありがとうございます。