Python k分割交差検証の際のモデル保存方法について

Question

前提・実現したいこと

こちらのコードを参考に、kerasで４分割交差検証を行うコードを書きました。
参考にしたコードではモデルを保存していなかったので、以下の通りcallbackを追加したところ、学習は問題なく行えたのですがモデルは保存されていませんでした。

大変お手数ですが、どう修正したらモデルが保存されるようになるか、アドバイスしていただけますととても助かります。
どうぞよろしくお願いいたします。

該当のソースコード（学習データ準備部分は省略しております）

import keras
from keras.utils import to_categorical
from sklearn.model_selection import KFold
import numpy as np
from keras.models import Model
from keras.layers import Dense, GlobalAveragePooling2D,Input,Dropout,Activation
from keras.applications.resnet50 import ResNet50
from keras.preprocessing.image import ImageDataGenerator
from keras.optimizers import Adam
from keras import callbacks
from keras import backend as K
from keras.engine.topology import Layer
import tensorflow as tf
from keras.preprocessing.image import load_img, img_to_array, array_to_img
import os
import glob
import cv2
from PIL import Image
import matplotlib.pyplot as plt
%matplotlib inline

input_shape = (299, 299, 3)
classes = 7
batchsize = 12
epochs=10

# k-fold CV
history = []
kf = None
kf = KFold(n_splits=4, random_state=1234)

callbacks_list = [
        callbacks.ModelCheckpoint(
        filepath="model.ep{epoch:02d}.h5",
        save_weights_only=False,
        save_best_only=True),
    
callbacks.EarlyStopping(monitor='loss', patience=3, verbose=1)]

for train_index, val_index in kf.split(x_train, y_train):
    base_model=keras.applications.densenet.DenseNet121(input_shape=input_shape,
                                                   weights='imagenet',
                                                   include_top=False)
    
    c = base_model.output
    c = GlobalAveragePooling2D()(c)
    c = keras.layers.Lambda(lambda xx: 5*(xx)/K.sqrt(K.sum(xx**2)))(c) 
    c = Dense(classes, activation='softmax')(c)
    model = Model(inputs=base_model.input,outputs=c)
    model.summary()
    model.compile(optimizer=Adam(lr=0.001), loss='categorical_crossentropy', metrics=['accuracy'])
    #model.fit(x=x_train[train_index], y=y_train[train_index], batch_size=batchsize, epochs=epochs, verbose=1, callbacks=callbacks_list)
    model.fit(x=x_train[train_index], y=keras.utils.to_categorical(y_train[train_index], classes), batch_size=batchsize, epochs=epochs, verbose=1, callbacks=callbacks_list)
    #history.append(model.evaluate(x=x_train[val_index], y=y_train[val_index], batch_size=batchsize))
    history.append(model.evaluate(x=x_train[val_index], y=keras.utils.to_categorical(y_train[val_index], classes), batch_size=batchsize))
history = np.asarray(history)
loss = np.mean(history[:, 0])
acc = np.mean(history[:, 1])
print(f'loss: {loss} ± {np.std(history[:, 0])} | acc: {acc} ± {np.std(history[:, 1])}')

Answer 1

開発環境が現在手元にないので不確かな情報で申し訳ありませんが、
自分も過去に経験した記憶があります

keras callbacks
ドキュメントにも「コールバックのリストを渡すことができます」とありますように
kerasのcallbackは以下のように記述しないといけなかったと記憶しています
callbacks=callbacks_list　→　callbacks=[callbacks_list]

一度試してみてください。
宜しくお願い致します。

Comments

[SuzuAya]

>---stax---様
ご回答ありがとうございます！
[]が必要なのですね。
現在。コード自体を修正中のためすぐに実行できないのですが、修正が終わりましたら試してみたいと思います。ご丁寧にありがとうございました。

Answer 2

import pickle
pickle.dump(model, open("model.pkl", 'wb'))

でモデルをセーブできます。
ロードしたいときは

loaded_model = pickle.load(open("model.pkl", 'rb'))

です。

Comments

[SuzuAya]

fukatani様
早速ありがとうございます。大変助かります。
一つ確認させていただきたいのですが、scikit-learnのkfoldを使って交差検証しているので、kerasのcallback機能は使えないという理解でよろしいでしょうか。

[fukatani]

うーんすいません、そこのところはわかっていません。
kfoldだからといって、callbackが使えない理由にはなってない気もします。

ちなみに、保存されたとして、今のコードだとすべて同じ名前のファイルになってしまうので、最後のsplitだけが保存されます。

普通は最後にsplitせずに全てのtrainingデータに対して学習したモデルをfitして保存するような気もします。

[SuzuAya]

>fukatani様
ありがとうございます。モデルの保存について、今のやり方で良いのかまさに今疑問に感じておりました。。自分でも今一度整理したいと思います。ありがとうございました。