MNISTでのk交差検証ができない

Question

前提・実現したいこと

Kerasを用いてMNIST10種分類問題を行っており、出てきた結果に対してK交差検証を行いたいのですが、cross_val_scoreでエラーが発生してしまいます。

発生している問題・エラーメッセージ

  File "C:/Users/user/PycharmProjects/MNIST/MNISTlkfoldxval.py", line 111, in <module>
    scores = cross_val_score(hist, X_train, Y_train, cv=kf)
  File "C:\Users\user\AppData\Local\Programs\Python\Python37\lib\site-packages\sklearn\model_selection\_validation.py", line 384, in cross_val_score
    scorer = check_scoring(estimator, scoring=scoring)
  File "C:\Users\user\AppData\Local\Programs\Python\Python37\lib\site-packages\sklearn\metrics\scorer.py", line 270, in check_scoring

6000/6000 [==============================] - 0s 51us/step - loss: 0.4041 - accuracy: 0.8767 - val_loss: 0.3896 - val_accuracy: 0.8945
    "'fit' method, %r was passed" % estimator)
TypeError: estimator should be an estimator implementing 'fit' method, <keras.callbacks.callbacks.History object at 0x000001BBCF15FEB8> was passed

該当のソースコード

mnist = datasets.fetch_mldata('MNIST original', data_home='.')

n = len(mnist.data)
N = 10000  # MNISTの一部を使う
N_train = 8000
N_validation = 2000
indices = np.random.permutation(range(n))[:N]  # ランダムにN枚を選択

X = mnist.data[indices]
X = X / 255.0
X = X - X.mean(axis=1).reshape(len(X), 1)
y = mnist.target[indices]
Y = np.eye(10)[y.astype(int)]

X_train, X_test, Y_train, Y_test = \
    train_test_split(X, Y, train_size=N_train)
X_train, X_validation, Y_train, Y_validation = \
    train_test_split(X_train, Y_train, test_size=N_validation)

#モデル設定

n_in = len(X[0])  # 784
n_hidden = 200
n_out = len(Y[0])  # 10
p_keep = 0.5
activation = 'relu'

model = Sequential()
model.add(Dense(n_hidden, input_dim=n_in))
model.add(Activation(activation))
model.add(Dropout(p_keep))

model.add(Dense(n_hidden))
model.add(Activation(activation))
model.add(Dropout(p_keep))

model.add(Dense(n_out))
model.add(Activation('softmax'))

model.compile(loss='categorical_crossentropy',
              optimizer=SGD(lr=0.01, momentum=0.9),
              metrics=['accuracy'])

#モデル学習
batch_size = 200
hist_acc_t = hist_acc_v = hist_loss_t = hist_loss_v = []
max_epochs = 10
ep_learn_interval = 50

project_name = 'MNIST' + activation + str(max_epochs)
modellog = project_name + 'models'
os.makedirs(modellog, exist_ok=True)

model_checkpoint = ModelCheckpoint(
    filepath=os.path.join(modellog, 'model_{epoch:02d}-{loss:.2f}-{acc:.2f}-{val_loss:.2f}-{val_acc:.2f}.hdf5'),
    monitor='val_loss',
    verbose=1, period=50)

hist = model.fit(X_train, Y_train, batch_size=batch_size,
                epochs = max_epochs,
                validation_data = (X_validation, Y_validation),
                 callbacks=[model_checkpoint])

hist_acc_t = hist_acc_t + hist.history['accuracy']
hist_acc_v = hist_acc_v + hist.history['val_accuracy']
hist_loss_t = hist_loss_t + hist.history['loss']
hist_loss_v = hist_loss_v + hist.history['val_loss']

kf = KFold(n_splits=5, shuffle=True, random_state=42)
scores = cross_val_score(hist, X_train, Y_train, cv=kf)

#学習の進み具合を可視化
# 各分割におけるスコア
print('Cross-Validation scores: {}'.format(scores))
# スコアの平均値
import numpy as np
print('Average score: {}'.format(np.mean(scores)))

試したこと

ウェブ上をいろいろ参考にしましたが、cross_val_scoreの使われ方がコードによって違うのでどれを適用したらいいのかわからず困っております。よろしければお力をお貸しください。

補足情報（FW/ツールのバージョンなど）

Answer 1

ウェブ上をいろいろ参考にしましたが、cross_val_scoreの使われ方がコードによって違うのでどれを適用したらいいのかわからず困っております。よろしければお力をお貸しください。

cross_val_score には、fit(X, y) と呼び出して学習が行えるメソッドを持つオブジェクトを渡す必要があります。基本的には sklearn の SGDClassifier のようなモデルが渡されるのを想定した作りになっているので、Keras のモデルでは利用できません。

sklearn.model_selection.KFold を使うことで以下のように交差検証は行なえます。

[Keras/TensorFlow] KerasでCV(クロスバリデーション) - Qiita

---

MNIST のような小規模なデータであれば交差検証を行ってもそんなに時間がかかりませんが、ある程度の規模のデータセットを学習する場合、ディープラーニングは時間がかなりかかるため、交差検証は基本的に行われません。
学習データ、テストデータに分けるホールドアウトで評価するのが一般的です。

追記

hayataka2049 さんに教えていただいたのですが、
sklearn が要求する API 仕様に合わせるためのラッパー関数が Keras に用意されているようです。

Scikit-learn API - Keras Documentation

使ってみたところ、以下のように交差検証ができました。

from keras import backend as K
from keras.datasets import mnist
from keras.layers import Activation, BatchNormalization, Dense, Flatten
from keras.models import Sequential
from keras.wrappers.scikit_learn import KerasClassifier
from sklearn.model_selection import cross_val_score

def create_model():
    model = Sequential(
        [
            Flatten(),
            Dense(10),
            BatchNormalization(),
            Activation("relu"),
            Dense(10),
            BatchNormalization(),
            Activation("relu"),
            Dense(10),
            BatchNormalization(),
            Activation("softmax"),
        ]
    )

    model.compile(
        optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"]
    )
    
    return model

# sklearn と互換性のあるモデルを作成する。
clf = KerasClassifier(create_model, epochs=5, batch_size=256, validation_split=0.2, verbose=0)

# MNIST データを取得する。
(X_train, y_train), (X_test, y_test) = mnist.load_data()
X = np.concatenate((X_train, X_test))
y = np.concatenate((y_train, y_test))

# 交差検証
ret = cross_val_score(clf, X, y, cv=3)
print(ret)  # [0.9145453  0.90875584 0.91488451]

Comments

[hayataka2049]

この場合、
https://keras.io/ja/scikit-learn-api/
を使うという選択肢もあるのでしょうか。

[tiitoi]

そのような機能が用意されていたのですね。使ってみたところ、そのまま sklearn の関数に渡せました。
教えていただきありがとうございます。

[hayataka2049]

調べてみて見つけはしたんですが、私はDNNやらないのでfitパラメータの渡し方どうするんだろうとか思って回答控えてました。tiitoiさんにやっていただいて助かりました。

[退会済みユーザー]

お教えいただきありがとうございます。無事に解決できました。