コードの解釈が合っているか確認したい

Question

実現したいこと

コードを理解する

前提

適当にネットから拾ってきたコードを組み合わせてCNNで機械学習を行えるようになりました。
コードを見直していると、何を行っているのか理解できない部分があったため、解説していただきたく、質問させていただきました。

本コードでは間違えてvalidation dataにtrain_test_splitで分離したtestデータをvalidationに使用してしまっていたため、解決次第、trainデータ、validationデータ、testデータの3つに分けて学習・評価を行おうと思っています。

発生している問題・エラーメッセージ

合計23940個のサンプルがあり、train_test_splitで30%をテストデータとし、16758個のtrainデータと7182個のtestデータに分けました。

質問１
9行目で
for train, test in kfold.split(x_train, y_train):
とありますが、これは何を層化ｋ分割交差検証しているのでしょうか。そもそも層化ｋ分割交差検証できているのでしょうか。次の①、②、③のうちどれが正しいのか、あるいはどれも正しくないのか教えてただきたいです。

①16758個のtrainデータをfold_numberの２で分け、前半の8329個のtrainデータで50エポックの学習を行いつつ7182個のデータでvalidationも行う。終了次第後半の8329個のtrainデータで50エポックの学習を最初から行いつつ、7182個のデータでvalidationも行う。

②16758個のtrainデータと7182個のtestデータをfold_numberの２で分け、前半の8329個のtrainデータで50エポックの学習を行いつつ前半の3591個のデータでvalidationも行う。終了次第後半の8329個のtrainデータで50エポックの学習を最初から行いつつ、後半の3591個のデータでvalidationも行う。

③16758個のtrainデータで50エポックの学習を行いつつ7182個のデータでvalidationも行う。それをただ２回繰り返す。

質問２
色んなサイトを見ていると、kfold.splitの引数にx_trainしか指定していないコードがたくさん見受けられました。
kfold.split(x_train, y_train)ではなく、kfold.split(x_train)でも同じ結果になるのかどうか教えていただきたいです。

該当のソースコード

fold_number = 2
seed =7
np.random.seed(seed)
kfold = StratifiedKFold(n_splits = fold_number, shuffle = True, random_state = seed)
cvscores = []

start_time = time.time()

for train, test in kfold.split(x_train, y_train):
    model = Sequential()
    model.add(Conv2D(16, (3, 3), padding='same',
              input_shape=(100, 100, 1), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Conv2D(128, (3, 3), padding='same', activation='relu')) #3*3*16のフィルタを128枚
    model.add(Conv2D(256, (3, 3), padding='same', activation='relu')) #3*3*128のフィルタを256枚
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(0.5))
    model.add(Flatten())
    model.add(Dense(128, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(class_number, activation='softmax'))

    model.summary()
    
    model.compile(loss='categorical_crossentropy',
                  optimizer=Adam(amsgrad=True),
                  metrics=['accuracy'])

    history = model.fit(x_train, keras.utils.to_categorical(y_train, class_number),
                        batch_size=128, epochs=50, verbose=1,
                        validation_data=(x_test, keras.utils.to_categorical(y_test, class_number)))

    scores = model.evaluate(x_test, keras.utils.to_categorical(y_test, class_number),
                            verbose=0)
    print("%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))
    cvscores.append(scores[1] * 100)

試したこと

https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.StratifiedKFold.html
公式サイトを見ましたがよく理解できませんでした。

補足情報（FW/ツールのバージョンなど）

Answer 1

これは何を層化ｋ分割交差検証しているのでしょうか。

"y_trainのクラスラベル"で"x_trainを層化"です。

公式サイトを見ましたがよく理解できませんでした。

根気良くドキュメントを読むしかないと思います。
split

次の①、②、③のうちどれが正しいのか、あるいはどれも正しくないのか教えてただきたいです。

どれも違います。まず 16,758 を 2 で割ると 8379 で 8329 ではありません。
今回で言えば分割した片方を訓練データ、もう片方を検証データとして使用します。（正確には関数の戻り値はindexです）
ですので

解決次第、trainデータ、validationデータ、testデータの3つに分けて学習・評価を行おうと思っています。

は不要で最も良い結果が出たモデルに対してテストデータを用いた評価を行い最終判断すれば良いかと思います。

---

【追記】
model.fitに渡す訓練データはx_train[train], 正解ラベルはy_train[train]としないとkfold.split(x_train, y_train)の意味なく全ての訓練データとラベルで学習してしまっていますね。model.fitのvalidation_dataの指定はしないで、model.evaluateでx_train[test], y_train[test]を使えば良いかと思います。

Comments

[tatata1111]

ご回答いただきありがとうございます！計算ミスお恥ずかしいです・・・。
前半をtrain、後半をvalidationに使い、入れ替えて２回目の学習に行うということですね！良く分かりました。
そうすると、31行目でvalidation dataとして(x_test,y_test)を指定しているのですが、こちらの扱いはどのようになるのでしょうか？
上書きされて(x_test,y_test)をvalidationに使うのか、それとも前半をtrain、後半をvalidationに使い・・・となるのかどちらかお教えいただきたいです。

[tatata1111]

すみません、追記と入れ違いになってしまいました。

[tatata1111]

model.fitでvalidation dataの指定は必要無いということですね！

x_train[train]やy_train[train]、x_train[test], y_train[test]　というのはどのような意味なのでしょうか。
model.evaluateに使うのはx_test,y_testだと認識しているのですが、x_test,y_testとx_train[test], y_train[test]との違いが分かりません。
勉強不足で申し訳ありません。ご教授いただければ幸いです。

[meg_]

> x_train[train]やy_train[train]、x_train[test], y_train[test]　というのはどのような意味なのでしょうか。
ドキュメントにもあるようにsplit()の戻り値は訓練データ、テストデータそれぞれのインデックスです。ですのでsplit()に引数として渡したデータからそれらのインデックスでデータを抽出する必要があるのです。

[meg_]

model.fit()のパラメータvalidation_dataにx_train[test], y_train[test]を使っても良いと思います。その場合はハイパーパラメーター調整後の最終モデルにたいして一度だけ「train_test_splitで分離したtestデータ」でmodel.evaluate()を実行すれば良いと思います。

[tatata1111]

お返事が遅くなってしまい申し訳ありません。丁寧に説明いただきありがとうございました。よく理解できました！助かりました！

Answer 2

https://qiita.com/chorome/items/54e99093050a9473a189
こちらのサイトも参考にすると理解が進みました。