交差検証のテストデータの扱いについて

Question

機械学習でおなじみの交差検証（クロスバリデーション）についてです。
初心者なので、見当違いなことを聞いてしまっているかもしれません。

①事前にデータを分割するべきではないのか？
基本的に機械学習では、データをトレーニングデータとテストデータに分割するものだと考えているのですが、本やWebサイトに描かれている交差検証の解説では、その分割が行われていません。これは、内部で勝手に分割してくれているからだと考えているのですが、厳密にテストデータと分けて学習させるべきではないのでしょうか？

②分割した際のテストデータをどのように扱うのか？
また、交差検証では、平均などを用いて最終的なスコアなどを出すかと思いますが、モデルに直接fitさせているわけではないので、もし、交差検証を行う前にトレーニングデータとテストデータに分割させた場合、どのようにテストデータにモデルを適応させれば良いのでしょうか。

「トレーニングデータに対して交差検証→テストデータに適応」　という考え方がそもそも間違っているのでしょうか？

すごくわかりにくい書き方になってしまいました。
今、機械学習での予測モデルを構築していて、新規で入ってくるデータに対しても、そのモデルを用いて予測をしたいと考えています。学習サンプル数が非常に少ないので交差検証を試したいのですが、どのように適用させればいいかで悩んでいるという背景です。

Answer 1

学習 検証 テスト
あたりで検索してみてください。

検証とテストを混同なさっているようです。
下記の説明などが分かり易いかと
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング

「テストデータで検証する」などという言い方もしてしまうので紛らわしいですが

元々は
・データを学習データとテストデータに分ける
・学習データで学習してモデルを作成
・モデルにテストデータを通して試す

ですが、過学習になりがちなので
・データを学習データとテストデータに分ける　←ここまでは同じ
・交差検証にて学習データを1回の検証の学習データ’と検証データ’に分け、で学習データ’にて分ける
（学習する関数に機能が含まれている場合と、事前に交差検証用のデータ分割をする場合があり）
・学習データ’にて学習しモデルを作成、それを検証データ’を通して試す（必要に応じ学習データ’と検証データ’を組み換えや入れ替えて何回か繰り返す）
・ベストのモデルが出てくる
・ベストのモデルにテストデータを通して試す

みたいな感じです

①事前にデータを分割するべきではないのか？

その通りです。事前に分けます。

②分割した際のテストデータをどのように扱うのか？

ベストのモデルに入力するという感じですね

比較的少なめのデータで機械学習する時は交差検証 (Cross Validation) をするのです
の記事なども参考になるかなと思います。

Comments

[kiyushi]

なんとなく理解していたのですが、文章にするのが下手すぎました。もう少ししっかりと勉強します。
あくまでも、k分割交差検証は、各Foldによって作成されたモデルの検証を行っているにすぎないってことなんですね！スコアの平均を見る説明があちこちで散見されるので、混乱していました。
ありがとうございました。