交差検証について

Question

訓練データを、ｋ回検証データと訓練データに分けてから、訓練し
それぞれの結果を平均した値がスコアとされます。

ここで思ったのですが、平均のスコアをだしたあとはどうするのかなとおもいました。
パラーメータはそれぞれ分けたデータでそれぞれ訓練されています。これはスコアがよかったら
その後に、訓練データすべてで訓練して、これをモデルとして採用するというこでしょうか？
教えてください。

Answer 1

各foldでパラメータ調節するより、CVがよくなるようなパラメータを探すのも手かと思います。

疑似コードでこんな感じでしょうか

for param in param_grid:
    score = get_cv_score() 
best_param = argmax(score)
model = Model(best_param)
model.fit(train)
test()

Comments

[assa]

回答ありがとうございました。
モデルの種類の選択のためにこれを行い、
平均をだし、スコアがよければそのモデルを採用し、
そして、パラメータはそのモデルの中でスコアが高いのを選んでもいいということでしょうか

[nouken]

そもそも何が目的なのでしょうか。それによって変わると思うのですが。
よくあるものだと、訓練データのCVでパラメータを選び、テストデータで評価するというものですが・

[assa]

noukenさんのおしゃる通りのことが目的です。
その時に、それぞれのスコアを平均する意味がわかりませんでした。
回答を読みながら考えてみたのですが、cvを行わずに訓練してしまったら、もしかすると過剰適合してしまう可能性がありそれをｃｖで防ぎ、全体の平均が低ければほかのモデルで、高ければそのモデルを使い
パラーメータは一番スコアが大きいものを使うんだなと理解しました。

[nouken]

そうですね。仮に、trainデータを単にtrainとvalidationに分けて、validationでの評価指標がよくなるようにパラメータを選んだ場合には、特にデータのサイズが小さい時には過学習のようなものが起こってしまう可能性が高いです。（validationではうまくいくけど、testではいい性能が出ない、など）

こういった場合に、CVで可能な限り多くのデータを使って平均的に良い性能を示すようなパラメータを選ぶことで先に述べたようなことが起こりにくくなります。（少なくともデータの一部だけで偶然スコアがよくなるようなパラメータを選んでしまうことは避けられる可能性が高いです。）testへの予測時には、もう一度そのパラメータでtrainとvalを合わせたデータで学習する場合も多いですが、この辺りはどんなアルゴリズムを使うかなどにより必ずしもうまく行かない場合もあります。

一方でデータサイズが十分な場合には、必ずしもこのような手順に従わなくても良い場合もあると思います。
データに合わせてこの辺りは悩まなければならないところでもあります。

[assa]

なんどもありがとうございました。