お世話になっております。
k-分割交差検証後に使用するモデルについて教えてください

①検証が完了した時に使用するモデルはどれなのか

k-分割交差検証を行い、いずれのモデルでもテストデータで十分な精度のモデルが作成できた場合、
運用時に使用するモデルはどれでしょうか。

・分割した中で一番性能の良いモデルを使う
・分割をしないで全データを学習してそのモデルを使う
どちらが良いのでしょうか。

②テストデータでの精度は良くないが、訓練データでは良い場合

k-分割交差検証を行った結果、以下の状況となったとします。

・テストデータでは精度が良くない
・訓練データの推論はいずれも十分な精度
・全データを学習し、学習した訓練データを推論しても十分な精度

この状況では、やはりテストデータでは要件を満たしたモデルではないため、運用時では使うべきではないでしょうか。
それとも学習をすれば(訓練データは)正しく推論できているため、全データを学習したモデルを使用しても良いと言えるのでしょうか。

【補足】学習グラフ

学習過程を見ると過学習(※)はおきていないようですが、epochを増やしても精度は頭打ちです。
(※過学習は訓練誤差が収束しても汎化誤差が悪化した時のことを指すと認識しています。
このグラフの場合は汎化誤差は悪化してはいないので、過学習は起きていないと思っています。)
青線は訓練データに対するロスの値
赤線が訓練データに対する分類誤差
赤点線がテストデータに対する分類誤差
になります。

行動規範の内容に同意します

回答1件

ベストアンサー

①について

検証結果次第では無いでしょうか。
最近では最適なモデルを選択するよりも、それらのモデルの平均（回帰）か多数決（判別）として使われることの方が多いかと思います。この方が精度がよいので。

②について

この状況では、やはりテストデータでは要件を満たしたモデルではないため、運用時では使うべきではないでしょうか。
それとも学習をすれば(訓練データは)正しく推論できているため、全データを学習したモデルを使用しても良いと言えるのでしょうか。

これはあなたが、何の目的でモデルを使用するかに寄ると思います。新しい実データで一定の精度を得たいというのであればこのままでは危険ではないですか。学習データ以外では精度を満たせていないので。

過学習は一般には
訓練データに対して学習されているが、未知データ（テストデータ）に対しては適合できていない、汎化できていない状態
のことです。それを見る指標の一つとして示していただいたグラフもありますが、これはクロスバリデーションの範囲での話ですよね。
テストデータで精度が落ちてしまうのであれば、学習データを過度に学習している＝過学習の可能性が高いです

学習データとテストデータで傾向が変わってないでしょうか。
目的変数、説明変数それぞれについて学習データとテストデータでヒストグラムを重ね合わせるなどして分布を
比べて見てください。
学習データとテストデータの傾向が変わってしまっていれば、いくらクロスバリデーションをしても厳しいですね。
その傾向の原因となりそうなものを説明変数に加えるとよろしいかと思います。

クロスバリデーションや学習データとテストデータの傾向の違い等については下記書籍に詳しい解説があります。

投稿2020/06/21 05:01

aokikenichi

総合スコア2235

nh1r0k1

2020/06/23 05:19

回答いただきありがとうございます。 ①についてなるほどです！どれかではなく全てを使った総合的に判断するのですね。 ②について良品画像と不良画像の2値分類のモデルを作っているのですが、実際に4分割のクロスバリデーションで評価をしてみると、どれも訓練データはとても良い精度で、テストデータは悪いので過学習が起きていますね。画像分類のため説明編すを追加することは難しいですが、訓練・テストデータの中身を見直してみます。書籍の紹介もいただきありがとうございます。解説を見て勉強したいと思います。