前提
2値分類において、10-fold cross validationを使って3つのモデルA、B、Cを学習しました。
したがって、それぞれのモデルに対して5fold分のaccuracyやAUCなどを算出することができます。
また、予測値(クラス0の確率とクラス1の確率)も保存してあります。
10foldの平均AUCは、それぞれモデルA、B、Cの順番で高いという状況です。
実現したいこと
モデルA、B、Cの評価指標について統計的有意差を確認・検討したいです。
cross validationを加味して統計的検定を行う手法があれば教えてください。
試したこと
AUCについては、delong法による検定を発見しました。しかし、例えばfold 0のAとBの比較というように限定的な適用になるかと思います。
seed値を変えるなどして10 fold cross validationを複数回実施し、算出された各評価指標に対して分散分析などを適用すればいいのでしょうか
あなたの回答
tips
プレビュー