質問編集履歴
1
文法の修正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,11 +1,11 @@
|
|
|
1
1
|
### 前提
|
|
2
2
|
|
|
3
|
-
2値分類において、
|
|
3
|
+
2値分類において、10-fold cross validationを使って3つのモデルA、B、Cを学習しました。
|
|
4
4
|
したがって、それぞれのモデルに対して5fold分のaccuracyやAUCなどを算出することができます。
|
|
5
5
|
|
|
6
6
|
また、予測値(クラス0の確率とクラス1の確率)も保存してあります。
|
|
7
7
|
|
|
8
|
-
モデルA、B、Cの順番で
|
|
8
|
+
10foldの平均AUCは、それぞれモデルA、B、Cの順番で高いという状況です。
|
|
9
9
|
|
|
10
10
|
### 実現したいこと
|
|
11
11
|
|
|
@@ -16,7 +16,7 @@
|
|
|
16
16
|
|
|
17
17
|
AUCについては、[delong法による検定](https://qiita.com/sz_dr/items/96e9306979cb1832d120)を発見しました。しかし、例えばfold 0のAとBの比較というように限定的な適用になるかと思います。
|
|
18
18
|
|
|
19
|
-
seed値を変えるなどして
|
|
19
|
+
seed値を変えるなどして10 fold cross validationを複数回実施し、算出された各評価指標に対して分散分析などを適用すればいいのでしょうか
|
|
20
20
|
|
|
21
21
|
|
|
22
22
|
|