回答編集履歴
4
誤字修正
answer
CHANGED
|
@@ -1,14 +1,14 @@
|
|
|
1
1
|
質問である「交差検証法のやり方としてはどちらが正しいのでしょうか？」は、どちらも正しい、が回答です。以下根拠です。
|
|
2
2
|
|
|
3
|
-
私も理解があいまいですので、このご質問を機会に調べてみました。こういう基本的なことかつ誤解が結構あることは、さまざまなブログやテックサイトではなく、権威に頼った方が良いと思いました。よって、日本代表として東大松尾研
|
|
3
|
+
私も理解があいまいですので、このご質問を機会に調べてみました。こういう基本的なことかつ誤解が結構あることは、さまざまなブログやテックサイトではなく、権威に頼った方が良いと思いました。よって、日本代表として東大松尾研DL4US、米国代表としてGoolge Machine Learning Crash Courseを確認してみました。
|
|
4
4
|
|
|
5
5
|
すると、**両者は同じことを、かつ、別回答のリンク（私もこの理解であった）とは異なる見解**を示していました。
|
|
6
6
|
|
|
7
|
-
[
|
|
7
|
+
[DL4USでのデータセットに関する記載](https://github.com/matsuolab-edu/dl4us/blob/master/lesson0/lesson0_exercise.ipynb)
|
|
8
8
|
[Google Machine Learning Crash Course - Training and Test Sets: Splitting Data](https://developers.google.com/machine-learning/crash-course/training-and-test-sets/splitting-data)
|
|
9
9
|
[Google Machine Learning Crash Course - Validation Set: Another Partition](https://developers.google.com/machine-learning/crash-course/validation/another-partition)
|
|
10
10
|
|
|
11
|
-
|
|
11
|
+
DL4USでは「学習用のデータセットとは別にテスト用（検証用）データセットをあらかじめ用意しておき、学習後にテスト用（検証用）データセットに対する予測精度を評価することが一般に行われます。（厳密には、テスト用は評価のみを行う場合を、検証用(validation)データセットは評価をモデル選択（ハイパーパラメータの調整等）に生かす場合を指します。検証用とテスト用を別途用意し、検証用の評価でモデルを選択したのち、テスト用の評価を計測します。）」
|
|
12
12
|
|
|
13
13
|
Googleでは、traning/testと、trainig/validation/testを独立に説明した上で、後者で「"Tweak model" means adjusting anything about the model you can dream up from changing the learning rate, to adding or removing features, to designing a completely new model from scratch. At the end of this workflow, you pick the model that does best on the test set. You can greatly reduce your chances of overfitting by partitioning the data set into the three subsets shown in the following figure.」（意訳:モデルを微調整してテストデータを使って最適なモデルを選択するんだけど、オーバーフィッティングを減らすにはデータセットを3つにわけたほうがよい）
|
|
14
14
|
|
3
一部修正
answer
CHANGED
|
@@ -18,7 +18,7 @@
|
|
|
18
18
|
- 2分割に対して3分割がよりよいモデルとは言っておらず、**並列関係で2分割・3分割は選択肢**である。
|
|
19
19
|
- **モデル調整や選択を伴う場合は3分割のモデルが望ましい**、という選択方針である。
|
|
20
20
|
|
|
21
|
-
要するに、モデル調整や選択を伴わない場合、あるいは伴ってもオーバーフィッティングの可能性が少ないのであれば、全てのデータを使ってクロスバリデーションしてもよいことになります。ただし、一般的には
|
|
21
|
+
要するに、モデル調整や選択を伴わない場合、あるいは伴ってもオーバーフィッティングの可能性が少ないのであれば、全てのデータを使ってクロスバリデーションしてもよいことになります。ただし、一般的には、何らかの形でモデル調整や選択が入りますので、3分割モデルが多いと思います。
|
|
22
22
|
|
|
23
23
|
私としては、この考え方は納得いくものでした。いかがでしょうか。
|
|
24
24
|
|
2
一部修正
answer
CHANGED
|
@@ -18,7 +18,7 @@
|
|
|
18
18
|
- 2分割に対して3分割がよりよいモデルとは言っておらず、**並列関係で2分割・3分割は選択肢**である。
|
|
19
19
|
- **モデル調整や選択を伴う場合は3分割のモデルが望ましい**、という選択方針である。
|
|
20
20
|
|
|
21
|
-
要するに、モデル調整や選択を伴わない場合、あるいは伴ってもオーバーフィッティングの可能性が少ないのであれば、全てのデータを使ってクロスバリデーションしてもよいことになります。ただし、一般的にはハイパーパラメータチューニングといったわかりやすいものだけでなく、アーリーストッピングみたいなものも「モデル
|
|
21
|
+
要するに、モデル調整や選択を伴わない場合、あるいは伴ってもオーバーフィッティングの可能性が少ないのであれば、全てのデータを使ってクロスバリデーションしてもよいことになります。ただし、一般的にはハイパーパラメータチューニングといったわかりやすいものだけでなく、アーリーストッピングみたいなものも「モデル調整や選択」であると思いますので、3分割モデルが多いと思います。
|
|
22
22
|
|
|
23
23
|
私としては、この考え方は納得いくものでした。いかがでしょうか。
|
|
24
24
|
|
1
一部修正
answer
CHANGED
|
@@ -10,7 +10,7 @@
|
|
|
10
10
|
|
|
11
11
|
DL4Uでは「学習用のデータセットとは別にテスト用（検証用）データセットをあらかじめ用意しておき、学習後にテスト用（検証用）データセットに対する予測精度を評価することが一般に行われます。（厳密には、テスト用は評価のみを行う場合を、検証用(validation)データセットは評価をモデル選択（ハイパーパラメータの調整等）に生かす場合を指します。検証用とテスト用を別途用意し、検証用の評価でモデルを選択したのち、テスト用の評価を計測します。）」
|
|
12
12
|
|
|
13
|
-
Googleでは、traning/test
|
|
13
|
+
Googleでは、traning/testと、trainig/validation/testを独立に説明した上で、後者で「"Tweak model" means adjusting anything about the model you can dream up from changing the learning rate, to adding or removing features, to designing a completely new model from scratch. At the end of this workflow, you pick the model that does best on the test set. You can greatly reduce your chances of overfitting by partitioning the data set into the three subsets shown in the following figure.」（意訳:モデルを微調整してテストデータを使って最適なモデルを選択するんだけど、オーバーフィッティングを減らすにはデータセットを3つにわけたほうがよい）
|
|
14
14
|
|
|
15
15
|
これらを総合すると以下のことがわかります。
|
|
16
16
|
|