回答編集履歴
4
一部修正
test
CHANGED
|
@@ -10,7 +10,7 @@
|
|
|
10
10
|
|
|
11
11
|
|
|
12
12
|
|
|
13
|
-
|
|
13
|
+
tagged_sentsが与えられた全データをもとになんからの推論でタグを動的生成するのであれば、記事の主張どおりにリークの危険があります。しかしながら、tagged_sentsは、もともとデータに与えられたタグを前提に、タグ付きデータのみ取り出す動作になっており、タグを動的生成しているわけではありません。そのため、訓練データとテストデータとを分割する手番とタグを取る手番の順序でリークの危険が発生したりしなかったりする、というのは、記事の執筆者様の勘違いだと思います。
|
|
14
14
|
|
|
15
15
|
|
|
16
16
|
|
3
一部修正
test
CHANGED
|
@@ -1,4 +1,4 @@
|
|
|
1
|
-
機械学習におけるリーケージの危険性は、未知のデータに対して性能が出ないことです。
|
|
1
|
+
まず、一般論として、機械学習におけるリーケージの危険性は、未知のデータに対して性能が出ないことです。
|
|
2
2
|
|
|
3
3
|
|
|
4
4
|
|
|
@@ -6,12 +6,12 @@
|
|
|
6
6
|
|
|
7
7
|
|
|
8
8
|
|
|
9
|
-
記事の例では、
|
|
9
|
+
ただし、記事の例では、やや勘違いがあると思われます。
|
|
10
10
|
|
|
11
11
|
|
|
12
12
|
|
|
13
|
-
|
|
13
|
+
記事の例では、tagged_sentsによるタグ付けを、2つの例で示しています。tagged_sentsが与えられた全データをもとになんからの推論でタグを動的生成するのであれば、記事の主張どおりにリークの危険があります。しかしながら、tagged_sentsは、もともとデータに与えられたタグを前提に、タグ付きデータのみ取り出す動作をしてのとり、動的生成しているわけではありません。そのため、訓練データとテストデータとを分割する手番とタグを取る手番の順序でリークの危険が発生したりしなかったりする、というのは、記事の執筆者様の勘違いだと思います。
|
|
14
14
|
|
|
15
15
|
|
|
16
16
|
|
|
17
|
-
|
|
17
|
+
実際に、2種類の方式でデータを取得して比較してみましたが、中身は同一であるように思いました。
|
2
一部修正
test
CHANGED
|
@@ -1,3 +1,7 @@
|
|
|
1
|
+
機械学習におけるリーケージの危険性は、未知のデータに対して性能が出ないことです。
|
|
2
|
+
|
|
3
|
+
|
|
4
|
+
|
|
1
5
|
機械学習は、未知の説明変数に関して、適切な目的変数を予測をすることを目的とします。そのために既知の説明変数と目的変数の組み合わせを大量に学習します。この時、説明変数から目的変数を予測するのではなく、目的変数の情報を何らかの形で知っていることを前提にした予測モデルを作ってしまうことがあります。これでは、実際の未知の説明変数に対して機能しないモデルになってしまいます。これを、（答えが漏洩してしまっているという意味で）リークと言います。
|
|
2
6
|
|
|
3
7
|
|
1
一部修正
test
CHANGED
|
@@ -10,4 +10,4 @@
|
|
|
10
10
|
|
|
11
11
|
|
|
12
12
|
|
|
13
|
-
2つ目は、全データをもとにタグ付けを行い、その後で、タグを学習データ分、テストデータ分に切り分けようとしています。これは、タグ付けという動作の中で、
|
|
13
|
+
2つ目は、全データをもとにタグ付けを行い、その後で、タグを学習データ分、テストデータ分に切り分けようとしています。これは、タグ付けという動作の中で、テストデータを含む全データを使っています。よって、タグ付けしてからデータを切り分けても、学習データの中に、本来は学習時点で未知であるべきテストデータの情報も含まれてしまっています。これはリークの可能性がある正しくないやり方です。この場合、学習データ・テストデータで高い精度が発揮できても、さらに未知のデータでは性能が出ない可能性があります。
|