機械学習におけるリーケージの危険性を具体的に教えていただきたいです。

Question

前提

具体的なエラーが出てるわけではないです。

質問内容

こちらの記事の「自然言語処理と機械学習＞データの分割について」でtagged_sentsを使うとリーケージの懸念があると記述されているのですが、OKな例とNGな例の具体的な挙動を教えていただけますでしょうか？

やったこと

調べてみると機械学習の文脈でリーケージと言うと「使ってはいけないデータを使ってしまうこと」の意味であることがわかりました。

Answer 1

まず、一般論として、機械学習におけるリーケージの危険性は、未知のデータに対して性能が出ないことです。

機械学習は、未知の説明変数に関して、適切な目的変数を予測をすることを目的とします。そのために既知の説明変数と目的変数の組み合わせを大量に学習します。この時、説明変数から目的変数を予測するのではなく、目的変数の情報を何らかの形で知っていることを前提にした予測モデルを作ってしまうことがあります。これでは、実際の未知の説明変数に対して機能しないモデルになってしまいます。これを、（答えが漏洩してしまっているという意味で）リークと言います。

ただし、記事の例では、やや勘違いがあると思われます。

tagged_sentsが与えられた全データをもとになんからの推論でタグを動的生成するのであれば、記事の主張どおりにリークの危険があります。しかしながら、tagged_sentsは、もともとデータに与えられたタグを前提に、タグ付きデータのみ取り出す動作になっており、タグを動的生成しているわけではありません。そのため、訓練データとテストデータとを分割する手番とタグを取る手番の順序でリークの危険が発生したりしなかったりする、というのは、記事の執筆者様の勘違いだと思います。

実際に、2種類の方式でデータを取得して比較してみましたが、中身は同一であるように思いました。

Comments

[cunwe]

ご回答くださりありがとうございます。
いただいた回答を読んで疑問が沸きました。なぜタグ付けと学習用・テスト用に分ける工程の順番を気にする必要があるのでしょうか？タグ付けをすると学習用なのかテスト用なのかという情報が失われてしまうということがあるのでしょうか？

[toast-uz]

修正しました

[cunwe]

リークに関して正しく理解することができてました。大変勉強になりました、ありがとうございます！