精度100％のモデルは作れるのか？

Question

機械学習のコンペサイト（？）のkaggleにチュートリアル的存在の「タイタニック号の生還者を機械学習する」モデルがありますが、９０００人ほどエントリーしている中の上位１５名くらいが的中率100%のモデルを達成しています。

こんなことはありえるのでしょうか？
ちなみに学習に使えるデータは９００ほど、予測するテストセットは４００ほどあります。

Answer 1

分散があれば、確率的に的中率が100%の可能性は0ではないです。
リーダーボードに使用するデータが約200なので、ランダムの結果を送信しても2^200の確率で的中率100%になります。
これに対して、例えば180のデータに対して答えを安定に当てれるようになれば、2^20の確率に的中率に上がります。190のデータに対して答えを安定に当てれるようになれば、2^10の確率に的中率に上がります。

現実的に100%のモデルは難しいですが、特定のデータセットに対してであれば100%を出せても不思議ではない気がします。
以上の話は1人が1回だけ予測した場合で、これが投稿回数分の試行があるので…
更に別にモデルで予測したものしか提出できないわけではないので、手動で補正をかければ…

という良心を信じる考え方もありますが、タイタニックは過去に沈んでいるので、答えは全部わかっています。
例えばテストデータセットの人の名前を検索してみると、
https://www.encyclopedia-titanica.org/titanic-survivor/helga-hirvonen.html
などで、生き残ったのかがわかります。

意味はありませんが、kaggle側が提出データがどのように生成されたのかを知る手段はないので、リーダーボードで観測されてしまいます。

Comments

[renren643]

なるほど。確かに修正できますよね。回答ありがとうございました