ナイーブベイズのデータづくり

Question

私は今、Sickit-learnを使って、テキスト作成者予測を行っています。

テストデータ、トレインデータには様々な言葉とその使用回数を用いています。
テストデータにあり、トレインデータにはない言葉には加算スムージングで尤度が０になるのを防ぐというのを勉強しました。
では、逆にテストデータにはなく、トレインデータにはあるような言葉が存在する場合も加算スムージングを行うのでしょうか？

Answer 1

第3回　ベイジアンフィルタを実装してみよう
が詳しいですが加算スムージングはあくまでも

しかし，ここで1つ大きな問題があります。このままでは訓練データに出現しなかった特徴 word_i が現れたときに出現確率 P(word_i|cat) が0になってしまいます。この問題をゼロ頻度問題やスパースネスの問題と呼びます。

普通に考えて，単語の出現頻度が0だからといって世の中にその単語がカテゴリに属する確率が0にならないことは分かりますよね。この時，ゼロ頻度問題を回避するために，訓練データから得られる単純な推定値を用いるのではなく，何らかの形で補正する必要があります。この補正操作のことをスムージング（smoothing）と呼びます。

今回のように一様な値を加えるスムージングを加算スムージングと呼びます。

訓練データに出現しなかった（テストデータの）特徴が表れた時の対応です。

逆にテストデータにはなく、トレインデータにはあるような言葉が存在する場合も加算スムージングを行う

とはどういうケースが考えられますか？
テストデータにないならば予測する必要もなく何らの補正も必要ないです。

Comments

[Auger]

ありがとうございます。
もう一度、数式からおい直したいと思います。