不均衡データのオーバーサンプリング、アンダーサンプリングについて

Question

質問

scikit-learnのSVMで２値分類モデルを作っています。データの数は150程度です。
識別するラベルは0,1の２値なのですが、0の割合が80%とか偏っており、データの数が少ないためオーバーサンプリング(SMOTE)することを考えています。

ネットの記事やブログを探したところ、
学習データをオーバーサンプリングしている例はよく見るのですが、
検証用データやテストデータをオーバーサンプリングする例はあまり見ません。

Q1.検証用データ・テストデータをオーバーサンプリングすることはタブーなのでしょうか？

Q2.学習データとテストデータのラベルの比率の違いは事前確率に影響を与えると思うのですが、
比率を合わせなかったときに出てくる問題にはどのようなものがありますか？

よろしくお願いします。

Answer 1

A1.オーバーサンプリングはデータの水増しのようなものなので、検証用データやテストデータには適用しません。検証やテストは実際に出現するデータで行うことに意味があるためです。

A2.データに不均衡があると、モデルが多数派の予測精度が高くなるように学習します。極端な例として、真が95%、偽が5%のとき全て真と予測しても95%の性能が出ていることになります。モデルの目的が多数派の予測精度を極大にすることであれば、許容できると思いますが、少数派の性能を確保したいのであれば、バランスを整えたほうがいいでしょう。

Comments

[CoffeeLover]

回答ありがとうございます。
よくわかりました。