特徴量選択での最適な特徴量数の決め方

Question

分からないこと: 特徴量選択後最適な特徴量数を選ぶ方法が分からない。
例えば、3 classの分類モデルをrandom forestで作成したとします。
cross validationでパラメータチューニング後、test setのF1-score ( 3 classの平均 ) が100特徴量使用時に0.800、50特徴量使用時に0.820、10特徴量使用時に0.815のときに、50特徴量が最適な特徴量数である考えてよいのでしょうか。
また、統計手法で各モデルの性能に差がないかどうか検証することや、特徴量が少ないモデルの有意性を示す指標があるでしょうか。
( 3 classの予測精度に差はなく、各classの重要性は同一であるとします。 )

Comments

[meg_]

場合によると思います。精度以外の指標も考慮されるべきかと思います。

[退会済みユーザー]

コメントありがとうございます。

Answer 1

test setが一組だとすると得られた結果は偶然である可能性は否定できないのでなんとも言えませんが答えになります。
test setが複数組あってその結果の平均だとすると一組の時より確信度合いは増しますがまだ不十分です。理由は結果のバラつきが未考慮のためです。仮に100特徴量モデルは0.79から0.81の間に分布し、50特徴量モデルは0.65から0.85の間に分布しているとします。これは50特徴量モデルはデータによって結果に大きなバラつきが出ることを意味します。必要とするモデルが「安定的な結果を出すもの」だとすると50特徴量モデルはその条件を満たしません。「平均化した時に性能が高いこと」が必要とされるのであれば、バラつきは気にする必要はありません。

なお、バラつきが大きいと得られた平均も偶然の可能性があります。つまり、平均の比較結果自体があまり保証できないことになります。
こういう場合は統計学でいう平均の差の検定を行うといいと思います。

Comments

[退会済みユーザー]

コメントありがとうございます。
おっしゃっているように、test setが複数組あるケースで困っております。
比較したいモデルが2つであれば、paired t-testで良いと思っているのですが、
比較したいモデルが3つ以上では、検定の多重性から不適当だと思っています。
何か良い検定法をご存じでしょうか。

[R.Shigemori]

3群の比較は分散分析を行ってから群間比較をするといいと思います。ただ、この方法を推奨しない見解もあるので、正しくないのかもしれません。

もしかすると、検定による評価という発想を止めて、各群について平均が最大になる確率を求めたほうがいいかもしれません。（a>bかつa>cとなる確率がわかればaの平均が最大になる確率がわかる）ベイズ推定あたりを使うとうまくいきそうな気がするので調べてみてはいかがでしょう

[退会済みユーザー]

コメントありがとうございます。
大変参考になりました。