サポートベクターマシーンでモデリングする前の、特徴量選択（Feature Selection）

Question

サポートベクターマシーンを使って、ある数値の予測をしようとしています。
数値予測のモデルを作る前に、30個ある説明変数のどれを減らすか？減らさないか？の判断をしようとしています。

サポートベクターでは、どのように判断すればよいでしょうか？
使うライブラリは、sklearn.svm.SVRです。
下記は私の仮説です。

仮説

ランダムフォレスト等のアンサンブル系で、特徴量の重要度を見るのもありだが、
サポートベクターマシーンは、本質的には、線形モデルなので、RidgeかLassoを使った特徴量選択をする。

因みに、ランダムフォレストを使った際は、RFEでValidation scoreの一番高かった説明変数を選択しました。

Answer 1

カーネルの種類に依存しませんか。

ガウスカーネルの場合、それほど線形モデルでもないように思います。

https://papers.nips.cc/paper/1850-feature-selection-for-svms.pdf
https://pdfs.semanticscholar.org/8af6/903e21a51a66dad5b5d0a2124f1cc65e3e04.pdf

CVスコアは安定していて、いいと思います。