サポートベクターマシンの特徴量の重要度を知る方法は？

Question

サポートベクターマシンでモデルを作成しました。

inputする特徴量が、全部で16項目だとすれば、この16項目のそれぞれの重要度（貢献度）をどのようにすれば知ることができるのでしょうか？
いろいろネットで検索しても有効な情報が得られず、どのようなコードを書けばよいのか見当がつきません...
特徴量の重要度が分かれば、重度の高い特徴量を選択できるので...。

お詳しい方、どうぞよろしくお願いたします。

Answer 1

一般論についてはhayataka2049さんの通りですが、無理やりにでも重要度を得たいのであれば、感応度分析を応用することをお勧めします。
具体的にいうと全特徴量の平均を計算した結果をモデルに投入してベース値を取得します。以後、ひとつの特徴量について少し増加したデータを生成してモデルに投入して、ベース値との差異を取得します。これにより、当該特徴量を変化させた場合の結果の差異が得られます。あとは他の特徴量にも同じことをすれば、どの特徴量が結果に強く影響しているかがわかるはずです

Comments

[python_2019]

ご回答ありがとうございます。

感応度分析というのがあるのですね。
一度、勉強してみたいと思います。

Answer 2

一般論としてSVMに特徴量重要度のような概念はありません。線形カーネルであれば係数を得ることはできますから解釈の余地はありますが、それ以外のケースでは解釈はとても困難でしょう。

特徴量選択を行いたいのであれば、特徴量選択のための手法はいろいろありますから、それらで選択します。

Comments

[python_2019]

ご連絡ありがとうございます。

「SVMに特徴量重要度のような概念はありません」
そうなのですね。了解いたしました。

「特徴量選択を行いたいのであれば、特徴量選択のための手法はいろいろありますから、それらで選択します。」
とのことですが、例えば、どのようなものがありますでしょうか？

[hayataka2049]

scikit-learnのユーザガイドを見てみてください。
https://scikit-learn.org/stable/modules/feature_selection.html

[python_2019]

ご連絡ありがとうございます。

ユーザガイドを見ました。
機能の選択方法がいくつか記載されておりますが、SVMの特徴量選択を行うためには、どれを採用すればよいでしょうか？
内容が難しく、何から手を付けてよいのか...。

ご指導頂ければ助かります。

[hayataka2049]

とりあえずscikit-learnでやるとして、使う特徴量の数を決めて選択したいのであればSelectKBest 、統計的に有意なものを残す方針でやりたいのであれば SelectFprなどが良いのではないでしょうか。

[python_2019]

ありがとうございました。
少し勉強してみます。

Answer 3

Scikit-learnのリファレンスを参照ください。
pca.explained_variance_ratio_が使えると思います。

Comments

[hayataka2049]

そのページはSVMではありませんし、PCAのexplained_variance_ratio_にしろ変数重要度を反映する訳ではありません。

[python_2019]

ご連絡ありがとうございました。

了解いたしました。

[退会済みユーザー]

hhayataka様
ご指摘ありがとうございます。