説明変数の重要度を出す手段

Question

「ランダムフォレストのfeature_importance_」、「線形回帰、ridge回帰、lasso回帰での説明変数に付く係数」以外で、説明変数の重要度を出す手段はありますか？

今、ある数値予測モデルを作っていて、いろんな手段を使って、被説明変数に対する説明変数の重要度を色々と見てみたいです。

Pythonで可能な方法を教えていただけると幸いです。
よろしくお願いいたします。

Answer 1

MIC(Maximal information coefficient)という相関係数があります。重要度とはちょっと違いますが、役に立つかもしれません。

参考：
MICの解説 https://www.slideshare.net/logics-of-blue/mic-31810194

Answer 2

説明変数のwithとwithoutの予測精度のscore差を比較するというのはどうでしょう。差が大きいということは予測精度に対する寄与度が大きいことになり、モデルにとって縦横度が高いと解釈するというものです。

Answer 3

もっと「原始的」な相関係数を出すことは考えられます。

ランダムフォレストの他に、xgboostなどの少しだけ高級な分類器が考えられます。

lassoは比較的ましですが、ridgeの係数は厳しいかもしれません。

問題について情報を少し増やすと回答が増えるかもしれません。