質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.04%

説明変数の重要度変数(importances[indices])の評価方法の件

受付中

回答 1

投稿

  • 評価
  • クリップ 1
  • VIEW 78

score 32

1.前提
バギングとブースティングによる回帰予測をしています。
説明変数の重要度変数(importances[indices])の評価方法
で、ランダムフォレストやXGBoostは、合計1での説明変数別の評価値が
得ることができます。
しかし、CatBoostでは、合計100での説明変数別の評価値となります。
また、lightGBMでは、合計値は数十~数百と定まった値ではありません。

2.実現したいこと
ランダムフォレストやXGBoostは、条件が同じなので、評価の仕方
も同じでよいと考えます。
4つのアルゴリズムでの説明変数比較をしたいのですが、他の2つ
アルゴリズムについては、以下の疑問があります。
1)catboostは、100で割って、重要度合計1にして各説明変数を評価すべきものなのか?
2)lightGBMは、総計で割って、重要度合計1にして各説明変数を評価すべきものなのか?
詳しい方のご意見をよろしくお願いいたします。

3.参考コード

#(lightGBMのコード)
# 特徴量重要性を計算
importances = model_lgb.feature_importance()
# 特徴量重要度の変数
importances[indices]


#(lightGBM以外のコード)
# 特徴量重要性を計算
importances = model.feature_importances_
# 特徴量重要度の変数
importances[indices]
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

+1

  • 同列に扱いたければ合計1に揃えるしかありません
  • ライブラリ・モデルごとに定義が食い違う可能性があるので、厳密に値の比較を行うのであればそれぞれの仕様を確認してみた上で、意味のある比較が行えるかどうか検討しないといけません(ちょっと難しい)
  • 細かい値の相違は無視して、大雑把に重要度でランク付けして確認してみる程度であれば、そこまで気にする必要はないかもしれません
  • この手の変数重要度は、どの道さほど厳密なものではなく、目安程度の意味しかありません。線形回帰や判別分析の係数であれば統計的な分析に使えますが、そこまでのお役立ちは期待できません

けっきょくのところ、変数重要度からなにを言いたいのか? 次第ではないでしょうか。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2021/05/04 20:31

    ご回答ありがとうございます。文献等を調査してみると、以下のコメントがありました。
    「重要度は「ターゲットの分類にその特徴量による分割がどれくらい寄与しているかを測る指標」なのであって、具体的にどの特徴量をどれくらいの値にすると結果がどうなるのかは言えません。」
    重回帰の例では、ある変数をどれくらいの値にすることでどれだけターゲットの値が変化するのかがわかるようなことがありますが、決定木系統での重要な特徴量では同様なことが言えないということですね。
    ランダムフォレスト等の予測モデルに使用する特徴量選択の面では、意味のある数値と考えています。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.04%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る