ランダムフォレストについて

Question

連投申し訳ありません。ランダムフォレストについての質問を書き直させて質問させて頂きました。

現在私は引継ぎである深層学習のモデルを使用しているのですが、そのモデルは18項目(a~s)のデータを学習させ、aを導出するモデルです。

このモデルではデータ入力の前に特徴量選択を行い入力項目数を減らすのですが、
この際ランダムフォレストによる特徴量選択を使用しています。
この時に特徴量選択がどのように行われているのか、が理解できませんでした。

私のイメージではターゲットであるaを縦軸に、その他bsを横軸に全てのデータを表示し、
そこからaの回帰タスクとして各テストでbsをランダムに選択しテスト(ノード)を作成。これをこちらが設定した深さまで行い、特徴量(b~s)の重要度を決定する。以上の作業を複数回行い、多数決で特徴量の重要度を決定、設定した特徴量の数まで重要度の低い特徴量を削る。

という作業が行われているという認識なのですが、これは正しいでしょうか。

度々申し訳ありませんが、よろしくお願いします。

Comments

[hayataka2049]

削除依頼という機能があるので、どちらかの質問（というか回答がついていない方）に出しておいてください。

[kokono]

承知しました。ご連絡ありがとうございます。

[hayataka2049]

正しくは削除リクエストでしたね
https://teratail.com/help#delete-question

[kokono]

ありがとうございます。削除依頼させて頂きました。

Answer 1

ランダムフォレストは決定木をベースとしたアンサンブル学習です。いくつかの特徴量からブートストラップ法で特徴量を選択し、チョイスされた特徴量から弱識別器（単体の決定木）を作ります。その作業は何度も行うことで単体の決定木より、よりロバストな推論ができる仕組みになっています。

決定木の枝の増やし方については、多々ありアルゴリズムによって大きく異なります。簡単なイメージとしては最も綺麗に目的変数を分割できるような特徴量とその境界線を選んでいく形になります。

もう少し、厳密な説明だと「情報利得」の最大化（＝分割前の不純度より分割後の不純度がより小さくなる）ように枝を増やしていきます。質問者様のおっしゃる通り、その際に木の深さを事前にこちらで決めることも可能です。そうすることで、よりシンプルなモデルを作ることだでき、過学習対策につながる場合もあります。

Comments

[kokono]

ありがとうございます。具体的なイメージが掴めました。