ランダムフォレストのoob_decision_function_属性について

Question

ランダムフォレストのoob_decision_function_属性の具体的なアルゴリズムがよくわかりません。
Python3系で決定木を用いて実装するには、どのような点に気を付けたら良いのでしょうか。
sklearnのRandomForestClassifierの属性の項目を読んでも理解できなかったので教えてもらえると助かります。

Answer 1

ランダムフォレストでは学習データを用いて各決定木を構築する際に、ブートストラップサンプリング（元のサンプル数と同じ数だけ重複ありランダムサンプリング）を行います。

結果、それぞれの決定木で（重複した分だけ入らなくなるものがでてくるので）学習に使われなかったサンプルが生じます。これは元のサンプル数の約37%になります（証明できます。参考資料に載っています）。

各決定木において学習に使われないサンプルが約37%あるということは、これらは（その木では）学習に使っていないのだから、ホールドアウト検証の際のテストデータと同じようなものとみなしてもまあよかろう、という発想が出てきます。それぞれの木における学習に使われなかったサンプルに対してそれぞれの木で予測を行い、同じサンプルに対する予測を多数決して、実際の正解ラベルと照らし合わせると、ランダムフォレスト全体の汎化性能を評価することができます。これをOut-Of-Bag estimateなどと称します。

oob_decision_function_については、この際の多数決の結果を足して1になるように標準化したものでしょう。

参考資料
Out-of-bag error - Wikipedia
【機械学習】OOB (Out-Of-Bag) とその比率 - Qiita

Comments

[mogusanu]

迅速なご対応ならびに、詳細なご説明に感謝いたします。
「それぞれの木における学習に使われなかったサンプルに対してそれぞれの木で予測を行い、同じサンプルに対する予測を多数決して、実際の正解ラベルと照らし合わせる」についてですが、それぞれの決定木がブートストラッピングにより使用されなかったサンプルに対して予測を行い、それら全ての予測を集約して多数決をおこなうということでしょうか？

[hayataka2049]

それでいいと思います。

[mogusanu]

ありがとうございます！