ランダムフォレスト、決定木のアルゴリズムについて

Question

こんにちは。
何回かネットで調べていたのですが答えが出なかったため質問させて下さい。

所謂決定木やランダムフォレストといわれているものは、
例えば気温、湿度などで何度以上であれば次のノードに進む、などと書かれていたのですが、そのような条件分岐は機械学習で自動で行うのでしょうか？

scikit learnを使えば実装できるとネットや本に書いてあったのですが、アルゴリズムを理解するために自分でスクラッチで実装したいです。
なので、条件分岐を機械学習によって学ぶものであるとした場合に、どのようなアルゴリズムでそのようなノードを作成していくのかを教えて下さい。

また、それらをテストするパターンとして、自分で用意できるデータではどのようなものがございますでしょうか？
宜しくお願い致します。

Answer 1

アルゴリズムの説明は

Wikipedia:決定木

にあります。
上記にありますが、どう分岐するかは
ID3
C4.5
CART
CHAID
などの手法の違いがあります。

決定木、そしてその回帰版の回帰木は判別、回帰が出来ますので判別、回帰をするようなデータであれば何でも対応可能です。

ランダムフォレストは、決定木（回帰木）をたくさん作ってその多数決（平均）を取るというようなアルゴリズムですので、まずは決定木（回帰木）をマスターするとよろしいかと思います。

為念：
判別：回答がTrue/False、入会する/入会しないのように2値に分けられる問題
回帰：曜日や気温等を入れてアイスの売上を予測するというような連続値を予測するような問題

Comments

[babbleman]

分かりやすい回答ありがとうございます！
それらの手法で調べてみます！

[babbleman]

ちなみに、2値問題しか解けないでしょうか？
例えばこれは何のキノコの種類か判定するなどの多値問題は解けないでしょうか？

[babbleman]

もう一つ質問させてください。
Cartについて調べたのですが、統計的に分岐を行うもののようでした。
その条件について、
例えば気温と湿度だけがあったとします。

これらはデータとしてあらかじめリストなどでパラメータを与えておいて

そこから順番に条件を作っていくイメージでしょうか？

例えば、湿度が50%以上っていう分岐があったとして、その分岐を作るきっかけのようなものを教えて欲しいです。

[aokikenichi]

また別の質問かと思います。新たに質問を立ててください。
分かる範囲で

多値、多群判別もできるはずと思います。ランダムフォレストでは実施経験があります。決定木でも出来るはずと思いますが多群判別はあまり私が経験がないので。

Cartについて
http://codecrafthouse.jp/p/2014/09/decision-tree/
「湿度が50%以上っていう分岐があったとして、その分岐を作るきっかけ」という意味が分かりません。
Cartにデータを投入するとCartのアルゴリズムで、分岐の条件を算出します。
最初に人間が50%という分岐を与えるわけではありません。

[babbleman]

頂いたサイトは非常に参考になりました！
凄く参考になりました！ありがとうございます！