ランダムフォレストで確率密度関数を生成する方法を教えてください

Question

ランダムフォレストについて、単一の値を回帰によって求めることは一般的な使い方だと思いますが、
ランダムフォレストで確率密度関数を推定することは可能でしょうか。

Answer 1

ランダムフォレストを使った回帰の場合、木の分割条件に平均二乗誤差が使用されているようなので、予測結果は平均二乗誤差が最小になっていると解釈できます。平均二乗誤差を最小とするモデルは、誤差が正規分布に従った最尤推定によって構築したものと意味合いとしては同じになります。
よって、木の分割条件に正規分布を仮定した尤度を置いて、分割条件と分散を推計するようにすればいいことになります。ただ、これだとあまりに面倒くさそう（既存のモジュールの応用で、できる気がしない）ので、手を抜いて以下のように考えます。

・観測値=予測値+誤差（予測値はランダムフォレストの予測値、誤差は確率的に生じる偶発的なブレ）
・誤差は、平均=0、標準偏差=sigmaの正規分布に従う。

観測値の式を変形すると誤差=観測値-予測値なので、この観測値-予測値の標準偏差を推計すればいいことになります。

Answer 2

できるみたいですね。
以下のページとやりたいことの内容が一致してると思います。
https://stackoverflow.com/questions/35508777/how-can-i-get-the-probability-density-function-from-a-regression-random-forest

ランダムフォレストで確率密度関数を推定することは可能でしょうか。

日本語で「確率密度関数 推定 random forest」と検索するといくつかページがヒットするので、まずは検索してみることをオススメします。

質問文には無かったのですがタイトルにはあるので方法も知りたいのだと思うのですが、"Probability Density prediction random forest" と検索したら上記のページにたどり着きました。日本語で検索して必要な情報が得られなかった場合でも、英語で検索すると解決できる場合は結構あります。