機械学習でデータセットのデータごとの未知の確率分布を推定することはできますか？

Question

個々のデータが"多くの特徴量"と"それぞれ異なる未知の確率分布に基づく一つの観測値"を持つデータセットが存在します。このデータセットを元にして、個々のデータの確率分布を推定することはできますか？

具体的には、競馬のデータセットになります。馬の走破タイムは、それぞれの能力に応じた確率分布に従うと考えられます。しかしながら、その確率分布は未知の情報になります。
この確率分布を推定するに当たって、各馬は出走時の馬体重や過去に出走したレースの結果等の多くの特徴量を持ちます。この特徴量のうち、過去のレースの走破タイムは固有の確率分布に従って観測された値になります。

このような問題を解く具体的な方法はありますか。

Answer 1

要求していることを整理すると、「馬体重などの特徴量を条件とした走破タイムを出力する確率分布の特定」となるので、ベイズ推定を使うといいかと思います。

各馬単位で推定するのであれば、階層ベイズとしてモデル化するといいと思います。

pythonだと、pystan(実際にはstanがモデリング言語で、pystanはインターフェースに相当)を使うと実装できます。tensorflowもver1.12あたりから確率モデルが実装できるので、これを使うこともいいかと思います。

Comments

[RARUSAN]

回答ありがとうございます！

階層ベイズ、pystanについて調べてみたいと思います。