Log probabilityの計算

Question

import torch
from torch.distributions import Categorical

# 40%と60%で確率を設定
probs = torch.tensor([0.4, 0.6]])
# カテゴリカル分布クラスをインスタンス化
m = Categorical(probs)
# サンプリング
action = m.sample()
log_prob = m.log_prob(action)

この確率分布クラスは毎回サンプリング値が異なりますが、具体的に、どのような計算を行っているのしょうか。参考ページPROBABILITY DISTRIBUTIONS - TORCH.DISTRIBUTIONS

multinomialを使っているので基本的には並べ替えを変えているようですが、それだけでしょうか。

 def sample(self, sample_shape=torch.Size()):
        sample_shape = self._extended_shape(sample_shape)
        param_shape = sample_shape + torch.Size((self._num_events,))
        probs = self.probs.expand(param_shape)
        probs_2d = probs.reshape(-1, self._num_events)
        sample_2d = torch.multinomial(probs_2d, 1, True)
        return sample_2d.reshape(sample_shape)

Answer 1

質問のコードは表が出る確率が0.4、裏が出る確率が0.6のコインをトスしたとき、表裏のどちらが出るかをサンプリングするというものです。
当たり前ですが、裏の出る確率が高くても常に裏が出るとは限りません。これがサンプリングするたびに結果が異なる理由です。

結果が毎回異なるようにする実装は乱数を生成することで実現しています。ここからは想像になりますが、実装としては擬似乱数関数を使って一様分布の値を生成し、各確率分布の定義に沿って実際の乱数に変換しているのではないでしょうか。

なお、離散系の確率分布のベルヌーイ分布・二項分布・他項分布・カテゴリー分布は式変形により導出な関係です。もう少しざっくりいうとベルヌーイ分布を試行回数・クラス数を拡張させると他の分布になります。よって、コードを追いかけていくと最終的にベルヌーイ分布を擬似乱数関数で実装しているのではないでしょうか

Comments

[teefpc]

とても分かりやすいです

Answer 2

具体的に、どのような計算を行っているのしょうか。

Log probability は、確率値に対数をとったものです。

実装の話であれば、こちらでコードを見れます。

torch.distributions.categorical — PyTorch master documentation

追記

multinomialを使っているので基本的には並べ替えを変えているようですが、それだけでしょうか。

カテゴリカル分布は、多項分布で N = 1 とした場合なので、torch.multinomial(probs_2d, 1, True) で計算しています。

ややこしい離散分布に関するまとめ - 作って遊ぶ機械学習。