少数桁数が大きく異なるときの計算

Question

以下のような確率分布を仮定します

P(i|Θ) = ΣP(i,Z|Θ)

のように周辺化をして、事後確率を求めるときに
P(i,Z|Θ)の値にばらつきがあるとき（1e-10,1e-100）
これらの足し算を行うとすると、1e-10に丸められて
1e-100がほとんどないことになってしまいます

logをとろうとおもっても、log-sumになってしまって
計算ができません

このような際にどういう風に計算すればよいですか

----追記-----
精度的な問題はそこまで重要じゃなくて
とりあえず
P(i1|Θ)>p(i2|θ)であるならば
そこがわかるような計算ができればうれしいですが
よろしくお願いいたします。

Answer 1

大量に足し込む場合は、カハンのアルゴリズムのような方法を使うことで、誤差を減らして反映させることができます。

ただ、1つだけで考えた「1e-10+1e-100」のような数は、浮動小数点数の精度限界を超えて四捨五入されることになるかと思います。

Comments

[kohekoh]

精度的な問題はそこまで重要じゃなくて
とりあえず
P(i1|Θ)>p(i2|θ)であるならば
そこがわかるような計算ができればいいのですが…