ＥＭアルゴリズム，ＫＬダイバージェンスについて

Question

ここで質問することではないのかもしれませんが
教えていただければ幸いです

ＥＭアルゴリズム，ＫＬダイバージェンスについて質問です

ＫＬダイバージェンスにおいて
D(p||q) = ∫p(x)log(p(x)/q(x))dx となると思うのですが

|| ← の意味はなんでしょうか

ＥＭアルゴで
logp(D|θ) = log∫p(D,z|θ)dzを最大化したいときに
log∫p(D,z|θ)dz = log∫q(z|D)(p(D,z|θ)/q(z|D))dz となると思うのですが
なぜこうなるのでしょうか
ＫＬダイバージェンスの式を見た感じだと，
q・p/q ではなくて，p・p/q ではないかと思ったのですが
なぜでしょうか

またjensenの不等式から
log∫q(z|D)(p(D,z|θ)/q(z|D))dz ≧ ∫q(z|D)log(p(D,z|θ)/q(z|D))dz
≡F(q(z|D),θ) となると思うのですが
なぜ，q(z|D)，θになるのでしょうか

ご教授お願い致します。

Answer 1

D(p||q) = ∫p(x)log(p(x)/q(x))dx となると思うのですが

|| ← の意味はなんでしょうか

左辺のように書いたら右辺の意味であるという「定義」です。それ以上の意味はないと思いますが。
条件付き確率のときの p|q との混同を避けたのか距離なのでノルムからの類推かなと思いますが私は分かりません。

log∫p(D,z|θ)dz = log∫q(z|D)(p(D,z|θ)/q(z|D))dz

左辺に対しq(z|D)を掛けてq(z|D)で割っているので左辺=右辺であり、p.(p/q)では左辺=右辺になっていません

≡F(q(z|D),θ) となると思うのですが
なぜ，q(z|D)，θになるのでしょうか

≡ は合同、定義、恒等式、同値などに使われますがここでは
左辺を右辺として定義した。ということです。ですので、「なぜ」という理由はありません。