回答編集履歴

- EM アルゴリズムは、パラメータを更新するごとに対数尤度が単調増加するようになるものなので、イテレーション回数や初期値の与え方は、対数尤度の値が振動に影響を与えません。また、桁落ちで値がわずかに振動する場合はありますが、示されている例は、桁落ちという感じはないように思います。

- 念のため、桁落ちしにくい、サイズの小さい人工データをつくり、それで試しても、対数尤度の値が（わずかではなく）振動するのなら、計算が間違っていないか確認するのが、ひとつの方法です。