Negative log likelihoodが負値をとってしまう

Question

質問内容

サンプル分布に正規分布を仮定したVAEの学習を行おうとしているのですが，Loss関数のNegative Log Likelihoodの値が負値をとってしまい学習が発散してしまいます．
考えうる原因としてどのようなものがありますか？
出来る限り多くの回答頂ければ幸いです．

実行環境

python3.6
pytorch0.4.0

実装内容

gaussian_nllをchainerからtensorに対応させる形で移植しました．
(移植内容を加筆しました）

def gaussian_nll(x, mean, logvar, reduce=True):
    x_prec = torch.exp(-logvar)
    x_diff = x - mean
    x_power = x_diff * x_diff * x_prec * -0.5
    c = torch.Tensor(1).float()
    c[0] = 2 * math.pi
    loss = (logvar + torch.log(c)) / 2 - x_power
    if reduce is True:
        return torch.sum(loss)
    else:
        return loss

np.random.randnを使ってchainerのgaussian_nllと出力が同じかどうか検証をしました．
Encoder, Decoderは出力層の1層前から重みを共有しない1dconvで出力しています．

Comments

[tiitoi]

tensor というのは、Tensorflow を使用しているということでしょうか。コードを追加することはできますか？

[npkk]

いえ，pytorchのTensorです．コードを追加します．

[tiitoi]

すいません。pytorch は使ったことがないのでわからないです。

Answer 1

回答はついぞ付きませんでした
これが正しいと祈ってTrain回すしかないですね