質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.62%

  • Python

    7436questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Chainer

    136questions

    Chainerは、国産の深層学習フレームワークです。あらゆるニューラルネットワークをPythonで柔軟に書くことができ、学習させることが可能。GPUをサポートしており、複数のGPUを用いた学習も直感的に記述できます。

Negative log likelihoodが負値をとってしまう

受付中

回答 0

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 46

npkk

score 17

 質問内容

サンプル分布に正規分布を仮定したVAEの学習を行おうとしているのですが,Loss関数のNegative Log Likelihoodの値が負値をとってしまい学習が発散してしまいます.
考えうる原因としてどのようなものがありますか?
出来る限り多くの回答頂ければ幸いです.

 実行環境

python3.6
pytorch0.4.0

 実装内容

gaussian_nllをchainerからtensorに対応させる形で移植しました.
(移植内容を加筆しました)

def gaussian_nll(x, mean, logvar, reduce=True):
    x_prec = torch.exp(-logvar)
    x_diff = x - mean
    x_power = x_diff * x_diff * x_prec * -0.5
    c = torch.Tensor(1).float()
    c[0] = 2 * math.pi
    loss = (logvar + torch.log(c)) / 2 - x_power
    if reduce is True:
        return torch.sum(loss)
    else:
        return loss


np.random.randnを使ってchainerのgaussian_nllと出力が同じかどうか検証をしました.
Encoder, Decoderは出力層の1層前から重みを共有しない1dconvで出力しています.

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正の依頼

  • tiitoi

    2018/09/14 16:15

    tensor というのは、Tensorflow を使用しているということでしょうか。コードを追加することはできますか?

    キャンセル

  • npkk

    2018/09/14 16:36

    いえ,pytorchのTensorです.コードを追加します.

    キャンセル

  • tiitoi

    2018/09/14 17:21

    すいません。pytorch は使ったことがないのでわからないです。

    キャンセル

まだ回答がついていません

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.62%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    RNNのサンプルコードについて

    python3.5で動作しています。 こちらの和訳ページ を元にサンプルのコードを記述したのですが、エラーにより動作しませんでした。エラー文としてはどうやらどこかの入力にnp.

  • 解決済

    chainerのImportError: No module

    前提・実現したいこと https://github.com/mitmul/deeppose こちらのdeep poseを実装中のエラーです サーバー上に全てのデータを置き、チュ

  • 解決済

    MNISTが収束しない(theano)

    初歩的な質問で恐縮ですが、theanoでMNISTの手書き文字分類をしたのですが、うまく収束しません。 http://deeplearning.net/tutorial/logre

  • 解決済

    list index out of range のエラー修正

    コード import numpy as np import chainer from chainer import cuda,Function,report,training,ut

  • 受付中

    Chainerでのアップサンプリングの仕方について

    ご質問失礼いたします。 Chainerで人工知能を試してみたく、いろいろ勉強しているのですがアップサンプリングの際にエラーが出てしまい困っております。ご助力いただけますと幸いで

  • 受付中

    chainerでDCGANを行いたいがエラーが発生

    chainerでDCGANを行いたく、以下の公式のchianerをダウンロードしました。 https://github.com/chainer/chainer/tree/maste

  • 解決済

    chainerでのin_types[0].shape[1] == in_types[1].shape...

    前提・実現したいこと chainerで作成したモデルを読み込みたいのですが、 Expect: in_types[0].shape[1] == in_types[1].shape[1

  • 解決済

    Pythonの文法について

    x = x[None, ...] この処理は一体どのようなものなのでしょうか? Chainerの勉強において、推論を行うために入力をミニバッチの形にするとあったのですが、Pyth

同じタグがついた質問を見る

  • Python

    7436questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Chainer

    136questions

    Chainerは、国産の深層学習フレームワークです。あらゆるニューラルネットワークをPythonで柔軟に書くことができ、学習させることが可能。GPUをサポートしており、複数のGPUを用いた学習も直感的に記述できます。