質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.61%

CNNのconv層からlinear層への渡し方がわからない

受付中

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 1,505

score 18

前提・実現したいこと

現在、chainerの勉強でCNNを用いたニューラルネットワークの実装を試みています。

発生している問題・エラーメッセージ

今回、convolution2D層からlinear層にデータを渡す際、エラーが起こってしまいました。

Exception in main training loop: 
Invalid operation is performed in: LinearFunction (Forward)

Expect: x.shape[1] == W.shape[1]
Actual: 65536 != 512
Traceback (most recent call last):
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/training/trainer.py", line 315, in run
    update()
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/training/updaters/standard_updater.py", line 165, in update
    self.update_core()
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/training/updaters/standard_updater.py", line 181, in update_core
    optimizer.update(loss_func, in_arrays)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/optimizer.py", line 680, in update
    loss = lossfun(*args, **kwds)
  File "/home/tetsuro/AttnGAN-master/data/coco/net.py", line 64, in lf
    mu, ln_var = self.encode(x)
  File "/home/tetsuro/AttnGAN-master/data/coco/net.py", line 41, in encode
    mu = self.le4_mu(h3)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/link.py", line 242, in __call__
    out = forward(*args, **kwargs)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/links/connection/linear.py", line 138, in forward
    return linear.linear(x, self.W, self.b, n_batch_axes=n_batch_axes)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/functions/connection/linear.py", line 289, in linear
    y, = LinearFunction().apply(args)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/function_node.py", line 245, in apply
    self._check_data_type_forward(in_data)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/function_node.py", line 330, in _check_data_type_forward
    self.check_type_forward(in_type)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/functions/connection/linear.py", line 27, in check_type_forward
    x_type.shape[1] == w_type.shape[1],
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/utils/type_check.py", line 546, in expect
    expr.expect()
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/utils/type_check.py", line 483, in expect
    '{0} {1} {2}'.format(left, self.inv, right))
Will finalize trainer extensions and updater before reraising the exception.
Traceback (most recent call last):
  File "train_vae_img.py", line 128, in <module>
    main()
  File "train_vae_img.py", line 88, in main
    trainer.run()
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/training/trainer.py", line 329, in run
    six.reraise(*sys.exc_info())
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/six.py", line 693, in reraise
    raise value
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/training/trainer.py", line 315, in run
    update()
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/training/updaters/standard_updater.py", line 165, in update
    self.update_core()
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/training/updaters/standard_updater.py", line 181, in update_core
    optimizer.update(loss_func, in_arrays)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/optimizer.py", line 680, in update
    loss = lossfun(*args, **kwds)
  File "/home/tetsuro/AttnGAN-master/data/coco/net.py", line 64, in lf
    mu, ln_var = self.encode(x)
  File "/home/tetsuro/AttnGAN-master/data/coco/net.py", line 41, in encode
    mu = self.le4_mu(h3)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/link.py", line 242, in __call__
    out = forward(*args, **kwargs)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/links/connection/linear.py", line 138, in forward
    return linear.linear(x, self.W, self.b, n_batch_axes=n_batch_axes)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/functions/connection/linear.py", line 289, in linear
    y, = LinearFunction().apply(args)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/function_node.py", line 245, in apply
    self._check_data_type_forward(in_data)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/function_node.py", line 330, in _check_data_type_forward
    self.check_type_forward(in_type)
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/functions/connection/linear.py", line 27, in check_type_forward
    x_type.shape[1] == w_type.shape[1],
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/utils/type_check.py", line 546, in expect
    expr.expect()
  File "/home/tetsuro/.virtualenvs/Test/lib/python3.5/site-packages/chainer/utils/type_check.py", line 483, in expect
    '{0} {1} {2}'.format(left, self.inv, right))
chainer.utils.type_check.InvalidType: 
Invalid operation is performed in: LinearFunction (Forward)

Expect: x.shape[1] == W.shape[1]
Actual: 65536 != 512

該当のソースコード

#!/usr/bin/env python


import six

import chainer
import chainer.functions as F
from chainer.functions.loss.vae import gaussian_kl_divergence
import chainer.links as L


class VAE(chainer.Chain):
    """ Variational AutoEncoder"""


    def __init__(self, n_ch, n_latent, n_first):
        super(VAE, self).__init__()
        with self.init_scope():
            # encoder 入力から隠れベクトルの作成
            self.le1 = L.Convolution2D(n_ch, n_first, 4, 2, 1)
            self.le2 = L.Convolution2D(n_first, n_first * 2, 4, 2, 1)
            self.le3 = L.Convolution2D(n_first * 2, n_first * 4, 4, 2, 1)
            self.le4_mu = L.Linear(n_first*4, n_latent)
            self.le4_ln_var = L.Linear(n_first*4, n_latent)
            # decoder

            self.ld1 = L.Linear(n_latent, 512)
            self.ld2 = L.Deconvolution2D(n_first * 4, n_first * 2, 4, 2, 1)
            self.ld3 = L.Deconvolution2D(n_first * 2, n_first, 4, 2, 1)
            self.ld4 = L.Deconvolution2D(n_first, 1, 4, 2, 1)


    def forward(self, x, sigmoid=False):
        """AutoEncoder"""
        return self.decode(self.encode(x), sigmoid)

    def encode(self, x):
        h1 = F.leaky_relu(self.le1(x), slope = 0.2)
        h2 = F.leaky_relu(self.le2(h1), slope = 0.2)
        h3 = F.leaky_relu(self.le3(h2), slope = 0.2)
        mu = self.le4_mu(h3)
        ln_var = self.le4_ln_var(h3)  # log(sigma**2)
        return mu, ln_var

    def decode(self, z, sigmoid=False):
        h1 = F.relu(self.ld1(z))
        h2 = F.relu(self.ld2(h1))
        h3 = F.relu(self.ld3(h2))
        h4 = self.ld4(h3)
        if sigmoid:
            return F.F.sigmoid(h4)
        else:
            return h4

    def get_loss_func(self, beta=1.0, k=1):
        """
        VAEの損失の計算
        Args:
            C (int): 正則化項をどれだけ効かせるかの変数、通常1.0が使用される
            k (int): サンプルを何回行うか
        """

        def lf(x):
            mu, ln_var = self.encode(x)
            batchsize = len(mu)
            # 復元誤差の計算
            rec_loss = 0
            for l in six.moves.range(k):
                z = F.gaussian(mu, ln_var)
                # rec_loss += F.bernoulli_nll(x, self.decode(z, sigmoid=False)) / (k * batchsize)
                rec_loss += F.mean_squared_error(
                    x, self.decode(z, sigmoid=False)) / (k * batchsize)
            self.rec_loss = rec_loss
            self.loss = self.rec_loss + \
                beta * gaussian_kl_divergence(mu, ln_var) / batchsize
            chainer.report(
                {'rec_loss': rec_loss, 'loss': self.loss}, observer=self)
            return self.loss
        return lf

試したこと

linearで受け取るデータが512次元になってないのかと思い、
self.le4_mu = L.Linear(n_first*4, n_latent)
self.le4_ln_var = L.Linear(n_first*4, n_latent)
のn_first*4を512にしたのですがエラーが出てしまいました。

どのようにコードを書き換えればよいでしょうか。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • kzm4269

    2018/12/19 11:55

    `VAE` クラスをどうインスタンス化してどう扱おうとしたのかの情報が不足しています。
    エラーを再現可能なソースコードを記載してください。

    キャンセル

  • null0723

    2018/12/19 12:19

    文字数制限があったので別の質問として投稿しました。

    キャンセル

回答 1

0

畳み込み層からの出力は512ですが、これは「2次元のデータが512ある」です。データの総数は、この時点での2次元データの総数倍あります。
10*10の画像を入力していたなら、51200ある。

chainerはdefine by run なので、入力はNoneでいいですよ。

            self.le1 = L.Convolution2D(None, n_first, 4, 2, 1)
            self.le2 = L.Convolution2D(None, n_first * 2, 4, 2, 1)
            self.le3 = L.Convolution2D(None, n_first * 4, 4, 2, 1)
            self.le4_mu = L.Linear(None, n_latent)
            self.le4_ln_var = L.Linear(None, n_latent)

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/12/19 16:41

    入力をNoneにした場合、self.ld1 = L.Linearの引数はn_latentと何になるのでしょうか。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.61%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る