質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.60%

kerasで2入力1出力のCNN設計をしたい

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 123

bas

score 9

実現したいこと

2枚の画像を入力して1つの出力を得る(分類される)CNNの設計を行っています。

具体的には,VGG16の特徴抽出層(重みは初期化しないでImagenetで学習済みのものを使用)を用いて2枚の画像から特徴を抽出し,それを全結合層で推論するネットワークです。

しかし,以下のエラーが発生しました。

エラーメッセージ

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-62-d0881f532e33> in <module>()
----> 1 NN3_conv = Flatten()(merged)
      2 NN3_conv = Dense(8192)(NN3_conv)
      3 NN3_conv = BatchNormalization()(NN3_conv)
      4 NN3_conv = Dense(8192)(NN3_conv)
      5 NN3_conv = BatchNormalization()(NN3_conv)

~\Anaconda3\lib\site-packages\keras\engine\base_layer.py in __call__(self, inputs, **kwargs)
    504             if all([s is not None
    505                     for s in to_list(input_shape)]):
--> 506                 output_shape = self.compute_output_shape(input_shape)
    507             else:
    508                 if isinstance(input_shape, list):

~\Anaconda3\lib\site-packages\keras\layers\core.py in compute_output_shape(self, input_shape)
    499             raise ValueError('The shape of the input to "Flatten" '
    500                              'is not fully defined '
--> 501                              '(got ' + str(input_shape[1:]) + '). '
    502                              'Make sure to pass a complete "input_shape" '
    503                              'or "batch_input_shape" argument to the first '

ValueError: The shape of the input to "Flatten" is not fully defined (got (None, None, 1024)). Make sure to pass a complete "input_shape" or "batch_input_shape" argument to the first layer in your model.

ソースコード

from keras.models import Model, Sequential
from keras.layers import Input, Dense, Dropout, Activation, Flatten
from keras.layers import add, concatenate
from keras.utils import plot_model
from keras.applications.vgg16 import VGG16
import keras

NN1=keras.applications.vgg16.VGG16(include_top=False, weights='imagenet', input_tensor=None, input_shape=None, pooling=None)
NN2=keras.applications.vgg16.VGG16(include_top=False, weights='imagenet', input_tensor=None, input_shape=None, pooling=None)

merged = concatenate([NN1.output, NN2.output])

NN3_conv = Flatten()(merged)
NN3_conv = Dense(8192)(NN3_conv)
NN3_conv = BatchNormalization()(NN3_conv)
NN3_conv = Dense(8192)(NN3_conv)
NN3_conv = BatchNormalization()(NN3_conv)
NN3_conv = Dense(CLASS_NUM, activation="softmax")(NN3_conv)

model = Model([NN1.input, NN2.input], NN3_conv)

何が原因なのかよく分かりません。
どなたかご教授よろしくお願いします。

環境・バージョン

OS
windows10

バージョン
python3.6.4
keras2.3.1

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

Imagenetの基本サイズを指定したところ正常にFlattenできました。 注意点は、同じVGG16のモデルを2回利用するため、普通に並べてしまうとkerasの内部でlayerの名前がバッティングします。ということで、名前だけ途中で書き換えています。

from keras.models import Model, Sequential
from keras.layers import Input, Dense, Dropout, Activation, Flatten
from keras.layers import add, concatenate, BatchNormalization
from keras.utils import plot_model
from keras.applications.vgg16 import VGG16
import keras

NN1=keras.applications.vgg16.VGG16(include_top=False, weights='imagenet', input_tensor=None, input_shape=(224,224,3), pooling=None)
NN2=keras.applications.vgg16.VGG16(include_top=False, weights='imagenet', input_tensor=None, input_shape=(224,224,3), pooling=None)
for layer in NN1.layers:
    layer.name = layer.name + str("NN1")
for layer in NN2.layers:
    layer.name = layer.name + str("NN2")

merged = concatenate([NN1.output, NN2.output])

NN3_conv1 = Flatten()(merged)
NN3_conv2 = Dense(8192)(NN3_conv1)
NN3_conv3 = BatchNormalization()(NN3_conv2)
NN3_conv4 = Dense(8192)(NN3_conv3)
NN3_conv5 = BatchNormalization()(NN3_conv4)
NN3_conv6 = Dense(1000, activation="softmax")(NN3_conv5)

model = Model([NN1.input, NN2.input], NN3_conv6)
model.summary()
__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
input_1NN1 (InputLayer)         (None, 224, 224, 3)  0                                            
__________________________________________________________________________________________________
input_2NN2 (InputLayer)         (None, 224, 224, 3)  0                                            
__________________________________________________________________________________________________
block1_conv1NN1 (Conv2D)        (None, 224, 224, 64) 1792        input_1NN1[0][0]                 
__________________________________________________________________________________________________
block1_conv1NN2 (Conv2D)        (None, 224, 224, 64) 1792        input_2NN2[0][0]                 
__________________________________________________________________________________________________

・・中略・・

block1_conv2NN1 (Conv2D)        (None, 224, 224, 64) 36928       block1_conv1NN1[0][0]            
__________________________________________________________________________________________________
block1_conv2NN2 (Conv2D)        (None, 224, 224, 64) 36928       block1_conv1NN2[0][0]            
__________________________________________________________________________________________________
block1_poolNN1 (MaxPooling2D)   (None, 112, 112, 64) 0           block1_conv2NN1[0][0]            
__________________________________________________________________________________________________
block1_poolNN2 (MaxPooling2D)   (None, 112, 112, 64) 0           block1_conv2NN2[0][0]            
__________________________________________________________________________________________________
block2_conv1NN1 (Conv2D)        (None, 112, 112, 128 73856       block1_poolNN1[0][0]             
__________________________________________________________________________________________________
block2_conv1NN2 (Conv2D)        (None, 112, 112, 128 73856       block1_poolNN2[0][0]             
__________________________________________________________________________________________________
block2_conv2NN1 (Conv2D)        (None, 112, 112, 128 147584      block2_conv1NN1[0][0]            

flatten_1 (Flatten)             (None, 50176)        0           concatenate_1[0][0]              
__________________________________________________________________________________________________
dense_1 (Dense)                 (None, 8192)         411049984   flatten_1[0][0]                  
__________________________________________________________________________________________________
batch_normalization_1 (BatchNor (None, 8192)         32768       dense_1[0][0]                    
__________________________________________________________________________________________________
dense_2 (Dense)                 (None, 8192)         67117056    batch_normalization_1[0][0]      
__________________________________________________________________________________________________
batch_normalization_2 (BatchNor (None, 8192)         32768       dense_2[0][0]                    
__________________________________________________________________________________________________
dense_3 (Dense)                 (None, 1000)         8193000     batch_normalization_2[0][0]      
==================================================================================================
Total params: 515,854,952
Trainable params: 515,822,184
Non-trainable params: 32,768
__________________________________________________________________________________________________

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/11/26 16:03

    うまくいきました。
    ありがとうございました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.60%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る