VGG16の回帰モデル転用

Question

前提・実現したいこと

kerasのVGG16の分類モデルを回帰モデルに転用したい
発生しているエラーメッセージの原因を理解して、エラーメッセージを吐かないようにしたい。

発生している問題・エラーメッセージ

定義したモデルに64×64のRGB画像を学習用として投げ、
input_shape = (256, 256, 3)で以下の定義したモデルに転用したところ

main_model.fit(x=x_train, y=y_train, epochs=10, verbose=2, validation_data=(x_test, y_test))

の入力に

Error when checking target: expected dense_2 to have shape (1,) but got array with shape (2,)

と表示され、学習ができない

該当のソースコード

###レイヤーの定義
def VGG16_Reg(input_shape):
    input_layer = Input(shape=input_shape)

    # Block 1
    conv1_1 = Conv2D(64, (3, 3), name='conv1_1', activation='relu', padding='same')(input_layer)
    conv1_2 = Conv2D(64, (3, 3), name='conv1_2', activation='relu', padding='same')(conv1_1)
    bn1 = BatchNormalization(axis=3)(conv1_2)
    pool1 = MaxPooling2D(pool_size=(2, 2))(bn1)
    drop1 = Dropout(0.5)(pool1)

    # Block 2
    conv2_1 = Conv2D(128, (3, 3), name='conv2_1', activation='relu', padding='same')(drop1)
    conv2_2 = Conv2D(128, (3, 3),name='conv2_2', activation='relu', padding='same')(conv2_1)
    bn2 = BatchNormalization(axis=3)(conv2_2)
    pool2 = MaxPooling2D(pool_size=(2, 2))(bn2)
    drop2 = Dropout(0.5)(pool2)

    # Block 3
    conv3_1 = Conv2D(256, (3, 3),name='conv3_1', activation='relu', padding='same')(drop2)
    conv3_2 = Conv2D(256, (3, 3),name='conv3_2', activation='relu', padding='same')(conv3_1)
    conv3_3 = Conv2D(256, (3, 3),name='conv3_3', activation='relu', padding='same')(conv3_2)
    conv3_4 = Conv2D(256, (3, 3),name='conv3_4', activation='relu', padding='same')(conv3_3)
    bn3 = BatchNormalization(axis=3)(conv3_4)
    pool3 = MaxPooling2D(pool_size=(2, 2))(bn3)
    drop3 = Dropout(0.5)(pool3)

    # Block 4
    conv4_1 = Conv2D(512, (3, 3),name='conv4_1', activation='relu', padding='same')(drop3)
    conv4_2 = Conv2D(512, (3, 3),name='conv4_2', activation='relu', padding='same')(conv4_1)
    conv4_3 = Conv2D(512, (3, 3),name='conv4_3', activation='relu', padding='same')(conv4_2)
    conv4_4 = Conv2D(512, (3, 3),name='conv4_4', activation='relu', padding='same')(conv4_3)
    bn4 = BatchNormalization(axis=3)(conv4_4)
    pool4 = MaxPooling2D(pool_size=(2, 2))(bn4)
    drop4 = Dropout(0.5)(pool4)

    # Block 5
    conv5_1 = Conv2D(512, (3, 3),name='conv5_1', activation='relu', padding='same')(drop4)
    conv5_2 = Conv2D(512, (3, 3),name='conv5_2', activation='relu', padding='same')(conv5_1)
    conv5_3 = Conv2D(512, (3, 3),name='conv5_3', activation='relu', padding='same')(conv5_2)
    conv5_4 = Conv2D(512, (3, 3),name='conv5_4', activation='relu', padding='same')(conv5_3)
    bn5 = BatchNormalization(axis=3)(conv5_4)
    pool5 = MaxPooling2D(pool_size=(2, 2))(bn5)
    drop5 = Dropout(0.5)(pool5)
    
    x = Flatten()(drop5)
    x = Dense(4096)(x)
    x = Dropout(0.5)(x)
    x = Dense(1)(x)
    model = Model(inputs=input_layer, outputs=x)
    model.compile(loss='mean_squared_error', optimizer='rmsprop')
    return model

補足情報

google colabで実行

Answer 1

dense_2が想定しているshapeが(1, )に対して(2, )が入力されているようです．

    x = Flatten()(drop5)
    x = Dense(4096)(x)
    x = Dropout(0.5)(x)
    # 追記
    print(x.shape)
    x = Dense(1)(x)

のように追記してshapeを確認して見てください．

Comments

[pythonista]

(?, 4096)というタプルがprintで返却されました。この場合、どのように対処したら良いでしょうか。

[tetsu316]

試してみたところ自分のcolab環境ではできました．
x_trainの定義など，前後のコード送ってもらうことは可能ですか？

[pythonista]

ありがとうございます。以下が他の定義になります

```
#画像データの取り込み
train_images_list = os.listdir(main_dir +"train_images")
```

```
##データ読み込み関数
def images_to_array_CV2(ImageName_list=restricted_train_images_list, Images_directory=main_dir+"train_images/", image_size=64, train_cast="float32", colour_scale=255.0, dense_size=100):
import numpy
import cv2
import glob
from keras.utils import np_utils
X = []
Y = []
for index, name in enumerate(ImageName_list):
dir = Images_directory + name
files = glob.glob(dir)
for i, file in enumerate(files):
image = cv2.imread(file)
image = cv2.resize(image, (image_size, image_size))
data = numpy.asarray(image)
X.append(data)
Y.append(index)
print(name + ": already treated")
X = numpy.array(X)
Y = numpy.array(Y) #
X = X.astype(train_cast) #データサイズ縮小
X = X/colour_scale #色合いを正規化
Y = np_utils.to_categorical(Y, dense_size) #各ラベルを0or1のカテゴリベクトル化(分類タスク用)
return [X, Y]
```
```
#データの整形
x_train = images_to_array_CV2(ImageName_list=restricted_train_images_list, image_size=256)[0]
y_train = y_train.head(len(x_train))
x_test = images_to_array_CV2(ImageName_list=train_images_list[31:31+30], image_size=256)[0]
y_test = y_train[len(x_test):len(x_test)+30]
```

[pythonista]

def以降は全てreturnまでインデントあります。コピペで貼り付けました。気が回らずに申し訳ありません。

```
##データ読み込み関数
def images_to_array_CV2(ImageName_list=restricted_train_images_list, Images_directory=main_dir+"train_images/", image_size=64, train_cast="float32", colour_scale=255.0, dense_size=100):
import numpy
import cv2
import glob
from keras.utils import np_utils
X = []
Y = []
for index, name in enumerate(ImageName_list):
dir = Images_directory + name
files = glob.glob(dir)
for i, file in enumerate(files):
image = cv2.imread(file)
image = cv2.resize(image, (image_size, image_size))
data = numpy.asarray(image)
X.append(data)
Y.append(index)
print(name + ": already treated")
X = numpy.array(X)
Y = numpy.array(Y) #
X = X.astype(train_cast) #データサイズ縮小
X = X/colour_scale #色合いを正規化
Y = np_utils.to_categorical(Y, dense_size) #各ラベルを0or1のカテゴリベクトル化(分類タスク用)
return [X, Y]
```

[tetsu316]

```
Y = np_utils.to_categorical(Y, dense_size) #各ラベルを0or1のカテゴリベクトル化(分類タスク用)
```
これですね，分類問題に使われるものです．
今回は回帰タスクに変更したいとのことなのでこの行は消していただいて大丈夫です．

```
#データの整形
x_train = images_to_array_CV2(ImageName_list=restricted_train_images_list, image_size=256)[0]
y_train = y_train.head(len(x_train))
x_test = images_to_array_CV2(ImageName_list=train_images_list[31:31+30], image_size=256)[0]
y_test = y_train[len(x_test):len(x_test)+30]
```

ここの部分が実行できなかったのですが,以下のように書くと可読性も上がると思います
```
x_train, y_train = images_to_array_CV2(hoge)
x_test, y_test = images_to_array_CV2(hoge)
```

[tetsu316]

ラベル(y_train, y_test)が問題だったみたいです

[pythonista]

解決いたしました！！！！！！！！！！！
大変懇切丁寧なアドバイスありがとうございます
本当に助かりました