ValueError: Shapes (None, 1) and (None, 4) are incompatible

Question

前提

4種類の画像判別をkerasに沿って、訓練を実行しようとしていたら以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

Epoch 1/50
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-174-04e2080d51ec> in <module>
      3   validation_data=val_ds,
      4   batch_size=32,
----> 5   epochs=50
      6 )

1 frames
/usr/local/lib/python3.7/dist-packages/keras/utils/traceback_utils.py in error_handler(*args, **kwargs)
     65     except Exception as e:  # pylint: disable=broad-except
     66       filtered_tb = _process_traceback_frames(e.__traceback__)
---> 67       raise e.with_traceback(filtered_tb) from None
     68     finally:
     69       del filtered_tb

/usr/local/lib/python3.7/dist-packages/tensorflow/python/framework/func_graph.py in autograph_handler(*args, **kwargs)
   1145           except Exception as e:  # pylint:disable=broad-except
   1146             if hasattr(e, "ag_error_metadata"):
-> 1147               raise e.ag_error_metadata.to_exception(e)
   1148             else:
   1149               raise

ValueError: in user code:

    File "/usr/local/lib/python3.7/dist-packages/keras/engine/training.py", line 1021, in train_function  *
        return step_function(self, iterator)
    File "/usr/local/lib/python3.7/dist-packages/keras/engine/training.py", line 1010, in step_function  **
        outputs = model.distribute_strategy.run(run_step, args=(data,))
    File "/usr/local/lib/python3.7/dist-packages/keras/engine/training.py", line 1000, in run_step  **
        outputs = model.train_step(data)
    File "/usr/local/lib/python3.7/dist-packages/keras/engine/training.py", line 860, in train_step
        loss = self.compute_loss(x, y, y_pred, sample_weight)
    File "/usr/local/lib/python3.7/dist-packages/keras/engine/training.py", line 919, in compute_loss
        y, y_pred, sample_weight, regularization_losses=self.losses)
    File "/usr/local/lib/python3.7/dist-packages/keras/engine/compile_utils.py", line 201, in __call__
        loss_value = loss_obj(y_t, y_p, sample_weight=sw)
    File "/usr/local/lib/python3.7/dist-packages/keras/losses.py", line 141, in __call__
        losses = call_fn(y_true, y_pred)
    File "/usr/local/lib/python3.7/dist-packages/keras/losses.py", line 245, in call  **
        return ag_fn(y_true, y_pred, **self._fn_kwargs)
    File "/usr/local/lib/python3.7/dist-packages/keras/losses.py", line 1790, in categorical_crossentropy
        y_true, y_pred, from_logits=from_logits, axis=axis)
    File "/usr/local/lib/python3.7/dist-packages/keras/backend.py", line 5083, in categorical_crossentropy
        target.shape.assert_is_compatible_with(output.shape)

    ValueError: Shapes (None, 1) and (None, 4) are incompatible

該当のソースコード

#データの分割
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
  data_dir,
  validation_split=0.2,
  subset="training",
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size)
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
  data_dir,
  validation_split=0.2,
  subset="validation",
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size)

#標準化
AUTOTUNE = tf.data.AUTOTUNE

train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

normalization_layer = layers.experimental.preprocessing.Rescaling(1./255)

normalized_ds = train_ds.map(lambda x, y: (normalization_layer(x), y))
image_batch, labels_batch = next(iter(normalized_ds))
first_image = image_batch[0]
print(np.min(first_image), np.max(first_image)) 

num_classes = 4

def conv2d(filters, kernel_size, strides=1, bias_init=1, **kwargs):
    trunc = TruncatedNormal(mean=0.0, stddev=0.01)
    cnst = Constant(value=bias_init)
    return Conv2D(
        filters,
        kernel_size,
        strides=strides,
        padding='same',
        activation='relu',
        kernel_initializer=trunc,
        bias_initializer=cnst,
        **kwargs
    )

def dense(units, **kwargs):
    trunc = TruncatedNormal(mean=0.0, stddev=0.01)
    cnst = Constant(value=1)
    return Dense(
        units,
        activation='tanh',
        kernel_initializer=trunc,
        bias_initializer=cnst,
        **kwargs
    )

def AlexNet():
    model = Sequential()

    # 第1畳み込み層
    model.add(conv2d(96, 11, strides=(4,4), bias_init=0, input_shape=(224, 224, 3)))
    model.add(MaxPooling2D(pool_size=(3, 3), strides=(2, 2)))
    model.add(BatchNormalization())

    # 第2畳み込み層
    model.add(conv2d(256, 5, bias_init=1))
    model.add(MaxPooling2D(pool_size=(3, 3), strides=(2, 2)))
    model.add(BatchNormalization())

    # 第3~5畳み込み層
    model.add(conv2d(384, 3, bias_init=0))
    model.add(conv2d(384, 3, bias_init=1))
    model.add(conv2d(256, 3, bias_init=1))
    model.add(MaxPooling2D(pool_size=(3, 3), strides=(2, 2)))
    model.add(BatchNormalization())

    # 全結合層
    model.add(Flatten())
    model.add(dense(4096))
    model.add(Dropout(0.5))
    model.add(dense(4096))
    model.add(Dropout(0.5))

    # 出力層
    model.add(Dense(4, activation='softmax'))

    model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
    return model

model = AlexNet()

# モデル構成の確認
model.summary()
#訓練
history = model.fit(
  train_ds,
  validation_data=val_ds,
  batch_size=32,
  epochs=50
)

Answer 1

TensorFlowのリファレンスtf.keras.utils.image_dataset_from_directoryをちゃんと読まれましたか？

この関数にはデフォルト引数label_mode='int'が設定されており，ラベルを整数値とした損失関数sparse_categorical_crossentropy用に設定されています．与えたデータが(None, 1)であるのに対して，ネットワークの出力は(None, 4)であることの不整合性からエラーが起きています．

現状のコードは損失関数categorical_crossentropy用にOne-Hot Encodingされたラベルでなくてはならないはずです．したがって，引数label_mode='categorical'を指定しましょう．

Comments

[takuyyy]

解決しました！ありがとうございます！
しかし、label_mode='int'を使うところがあるはずです。

label_mode='int'
plt.figure(figsize=(10, 10))
for images, labels in train_ds.take(1):
for i in range(4):
ax = plt.subplot(2, 2, i + 1)
plt.imshow(images[i].numpy().astype("uint8"))
plt.title(class_names[labels[i]])
plt.axis("off")
訓練データの確認のソースコードであり、第一行目にlabel_mode='int'の設定を指定しましたが、以下のエアーが出てきました。
TypeError: only integer scalar arrays can be converted to a scalar index

ご指摘のほどよろしくお願いします！

[ps_aux_grep]

そのエアーはclass_names[labels[i]]で生じたもので間違い無いでしょうか？
解答で述べた通り，
label_mode='int'で生成されたlabels[i]は整数値になっており，
label_mode='categorical'で生成されたlabels[i]はOne-Hot Encodingされている．ということでしたよね，
labels[i]と書いた場合，前者は0階のテンソル(scalar)，後者は1階のテンソル(array)が得られますが，class_namesというarrayのindexにarrayは使えないよ，scalarしか使えないよ．というエラーだったので，
そこで使われているclass_names[labels[i]]はlabel_mode='int'用であることがわかります．

しかし，One-Hot Encodingされたlabels[i]とはいえ，その配列においてフラグが立っているindexはnp.argmax()で取得できるので，
plt.title(class_names[np.argmax(labels[i])])
とすれば良いだけのことです．このnp.argmax(labels[i])で得られる整数値は，label_mode='int'にしたときのlabels[i]と同じ値になっているはずです．

label_mode='int'でも大丈夫なケースは1出力モデルの2値分類のみです．複数出力があるような分類問題のモデルを扱う時点で，argmaxを使うテクニックが常用されることは頭に入れておくべきだと考えます．

上のモデルでlabel_mode='int'を使うところがあるとすれば，それはtrain_dsやval_dsではなくtest_dsのみしか考えられません．テストデータの場合，モデルの出力に対してargmaxを取る必要はあるものの，ラベルの比較は整数同士にできますし，便利な状態であると考えます．が，教師データ群との不整合性が目立ちます．

[takuyyy]

助かりました！本当にありがとうございました！