Kerasで多量のエラーが出ました

Question

Kerasで、画像分類の模写をしていて、バージョン2.11に直し、model.fitメソッドを使っていました。

history = model.fit(X_train, y_train, batch_size=32, 
                    epochs=50, verbose=1, validation_data=(X_test, y_test))

すると以下の大量のエラーが出てしまい、あまりに多いので、調べてもどこが間違っているのか分かりませんでした。

2023-01-31 21:46:37.755614: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX2 FMA
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
Epoch 1/50
Traceback (most recent call last):
  File "/Users/Newton/Desktop/*/learn.py", line 74, in <module>
    history = model.fit(X_train, y_train, batch_size=32, 
  File "/Users/Newton/opt/anaconda3/lib/python3.9/site-packages/keras/utils/traceback_utils.py", line 70, in error_handler
    raise e.with_traceback(filtered_tb) from None
  File "/var/folders/t2/7crbdq9976zf_bvqhhdh60fr0000gn/T/__autograph_generated_filekqkrqh7v.py", line 15, in tf__train_function
    retval_ = ag__.converted_call(ag__.ld(step_function), (ag__.ld(self), ag__.ld(iterator)), None, fscope)
ValueError: in user code:

    File "/Users/Newton/opt/anaconda3/lib/python3.9/site-packages/keras/engine/training.py", line 1160, in train_function  *
        return step_function(self, iterator)
    File "/Users/Newton/opt/anaconda3/lib/python3.9/site-packages/keras/engine/training.py", line 1146, in step_function  **
        outputs = model.distribute_strategy.run(run_step, args=(data,))
    File "/Users/Newton/opt/anaconda3/lib/python3.9/site-packages/keras/engine/training.py", line 1135, in run_step  **
        outputs = model.train_step(data)
    File "/Users/Newton/opt/anaconda3/lib/python3.9/site-packages/keras/engine/training.py", line 994, in train_step
        loss = self.compute_loss(x, y, y_pred, sample_weight)
    File "/Users/Newton/opt/anaconda3/lib/python3.9/site-packages/keras/engine/training.py", line 1052, in compute_loss
        return self.compiled_loss(
    File "/Users/Newton/opt/anaconda3/lib/python3.9/site-packages/keras/engine/compile_utils.py", line 265, in __call__
        loss_value = loss_obj(y_t, y_p, sample_weight=sw)
    File "/Users/Newton/opt/anaconda3/lib/python3.9/site-packages/keras/losses.py", line 152, in __call__
        losses = call_fn(y_true, y_pred)
    File "/Users/Newton/opt/anaconda3/lib/python3.9/site-packages/keras/losses.py", line 272, in call  **
        return ag_fn(y_true, y_pred, **self._fn_kwargs)
    File "/Users/Newton/opt/anaconda3/lib/python3.9/site-packages/keras/losses.py", line 1990, in categorical_crossentropy
        return backend.categorical_crossentropy(
    File "/Users/Newton/opt/anaconda3/lib/python3.9/site-packages/keras/backend.py", line 5529, in categorical_crossentropy
        target.shape.assert_is_compatible_with(output.shape)

    ValueError: Shapes (None, 4) and (None, 5) are incompatible

以下がPythonのコードです。初めてだったのでコメントアウトして良いのか分からなかったためコードが長すぎてしまいました。
どうか機械学習とPythonに詳しい方お願いします。

import tensorflow as tf
# from tensorflow import keras
# from tensorflow.keras import layers
# from tensorflow.keras.layers import Activation, Conv2D, Dense, Flatten, MaxPooling2D
# from tensorflow.keras.models import Sequential
from tensorflow.keras.utils import to_categorical

y_train = to_categorical(Y_train)
y_test = to_categorical(Y_test)

# モデルの定義
model = tf.keras.models.Sequential()
model.add(tf.keras.layers.Conv2D(input_shape=(64, 64, 3), filters=32,kernel_size=(3, 3), 
                 strides=(1, 1), padding="same"))
model.add(tf.keras.layers.MaxPool2D(pool_size=(2, 2)))
model.add(tf.keras.layers.Conv2D(filters=32, kernel_size=(3, 3), 
                 strides=(1, 1), padding="same"))
model.add(tf.keras.layers.MaxPool2D(pool_size=(2, 2)))
model.add(tf.keras.layers.Conv2D(filters=32, kernel_size=(3, 3), 
                 strides=(1, 1), padding="same"))
model.add(tf.keras.layers.MaxPool2D(pool_size=(2, 2)))
model.add(tf.keras.layers.Flatten())
model.add(tf.keras.layers.Dense(256, activation='sigmoid'))
# model.add(tf.keras.activations.sigmoid())
model.add(tf.keras.layers.Dense(128, activation='sigmoid'))
# model.add(tf.keras.activations.sigmoid())
model.add(tf.keras.layers.Dense(5, activation='softmax'))
# model.add(tf.keras.activations.softmax())

# コンパイル
model.compile(optimizer='sgd',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

# 学習
history = model.fit(X_train, y_train, batch_size=32, 
                    epochs=50, verbose=1, validation_data=(X_test, y_test))

# 汎化制度の評価・表示
score = model.evaluate(X_test, y_test, batch_size=32, verbose=0)
print('validation loss:{0[0]}\nvalidation accuracy:{0[1]}'.format(score))

#acc, val_accのプロット
plt.plot(history.history["acc"], label="acc", ls="-", marker="o")
plt.plot(history.history["val_acc"], label="val_acc", ls="-", marker="x")
plt.ylabel("accuracy")
plt.xlabel("epoch")
plt.legend(loc="best")
plt.show()

#モデルを保存
model.save("my_model.h5")

Comments

[meg_]

学習は1エポックも完了しませんでしたか？メモリ不足は起きていませんか？

[ps_aux_grep]

データ量をNとしてy_trainが(N, 4)なのではないですか？
モデルは5クラス分類を解こうとしていますが，to_categorical()で作成されたOne-Hot Vectorは要素数4の配列のようです．合わずにエラーになっています．

[jbpb0]

「history = model.fit(...」のすぐ上に下記を追加して実行したら、何て表示されますでしょうか？

print(y_train.shape)
print(y_test.shape)

[退会済みユーザー]

meg_さん、1エポック目で失敗してしまいます。
またjbpb0さん、
(1715, 4)
(41, 4)
と出てしまいます。
そしてps_aux_grepさん、記事では5クラス分類ですが、私は4クラス分類をしていました。
お聞きしたいのですが、どこのコードで5クラス分類とお分かりになられたのでしょうか？

[退会済みユーザー]

今朝、他の記事
https://qiita.com/Taka_input/items/04a23bd8e9101788e583
でも試したのですが、下記のエラーがどうしても出てしまいます。
ValueError: Shapes (None, 4) and (None, 5) are incompatible

[jbpb0]

> どこのコードで5クラス分類とお分かりに

は、

> model.add(tf.keras.layers.Dense(5, activation='softmax'))

の「5」です

> 私は4クラス分類をしていました。

そこを「4」に変えてみてください

> https://qiita.com/Taka_input/items/04a23bd8e9101788e583
でも試したのですが、下記のエラーが

同様に、「7.学習」のコードの

top_model.add(Dense(5, activation="softmax"))

の「5」を「4」に変えてみてください

[退会済みユーザー]

model.add(tf.keras.layers.Dense(4, activation='softmax'))
にしたら学習できました!
ありがとうございます！！

[jbpb0]

> 学習できました!

解決したなら、質問を「解決済」にしてください

Answer 1

上記の質問に書いてあります。