ニューラルネットワークモデルを用いた学習に関する質問

Question

前提・実現したいこと

ニューラルネットワークを使った学習をしようとしたところエラーが出てしまいました。
mnistデータを使用しています。

#データの整形
X_train = X_train.reshape(60000, 28*28)
X_test = X_test.reshape(10000, 28*28)

#ニューラルネットワークモデルの作成
model = Sequential() 
model.add(Dense(64, activation="relu", input_dim=28*28)) 
model.add(Dense(10, activation="softmax")) 

model.summary()

#学習方法
model.compile(optimizer="Adam", 
              loss="categorical_crossentropy",
              metrics=["accuracy"])

発生している問題・エラーメッセージ

/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/func_graph.py in wrapper(*args, **kwargs)
    971           except Exception as e:  # pylint:disable=broad-except
    972             if hasattr(e, "ag_error_metadata"):
--> 973               raise e.ag_error_metadata.to_exception(e)
    974             else:
    975               raise

ValueError: in user code:

    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py:806 train_function  *
        return step_function(self, iterator)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py:796 step_function  **
        outputs = model.distribute_strategy.run(run_step, args=(data,))
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/distribute/distribute_lib.py:1211 run
        return self._extended.call_for_each_replica(fn, args=args, kwargs=kwargs)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/distribute/distribute_lib.py:2585 call_for_each_replica
        return self._call_for_each_replica(fn, args, kwargs)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/distribute/distribute_lib.py:2945 _call_for_each_replica
        return fn(*args, **kwargs)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py:789 run_step  **
        outputs = model.train_step(data)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py:749 train_step
        y, y_pred, sample_weight, regularization_losses=self.losses)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/compile_utils.py:204 __call__
        loss_value = loss_obj(y_t, y_p, sample_weight=sw)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/losses.py:149 __call__
        losses = ag_call(y_true, y_pred)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/losses.py:253 call  **
        return ag_fn(y_true, y_pred, **self._fn_kwargs)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/util/dispatch.py:201 wrapper
        return target(*args, **kwargs)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/losses.py:1535 categorical_crossentropy
        return K.categorical_crossentropy(y_true, y_pred, from_logits=from_logits)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/util/dispatch.py:201 wrapper
        return target(*args, **kwargs)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/backend.py:4687 categorical_crossentropy
        target.shape.assert_is_compatible_with(output.shape)
    /usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/tensor_shape.py:1134 assert_is_compatible_with
        raise ValueError("Shapes %s and %s are incompatible" % (self, other))

    ValueError: Shapes (None, 1) and (None, 10) are incompatible

Shapesで表されている2つが何の形のことを言っているのかが分かりません。

該当のソースコード

model.fit(X_train, y_train, epochs=5, batch_size=64)

試したこと

model.addの2行目

model.add(Dense(10, activation="softmax")) 

をコメントアウトしたところエラーメッセージが

    ValueError: Shapes (None, 1) and (None, 60) are incompatible

に変わりました。

Comments

[meg_]

エラーメッセージは全文掲載してください。

[jagaimo0]

ご指摘ありがとうございます。
エラーメッセージを全文掲載しました。

Answer 1

エラーメッセージとエラーの発生箇所からすると、y_trainとモデルのアウトプットのshapeが合わないことが原因のようです。n×1のy_trainをn×10に変換すればいいはずです。

Comments

[jagaimo0]

ありがとうございます。
2つ目のsoftmax層で最も大きく出力されたラベルが返されると認識していたのですが、単純にn×10の配列が返されてしまっているということですよね？
調べてみましたがn×1からn×10にy_trainを変換する方法が分からないので、教えていただければありがたいです。

[R.Shigemori]

scikitlearnにOneHotEncoderという関数があるのでこれを使うといいかと思います。詳細は公式ドキュメントで確認してください。

[jagaimo0]

遅れてしまって申し訳ありません。
教えてくださった方法で実行することができました。
丁寧にありがとうございました