kerasニューラルネットワークの学習の際のエラー

Question

現在、21列のinput.csvファイル（20列が説明変数、最後の1列が教師信号）を使って、教師信号1か-1か判定させるニューラルネットワークのプログラムを作成したいと思っています。

　FITを実行の際に、EPOCHが1と表示された直後に下記のエラーメッセージにより中断してしまいます。

　おそらくノードの数などの設定がおかしいと思うのですが、勉強不足で申し訳ありませんが、ご意見をいただける方がいらっしゃいましたらご教示ください。

tensorflow.python.framework.errors_impl.InvalidArgumentError: logits and labels must have the same first dimension, got logits shape [32,3] and labels shape [640]
[[node sparse_categorical_crossentropy/SparseSoftmaxCrossEntropyWithLogits/SparseSoftmaxCrossEntropyWithLogits (defined at /PycharmProjects/test/analysedata/datamining.py:43) ]] [Op:__inference_train_function_603]

    def nn01(self, args):

        X_SIZE = 20
        HIDDEN_UNIT_SIZE = 20
        TRAIN_DATA_SIZE = 900

        filename ="./tmp/inputdata.csv"

        raw_input = np.loadtxt(open(filename), delimiter= ',', dtype='float64', skiprows=1)
        [x, y] = np.hsplit(raw_input, [1])


        [x_train, x_test] = np.vsplit(x, [TRAIN_DATA_SIZE])
        [y_train, y_test] = np.vsplit(y, [TRAIN_DATA_SIZE])

        model = keras.models.Sequential([
            keras.layers.Flatten(),
            keras.layers.Dense(512, activation='relu'),
            keras.layers.Dropout(0.2),
            keras.layers.Dense(3, activation='softmax')
        ])

        model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

        model.fit(x_train, y_train, epochs=5)

        model.evaluate(x_test, y_test)

        print('save the architecture of a model')
        json_string = model.to_json()
        open(os.path.join(f_model, './tmp/' + str(datetime.datetime.now()) + 'cnn_model.json'), 'w').write(json_string)
        yaml_string = model.to_yaml()
        open(os.path.join(f_model, './tmp/' + str(datetime.datetime.now()) + 'cnn_model.yaml'), 'w').write(yaml_string)
        print('save weights')
        model.save_weights(os.path.join(f_model, './tmp/' + str(datetime.datetime.now()) + 'cnn_model_weights.hdf5'))

Answer 1

再現実行させていないので推測ですが、
[x, y] = np.hsplit(raw_input, [1])
の部分が間違っています。これだと説明変数であるxが1列になってしまいます。
正しくは
[x, y] = np.hsplit(raw_input, [-1])
ですね。

ここが間違っているため、model.fit(x_train, y_train, epochs=5)において、y_trainが強制的に1列にされて行数が伸ばされ、logits and labels must have the same first dimension, got logits shape [32,3] and labels shape [640]というように「説明変数と教師ラベルのサイズが違う」と怒られたものと思います。

Comments

[taro_yamada]

初歩的なミスでした。
プログラムは無事に作動し、早速、次のエラーに当たりました笑
プログラムの作成を続けていきたいと思います。
どうもありがとうございました。

[yasutakatou]

あまりお役に立てなくてすみませんが、解決して良かったですね！

Answer 2

モデルとラベルの次元が違うのでエラーになってるように見受けられます。
データの中身がイメージし辛いのでなんともなところありますが、
エラーを解消する目的で回答すると
https://stackoverflow.com/questions/49161174/tensorflow-logits-and-labels-must-have-the-same-first-dimension
にあるようにreshapeなどで次元をあわせてあげれば解消できます。

Comments

[taro_yamada]

回答ありがとうございました。
無事に解決することができました。リンク先のHPも参考にコーディングを続けていきたいと思います。