ValueError: Input 0 of layer sequential is incompatible with the layer: : expected min_ndim=5, found

Question

前提・実現したいこと

cnnを使用して加速度から行動を分類するプログラムを作成しています．
解決しようといろいろ調べてみましたがわかりません．
どなたかわかる方がいましたらご教授お願いします．

発生している問題・エラーメッセージ

    ValueError: Input 0 of layer sequential is incompatible with the layer: : expected min_ndim=5, found ndim=2. Full shape received: (None, 28)

該当のソースコード

from tabnanny import verbose
import numpy as np
from numpy.fft import fftn
import pandas as pd
import collections
from sklearn.model_selection import train_test_split
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Activation, Conv3D,LeakyReLU,Flatten, Dropout
from tensorflow.keras.utils import to_categorical
from keras.utils import np_utils
from tensorflow.keras.optimizers import Adam

#csvファイルの読み込み
df = pd.read_csv('./data.csv',header = 0,dtype={'time':'float','accx':'float','accy':'float','accz':'float','label':'float'},encoding="UTF-8")

#使わない列を削除
df = df.drop(df.loc[:,['rotax', 'rotay', 'rotaz']],axis = 1)
print(df.head())

df['accc'] = np.sqrt(df['accx']**2 + df['accy']**2 + df['accz']**2)
print(df.head())

labels = df['label'].unique()
headers = ['accx','accy','accz','accc']
fft_batch_size = 32

def get_best_size(v,fft_batch_size):
    still = True
    for best_size in reversed(range(0,v.size)):
        if best_size % fft_batch_size == 0:
            return best_size

data = []
target = []

for label in labels:
    v = np.array(df[df['label']==label][headers].values)
    v = v[0:get_best_size(v.T[0],fft_batch_size)]

    features = []

    for i , header in enumerate(headers):
        sensor_data = v.T[i].reshape((int( v.T[i].size/fft_batch_size),fft_batch_size))
        features.append(sensor_data.mean(axis = 1).tolist())
        features.append(sensor_data.max(axis = 1).tolist())
        features.append(sensor_data.min(axis = 1).tolist())
        features.append(sensor_data.std(axis = 1).tolist())
        features.append(sensor_data.var(axis = 1).tolist())

        F = np.fft.fft(sensor_data)
        F_abs = np.abs(F) / fft_batch_size * 2.
        F_abs.T[0] = F_abs.T[0] / 2.
        F_data = (F_abs.T[:int(sensor_data[0].size/2)+1]).T
        features.append(F_data.argmax(axis=1).tolist())
        features.append(F_data.max(axis=1).tolist())

        if i == 0:
            for lll in list(range(0, sensor_data.max(axis=1).size) ):
                target.append(label)

    data.extend(np.array(features).T.tolist())

data = np.array(data)
target = np.array(target)

target = np_utils.to_categorical(target)

x_train,x_test,y_train,y_test = train_test_split(data,target,test_size=0.3,random_state=3)

num_classes = 4 #出力層

#モデル
model = Sequential()
model.add(Conv3D(32, kernel_size=(5, 5, 5),input_shape=(64, 64, 64, 1), data_format='channels_last'))
model.add(LeakyReLU(0.2))
for _ in range(2):
    model.add(Conv3D(32, kernel_size=(5, 5, 5), data_format='channels_last'))
    model.add(LeakyReLU(0.2))
model.add(Flatten())
model.add(Dense(256))
model.add(LeakyReLU(0.2))
model.add(Dropout(0.5))
model.add(Dense(num_classes))
model.add(Activation('softmax'))
model.summary()

# モデルのコンパイル
model.compile(loss='categorical_crossentropy', optimizer=Adam(), metrics=['accuracy'])

# モデルの学習
history = model.fit(x_train, y_train, batch_size=32, epochs=50, validation_data=(x_test, y_test), verbose=1)

train_score = model.evaluate(x_train,y_train)
test_score = model.evaluate(x_test,y_test)
print('Train loss',train_score[0])
print('Train accuracy',train_score[1])
print('Test loss:', test_score[0])
print('Test accuracy:', test_score[1])

データの中身(一部)

x,y_train42個，42個とx,y_test18個，18個のデータです．

x_train [[ 5.04390949e-01  2.82111752e+00 -5.90021090e-01 ...  2.59547117e-01
   0.00000000e+00  9.78655016e+00]
 [ 9.53502453e-03  1.34599070e+00 -1.89471101e+00 ...  9.78987226e-01
   0.00000000e+00  9.73595706e+00]
 [ 1.37212890e-01  1.20518105e+00 -9.83268767e-01 ...  3.93301413e-01
   0.00000000e+00  9.78349855e+00]
 ...
 [ 3.73374090e-01  1.31965421e+00 -1.34150079e+00 ...  9.23270503e-01
   0.00000000e+00  9.89672438e+00]
 [ 9.91152646e-01  1.51178849e+00  2.04255183e-01 ...  1.78536129e-01
   0.00000000e+00  1.01428930e+01]
 [ 9.12770779e-01  1.96324551e+00 -6.52419220e-02 ...  5.50420941e-01
   0.00000000e+00  9.84790721e+00]]

y_test [[0. 0. 0. 0. 1.]
 [0. 0. 1. 0. 0.]
 [0. 0. 0. 0. 1.]
 [0. 1. 0. 0. 0.]
 [0. 0. 0. 1. 0.]
 [0. 0. 1. 0. 0.]
 [0. 1. 0. 0. 0.]
 [0. 0. 1. 0. 0.]
 [0. 1. 0. 0. 0.]
 [0. 0. 0. 1. 0.]
 [0. 0. 1. 0. 0.]
 [0. 0. 0. 1. 0.]
 [0. 0. 0. 1. 0.]
 [0. 1. 0. 0. 0.]
 [0. 0. 0. 1. 0.]
 [0. 1. 0. 0. 0.]
 [0. 0. 0. 0. 1.]
 [0. 0. 0. 0. 1.]]

Comments

[jbpb0]

x_train,x_test,y_train,y_test = train_test_split(data,target,test_size=0.3,random_state=3)

のすぐ下に

print(x_train.shape)

を追加して実行したら、何て表示されますでしょうか？

[proad]

print(x_train.shape)を実行したところ
(42, 28)と出力されました．

[jbpb0]

> print(x_train.shape)を実行したところ
(42, 28)と出力されました．

その「42」と「28」は、それぞれデータの何に付いての数値でしょうか？
一つのサンプルに28の数値(特徴量)があって、それが42サンプルある、ということでしょうか？

【追記】
> x,y_train42個，42個とx,y_test18個，18個のデータです．

と書かれてるのを見落としてました
「42」がサンプル数だとすると、一つのサンプルは28個の数値からなる1次元のデータでしょうか？
もしそうなら、「Conv3D」は3次元入力が必要なので、1次元入力には使えません
https://keras.io/ja/layers/convolutional/
の「Conv3D」を見てください

[jbpb0]

> Input 0 of layer sequential is incompatible with the layer

の原因は、

> print(x_train.shape)を実行したところ
(42, 28)と出力されました．

と、

model.add(Conv3D(32, kernel_size=(5, 5, 5),input_shape=(64, 64, 64, 1), data_format='channels_last'))

の「input_shape=(64, 64, 64, 1)」が矛盾してるからです

https://rightcode.co.jp/blog/information-technology/neural-network-learning-visualization#i-3
の「使用するデータセット」の「データセットのロード」を見ると、「x_train.shape」は「(60000, 28, 28, 1)」ですよね

https://rightcode.co.jp/blog/information-technology/neural-network-learning-visualization#MNIST
の「MNISTを画像分類するモデルを構築する」を見ると、「input_shape=(28, 28, 1)」ですよね

上記のように、「input_shape」は「x_train.shape」から先頭の数値(上記例では「60000」)のみ無いものと一致しないといけません

なお、「x_train.shape」の先頭の数値(上記例では「60000」)は、学習データのサンプル数です
上記Webページの例では、「x_train」には画像が60000枚入ってます

> x,y_train42個，42個とx,y_test18個，18個のデータです．

ならば、質問者さんの場合は、その数値はたぶん「42」

[proad]

1つのサンプルは28個からなる1次元データです．
Conv3Dが使えないということなのでConv1でモデルを作成してみます．
コメントを下さりありがとうございます．

Answer 1

Input 0 of layer sequential is incompatible with the layer

の原因は、

print(x_train.shape)を実行したところ
(42, 28)と出力されました．

と、

model.add(Conv3D(32, kernel_size=(5, 5, 5),input_shape=(64, 64, 64, 1), data_format='channels_last'))

の「input_shape=(64, 64, 64, 1)」が矛盾してるからです

　
ニューラルネットワークの学習過程を可視化してみよう
の「使用するデータセット」の「データセットのロード」を見ると、「x_train.shape」は「(60000, 28, 28, 1)」ですよね

ニューラルネットワークの学習過程を可視化してみよう
の「MNISTを画像分類するモデルを構築する」を見ると、「input_shape=(28, 28, 1)」ですよね

上記のように、「input_shape」は「x_train.shape」から先頭の数値(上記例では「60000」)のみ無いものと一致しないといけません