Sequential()のエラーについて

Question

こんにちは、大槻和輝です。

今回KaggleのDigit Recongnizerに関するコードで不明なエラーが出てしまし、調べましたがどのように対処したらよいかわからず、投稿しました。

詳しく説明すると、特徴量とモデルの作成を行い、学習データを使用して結果を出力しました。それをもとにテスト用のデータを予測しようとしたのですが、不明なエラーが出てしまいました。
Seuential()関係だと思いますが、わからないで対処の仕方を教えてほしいです。よろしくお願いします。

エラーの箇所と説明文
箇所
history = model.predict(test_x)

説明文
ValueError: Input 0 of layer sequential is incompatible with the layer: : expected min_ndim=4, found ndim=2. Full shape received: (32, 784)

#特徴量の作成

import numpy as np
import pandas as pd
from sklearn.model_selection import KFold
from tensorflow.keras.utils import to_categorical

#データを読み込み、pandasのDataFrameに格納
train = pd.read_csv('../input/digit-recognizer/train.csv')
train_x = train.drop(['label'],axis=1)
train_y = train['label']
test_x = pd.read_csv('../input/digit-recognizer/test.csv')

#trainのデータを学習用と検証用に分ける
kf = KFold(n_splits = 4,shuffle=True,random_state=123)
tr_idx,va_idx = list(kf.split(train_x))[0]
tr_x,va_x = train_x.iloc[tr_idx],train_x.iloc[va_idx]
tr_y,va_y = train_y.iloc[tr_idx],train_y.iloc[va_idx]

#画像のピクセル値を正規化
tr_x,va_x = np.array(tr_x/255.0),np.array(va_x/255.0)

#画像データの2階テンソルを3階テンソルに変換
tr_x = tr_x.reshape(-1,28,28,1)
va_x = va_x.reshape(-1,28,28,1)

#正解ラベルをOne-hot表現に変換
tr_y = to_categorical(tr_y,10)
va_y = to_categorical(va_y,10)



#モデルの作成
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense,Dropout,Flatten
from tensorflow.keras.layers import Conv2D,MaxPooling2D

#Sequentialオブジェクト作成
model = Sequential()

#第1層:畳込み層
model.add(Conv2D(filters=32,kernel_size=(5,5),padding='same',activation='relu',input_shape=(28,28,1)))

#第2層:畳込み層
model.add(Conv2D(filters=64,kernel_size=(7,7),padding='same',activation='relu'))

#第3層:プーリング層
model.add(MaxPooling2D(pool_size=(2,2)))

#ドロップアウト
model.add(Dropout(0.5))

#第4層:畳込み層
model.add(Conv2D(filters=64,kernel_size=(5,5),padding='same',activation='relu'))

#第5層:畳込み層
model.add(Conv2D(filters=32,kernel_size=(3,3),padding='same',activation='relu'))

#第6層:プーリング層
model.add(MaxPooling2D(pool_size=(2,2)))

#ドロップアウト
model.add(Dropout(0.55))

#Flatten層
model.add(Flatten())

#第7層:全結合層
model.add(Dense(700,activation='relu'))
model.add(Dropout(0.3))

#第8層:全結合層
model.add(Dense(150,activation='relu'))
model.add(Dropout(0.35))

#第10層:出力層
model.add(Dense(10,activation='softmax'))

#モデルのコンパイル
#オプティマイザーはAdam
momentum =0.5
model.compile(loss='categorical_crossentropy',optimizer='adam',metrics=['accuracy'])

#学習を使って結果を出力
#ミニバッチのサイズ
batch_size = 100
#学習階数
epochs = 20
#学習を行う
history = model.fit(tr_x,tr_y,batch_size=batch_size,epochs=epochs,verbose=1,validation_data=(va_x,va_y))

#結果
Epoch 20/20
315/315 [==============================] - 311s 987ms/step - loss: 0.0260 - accuracy: 0.9926 - val_loss: 0.0197 - val_accuracy: 0.9945

history = model.predict(test_x)

Answer 1

学習データや検証データに適用している前処理（正規化や次元変換）を、テストデータに適用し忘れています。

以下の部分ですね。エラーの直接原因は次元変換の方です。

#画像のピクセル値を正規化
tr_x,va_x = np.array(tr_x/255.0),np.array(va_x/255.0)

#画像データの2階テンソルを3階テンソルに変換
tr_x = tr_x.reshape(-1,28,28,1)
va_x = va_x.reshape(-1,28,28,1)

Kaggleの場合、学習データとテストデータを最初にpd.cocatしてから一気に前処理して、その後、学習データ・検証データ・テストデータに分離するのが、私としてはオススメです。前処理のし忘れを防止できますし、欠損値の補完などがより多くのデータをもとにできますので。

Comments

[Kazuki_otsuki]

ご回答ありがとうごさいます。
一度、アドバイス通りに試してみます。

[Kazuki_otsuki]

無事にできました。
ありがとうごさいます。