畳み込み層におけるConv1Dの層のエラーについて

Question

kerasを用いて機械学習の勉強をしており、1次元の畳み込み層を導入したいと考えております。
Conv1Dの層の導入の際にdimensionsのエラーがでて進まずに困っております。

学習させるデータのshapeが以下の場合に
train_X.shape:(5408, 270, 1)
train_y.shape:(5408, 1)
test_X.shape:(1352, 270, 1)
test_y.shape:(1352, 1)
以下の畳み込み層を設定してみると

model = Sequential()
model.add(Conv1D(270, 8, padding='same', input_shape=(270, 1), activation='relu'))
model.add(MaxPooling1D(2, padding='same'))
model.add(Conv1D(270,8,padding='same',activation='relu'))
model.add(MaxPooling1D(2, padding='same'))
model.add(Conv1D(135,8,padding='same', activation='relu'))
model.add(Conv1D(1,8,padding='same', activation='tanh'))
model.compile(loss='mse', optimizer='adam')
history = model.fit(train_X, train_y, validation_data=(test_X,test_y))

では、
ValueError: Error when checking target: expected conv1d_21 to have 3 dimensions, but got array with shape (5408, 1)

と表示されてしまいます。
filtersとkernel_sizeの設定がうまくいっていないとおもうのですが、解決方法がわかりません。

上記のConv1Dの層の64,8の部分のfilters,kernel_sizeの数値の設定についてkerasのドキュメンテーションなどを調べているのですが、わからずにおります。

kerasのドキュメンテーションを見ると

filters: 整数，出力空間の次元（つまり畳み込みにおける出力フィルタの数）．

kernel_size: 整数か単一の整数からなるタプル/リストで，1次元の畳み込みウィンドウの長さを指定する。

となっているのですが、出力空間の次元を決めるためのfiltersとkernel_sizeの数値設定や
maxPooling1Dの層の2の部分の数値設定についてはどのような考えで設定していくことが望ましいのか、アドバイスを教えていただけますと幸いです。

Answer 1

エラー内容の意味

エラーの内容はモデルの入力の形状と与えたデータの形状がマッチしていないものですので、フィルターサイズ、出力数の設定はエラーの原因ではありません。

input_shape=(270, 1) はバッチ次元を除いたモデルの入力の形状を表しています。
Conv1D で期待されている1サンプルの形状は (次元数, チャンネル数) です。

train_X.shape:(5408, 270, 1)
train_y.shape:(5408, 1)
test_X.shape:(1352, 270, 1)
test_y.shape:(1352, 1)

であれば、問題ないはずなので、ほんとうにそうなっているか確認してください。

サンプルコード

ノイズを加えた sin 波、cos 波を Conv1D を含むモデルで分類する例を上げておきます。

import numpy as np
from keras.layers import Conv1D, Dense, Flatten, MaxPooling1D
from keras.models import Sequential
from keras.utils import np_utils
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split

feature_dims = 1000
x = np.linspace(0, 100, feature_dims)

class Label:
    SIN = 0
    COS = 1

data = []
labels = []
for i in range(1000):
    y1 = np.sin(x) + np.random.randn(feature_dims)
    y2 = np.cos(x) + np.random.randn(feature_dims)
    data.extend([y1, y2])                # データ
    labels.extend([Label.SIN, Label.COS])  # 正解ラベル
data = np.array(data)[..., np.newaxis]
labels = np.array(labels)

print('data.shape', data.shape)      # data.shape (2000, 1000, 1)
print('labels.shape', labels.shape)  # labels.shape (2000,)

# データをそれぞれ学習データ75%、テストデータ20%の割合で分割する。
# 同時にシャッフルもされる。
x_train, x_test, y_train, y_test = \
    train_test_split(data, labels, test_size=0.2)

# y_train を one-hot 表現にする。
y_train = np_utils.to_categorical(y_train)

# モデルを作成する。
model = Sequential()
model.add(Conv1D(64, 8, padding='same', activation='relu', input_shape=(1000, 1)))
model.add(MaxPooling1D(2, padding='same'))
model.add(Conv1D(64, 8,padding='same',activation='relu'))
model.add(MaxPooling1D(2, padding='same'))
model.add(Conv1D(32, 8, padding='same', activation='relu'))
model.add(Flatten())
model.add(Dense(2, activation='softmax'))
model.compile(
    optimizer='adam',
    loss='categorical_crossentropy',
    metrics=['accuracy'])
model.summary()

# 学習を実行する。
model.fit(x_train, y_train, batch_size=8, epochs=30)

# モデルを保存する。
model.save('model.h5')

# 推論する。
prob = model.predict(x_test, batch_size=len(x))

# 最も確率が高いのを推定クラスとする。
y_pred = np.argmax(prob, axis=1)

# 精度を検証する。
accuracy = accuracy_score(y_test, y_pred)
print('accuracy: {:.2%}'.format(accuracy))  # accuracy: 100.00%

Comments

[yohehe]

tiltoi様、ありがとうございます。
教えていただきましたsin,cos波の分類モデルと照らし合わせて解決することができました。
keras.utils.to_categorical(train_y,n_classes)を用いていたために、学習器にデータを導入する時点でarrayshapeが変更されていたためにdimension errorがでていました。
ありがとうございました。