tensorflowでのエラー：LSTMモデルへの入力データの形が合わない (None, )とは…？

Question

tensorflowを勉強中の者です。
モデルの学習を実施しようとしたとき、以下のエラー文が出てきました。

Input 0 of layer lstm_34 is incompatible with the layer: expected ndim=3, found ndim=4. Full shape received: (None, 32, 24, 7)

モデルの冒頭は以下の通りです。

model = tf.keras.models.Sequential([
    tf.keras.layers.LSTM(32, input_shape=[32,24,7],  return_sequences=True),
    tf.keras.layers.LSTM(60,  return_sequences=True),
    tf.keras.layers.Dense(30, activation="relu"),
    （以下略）
　　　　：：

trainingのために入力しているデータの形を確認したところ、
上記のモデルのinput_shapeで指定している形と一致しているように思います。

for elm in training_data_set:
    print(elm)

(<tf.Tensor: shape=(32, 24, 7), dtype=float64, numpy=array([[[0.※以降数字が続く…

モデルの中の、以下の箇所を[None,32,24,7],に変更してみると、

input_shape=[32,24,7],
→input_shape=[None,32,24,7],

Input 0 of layer lstm_36 is incompatible with the layer: expected ndim=3, found ndim=5. Full shape received: (None, None, 32, 24, 7)

上記のように表示され、事態が悪化しているように見受けられます。

モデルの学習時に、trainingデータのinputshapeで学習して欲しいのですが、
その指定の方法がよくわからず困っております。。。

以下、追記させていただきます

本件ご確認と修正のご依頼をいただきまして誠にありがとうございました。
以下に、確認した内容を記載させていただきます。

【お伺い点１】
ご教示いただきました通りmodel.summary()にて、一番左がNoneであることを確認いたしました。
モデル側はあくまでノードの数を指定する箇所で、Noneは入ってくるデータ数が任意だよと示しているように思ったのですが、我々が意図的にサンプル数（バッチサイズ=32、窓幅（一つのバッチで何行与えるか）=24、特徴量の数=7）をモデル定義時点で指定することは不可能という理解で正しいでしょうか。（※現状、バッチの数のコントロールはtraining_data_set側で実施し、窓幅（行数）と特徴量の数の指定のみをモデル側で定義するという認識でいます。）

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
lstm (LSTM)                  (None, 24, 32)            5120      
_________________________________________________________________
bidirectional (Bidirectional (None, 24, 120)           44640     
_________________________________________________________________
dense (Dense)                (None, 24, 30)            3630      
_________________________________________________________________
dense_1 (Dense)              (None, 24, 10)            310       
_________________________________________________________________
dense_2 (Dense)              (None, 24, 7)             77        
=================================================================
Total params: 53,777
Trainable params: 53,777
Non-trainable params: 0
_________________________________________________________________

ちなみに、繰り返しになりますが、input shapeを以下のようにinput_shape=[32,24,7]にすると、上述の通り、errorが出てきます。これを踏まえて、バッチ数はモデル側で指定しないものだと認識しております。。。

model = tf.keras.models.Sequential([
        tf.keras.layers.LSTM(32, input_shape=[32,24,7],return_sequences=True),#input_shape has changed
        tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(60, return_sequences=True)),
        tf.keras.layers.Dense(30, activation="relu"),

【お伺い点２】
training_data_setの要素毎ではなく、以下の通り、全体の確認を試行いたしました。

print(train_set)

<PrefetchDataset shapes: ((None, None, 7), (None, None, 7)), types: (tf.float64, tf.float64)>

上記のとおり、((None, None, 7), (None, None, 7))となっておりました。
1つ目は問題、2つ目は正解データで構成された教師データあるという認識です。

イメージとしては、ここで((32, 24, 7), (32, 24, 7))となっているかなと想像しておりましたが、何故かNone,Noneとなっておりました。おそらく、バッチ数=32、窓幅=24　共に、特定のデータの切り方に対するひとかたまりでであるため、表示されず、生データの一行辺りに有する７つの特徴量という情報が最小単位なので、それが表示されたのかなと想像しておりますが、その認識で正しいでしょうか。

ちなみに、以下の手順にて、
なんとなくではありますが、training_data_set全体の形を確認いたしました。

list(training_data_set)

→[(<tf.Tensor: shape=(32, 24, 7), dtype=float64, numpy=array([[[0.43…（以下略）

要素としては、前回同様、意図したとおりの(32,24,7)のデータになっていることが分かりました。
次に、データの長さを以下にて確認いたしました。

len(list(training_data_set))

→1349 #バッチ数32と掛け合わせて、全データの行数と一致することを確認。

次に、リストにした初めの要素の中身と要素数を確認いたしました。

list(training_data_set)[0]

→(<tf.Tensor: shape=(32, 24, 7), dtype=float64, numpy=array([[[0.433

len(list(training_data_set)[0])

→2 
   # 上述の通り、1つ目は問題、2つ目は正解データで構成された教師データあるという認識でして、
　 # 理由はわかりませんが、この手法ですと、(None,None,7)ではなく、
   # (32, 24, 7)が二つあるということが確認できました。

次に、念のための確認のため、以下を実施いたしました。

len(list(training_data_set)[0][0])
→32

len(list(training_data_set)[0][0][0])
→24

len(list(training_data_set)[0][0][0][0])
→7

以上、お手数をおかけし恐縮ではございますが、どうかご確認をよろしくお願いいたします。

Comments

[jbpb0]

> (None, )とは…？

model = tf.keras.models.Sequential([...

でネットワークを定義したら、その次に

model.summary()

を追加して実行したら分かりますけど、一番左の「None」はサンプル数のことです

> trainingのために入力しているデータの形を確認したところ、
上記のモデルのinput_shapeで指定している形と一致しているように思います。

「training_data_set」内の各データを個別に見るのではなく、「training_data_set」全体の形を見たら、
(サンプル数, 32, 24, 7)
となっていますでしょうか？

[jbpb0]

> 意図的にサンプル数（バッチサイズ=32、窓幅（一つのバッチで何行与えるか）=24、特徴量の数=7）をモデル定義時点で指定することは不可能

「input_shape=」に加えて「batch_size=」で指定
「input_shape=」ではなく「batch_input_shape=」で指定
という方法はあります
それが、質問者さんがやりたいことと合致してるのかは分かりませんが

参考1
https://keras.io/ja/getting-started/sequential-model-guide/
の「入力のshapeを指定する」の最後

参考2
同Webページの一番下の「同じようなStacked LSTMを"stateful"にする」

参考3
https://keras.io/getting_started/faq/#how-can-i-use-stateful-rnns
の「How can I use stateful RNNs?」

[jbpb0]

https://keras.io/ja/getting-started/sequential-model-guide/
の一番下の「同じようなStacked LSTMを"stateful"にする」のコードでは、下記の通りです
model.add(LSTM(...batch_input_shape=(batch_size, timesteps, data_dim)))
x_train = np.random.random((batch_size * 10, timesteps, data_dim))

上記のやり方に合わせたら、下記のようになるような気がします

> len(list(train_set))
→1349 #バッチ数32と掛け合わせて、全データの行数と一致することを確認。
は、1349*32=43168 となる (サンプルコードの「x_train」の「batch_size * 10」に相当)

> list(train_set)[0]
→(<tf.Tensor: shape=(32, 24, 7), dtype=float64, numpy=array([[[0.433
は、shape=(24, 7) となる (サンプルコードの「x_train」の「timesteps, data_dim」に相当)

つまり、データ作成でバッチサイズ毎に区切ってまとめる必要はないのではないかと

また、同参考コードでは、下記の通りです
x_train = np.random.random((batch_size * 10, timesteps, data_dim))
y_train = np.random.random((batch_size * 10, num_classes))
model.fit(x_train, y_train...

上記のやり方に合わせたら、下記のようになるような気がします

> len(list(train_set)[0])
→2
は、1となる (サンプルコードの「x_train」のみに相当)

つまり、問題データと正解データは分けてネットワークに入れて学習させるのではないかと

Answer 1

少し、機械学習から離れてしまったので間違っているかもしれませんが参考になればと思います。

Noneは任意の数を表します。
今回の例で示すと、インプットするデータは
[32, 24, 7]のサイズのデータを64件程度まとめて、
[64, 32, 24, 7]等のデータで学習します。

今回、おそらく1件のみをinputとして入れている
もしくは途中の関数が間違っており、エラーの出る箇所で1件のみのデータとなっているのではないでしょうか

ひとまず試しであれば1件でも大丈夫ですので
入力データを[1, 32, 24, 7]等にリサイズして実行してみてください。

検討違いであればすみません。