トップに関する質問 tensorflowでのエラー：LSTMモデルへの入力データの形が合わない (None, )とは…？

編集履歴

質問編集履歴

追記内コード追加

2021/07/26 01:20

投稿

bobby2128

スコア42

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -172,7 +172,7 @@
-イメージとしては、ここで((32, 24, 7), (32, 24, 7))となっているかなと想像しておりましたが、何故かNone,Noneとなっておりました。おそらく、バッチ数=32、窓幅=24　共に、特定のデータの切り方に対するひとかたまりでであるため、表示されず、一行辺りのデータの最小単位である７つの特徴量だけが表示されたのかなと想像しておりますが、その認識で正しいでしょうか。
+イメージとしては、ここで((32, 24, 7), (32, 24, 7))となっているかなと想像しておりましたが、何故かNone,Noneとなっておりました。おそらく、バッチ数=32、窓幅=24　共に、特定のデータの切り方に対するひとかたまりでであるため、表示されず、生データの一行辺りに有する７つの特徴量という情報が最小単位なので、それが表示されたのかなと想像しておりますが、その認識で正しいでしょうか。
@@ -198,7 +198,7 @@
 ```len
-len(list(train_set))
+len(list(training_data_set))
@@ -214,7 +214,7 @@
 ```list
-list(train_set)[0]
+list(training_data_set)[0]
@@ -224,7 +224,7 @@
 ```len
-len(list(train_set)[0])
+len(list(training_data_set)[0])
@@ -244,19 +244,19 @@
 ```check
-len(list(train_set)[0][0])
+len(list(training_data_set)[0][0])
 →32
-len(list(train_set)[0][0][0])
+len(list(training_data_set)[0][0][0])
 →24
-len(list(train_set)[0][0][0][0])
+len(list(training_data_set)[0][0][0][0])
 →7

追記箇所微修正

2021/07/26 01:20

投稿

bobby2128

スコア42

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -92,7 +92,7 @@
 ご教示いただきました通りmodel.summary()にて、一番左がNoneであることを確認いたしました。
-モデル側はあくまでノードの数を指定する箇所で、Noneは入ってくるデータ数が任意だよと示しているように思ったのですが、我々が意図的にサンプル数（バッチサイズ=32、窓幅（一つのバッチで何行与えるか）=24、特徴量の数=7）をモデル定義時点で指定することは不可能という理解で正しいでしょうか。（※現状、バッチのコントロールはtraining_data_set側で実施し、窓幅（行数）と特徴量の数の指定のみをモデル側で定義するという認識でいます。）
+モデル側はあくまでノードの数を指定する箇所で、Noneは入ってくるデータ数が任意だよと示しているように思ったのですが、我々が意図的にサンプル数（バッチサイズ=32、窓幅（一つのバッチで何行与えるか）=24、特徴量の数=7）をモデル定義時点で指定することは不可能という理解で正しいでしょうか。（※現状、バッチの数のコントロールはtraining_data_set側で実施し、窓幅（行数）と特徴量の数の指定のみをモデル側で定義するという認識でいます。）
 ```result

追記箇所編集完了

2021/07/26 01:15

投稿

bobby2128

スコア42

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -170,19 +170,97 @@
 1つ目は問題、2つ目は正解データで構成された教師データあるという認識です。
 イメージとしては、ここで((32, 24, 7), (32, 24, 7))となっているかなと想像しておりましたが、何故かNone,Noneとなっておりました。おそらく、バッチ数=32、窓幅=24　共に、特定のデータの切り方に対するひとかたまりでであるため、表示されず、一行辺りのデータの最小単位である７つの特徴量だけが表示されたのかなと想像しておりますが、その認識で正しいでしょうか。
-ちなみに、
+ちなみに、以下の手順にて、
+なんとなくではありますが、training_data_set全体の形を確認いたしました。
+```list
+list(training_data_set)
+→[(<tf.Tensor: shape=(32, 24, 7), dtype=float64, numpy=array([[[0.43…（以下略）
+```
+要素としては、前回同様、意図したとおりの(32,24,7)のデータになっていることが分かりました。
+次に、データの長さを以下にて確認いたしました。
+```len
+len(list(train_set))
+→1349 #バッチ数32と掛け合わせて、全データの行数と一致することを確認。
+```
+次に、リストにした初めの要素の中身と要素数を確認いたしました。
+```list
+list(train_set)[0]
+→(<tf.Tensor: shape=(32, 24, 7), dtype=float64, numpy=array([[[0.433
+```
+```len
+len(list(train_set)[0])
+→2
+   # 上述の通り、1つ目は問題、2つ目は正解データで構成された教師データあるという認識でして、
+　 # 理由はわかりませんが、この手法ですと、(None,None,7)ではなく、
+   # (32, 24, 7)が二つあるということが確認できました。
+```
+次に、念のための確認のため、以下を実施いたしました。
+```check
+len(list(train_set)[0][0])
+→32
+len(list(train_set)[0][0][0])
+→24
+len(list(train_set)[0][0][0][0])
+→7
+```

編集中

2021/07/26 01:13

投稿

bobby2128

スコア42

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -166,9 +166,21 @@
 ```
-上記のとおり、(None, None, 7), (None, None, 7)となっておりました。
+上記のとおり、((None, None, 7), (None, None, 7))となっておりました。
-※1つ目は問題、2つ目は答えであるという認識です。
+1つ目は問題、2つ目は正解データで構成された教師データあるという認識です。
+イメージとしては、ここで((32, 24, 7), (32, 24, 7))となっているかなと想像しておりましたが、何故かNone,Noneとなっておりました。おそらく、バッチ数=32、窓幅=24　共に、特定のデータの切り方に対するひとかたまりでであるため、表示されず、一行辺りのデータの最小単位である７つの特徴量だけが表示されたのかなと想像しておりますが、その認識で正しいでしょうか。
+ちなみに、

追記、第二点、編集中です

2021/07/26 00:36

投稿

bobby2128

スコア42

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -88,9 +88,11 @@
+【お伺い点１】
 ご教示いただきました通りmodel.summary()にて、一番左がNoneであることを確認いたしました。
-【お伺い点１】モデル側はあくまでノードの数を指定する箇所で、Noneは入ってくるデータ数が任意だよと示しているように思ったのですが、我々が意図的にサンプル数（バッチサイズ=32、窓幅（一つのバッチで何行与えるか）=24、特徴量の数=7）をモデル定義時点で指定することは不可能という理解で正しいでしょうか。（※現状、バッチのコントロールはtraining_data_set側で実施し、窓幅（行数）と特徴量の数の指定のみをモデル側で定義するという認識でいます。）
+モデル側はあくまでノードの数を指定する箇所で、Noneは入ってくるデータ数が任意だよと示しているように思ったのですが、我々が意図的にサンプル数（バッチサイズ=32、窓幅（一つのバッチで何行与えるか）=24、特徴量の数=7）をモデル定義時点で指定することは不可能という理解で正しいでしょうか。（※現状、バッチのコントロールはtraining_data_set側で実施し、窓幅（行数）と特徴量の数の指定のみをモデル側で定義するという認識でいます。）
 ```result
@@ -146,4 +148,30 @@
 ```
+【お伺い点２】
+training_data_setの要素毎ではなく、以下の通り、全体の確認を試行いたしました。
+```print
+print(train_set)
+```
+```printresult
+<PrefetchDataset shapes: ((None, None, 7), (None, None, 7)), types: (tf.float64, tf.float64)>
+```
+上記のとおり、(None, None, 7), (None, None, 7)となっておりました。
+※1つ目は問題、2つ目は答えであるという認識です。
 以上、お手数をおかけし恐縮ではございますが、どうかご確認をよろしくお願いいたします。

追記いたしました。

2021/07/25 23:31

投稿

bobby2128

スコア42

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -73,3 +73,77 @@
 モデルの学習時に、trainingデータのinputshapeで学習して欲しいのですが、
 その指定の方法がよくわからず困っております。。。
+以下、追記させていただきます
+========
+本件ご確認と修正のご依頼をいただきまして誠にありがとうございました。
+以下に、確認した内容を記載させていただきます。
+ご教示いただきました通りmodel.summary()にて、一番左がNoneであることを確認いたしました。
+【お伺い点１】モデル側はあくまでノードの数を指定する箇所で、Noneは入ってくるデータ数が任意だよと示しているように思ったのですが、我々が意図的にサンプル数（バッチサイズ=32、窓幅（一つのバッチで何行与えるか）=24、特徴量の数=7）をモデル定義時点で指定することは不可能という理解で正しいでしょうか。（※現状、バッチのコントロールはtraining_data_set側で実施し、窓幅（行数）と特徴量の数の指定のみをモデル側で定義するという認識でいます。）
+```result
+Model: "sequential"
+_________________________________________________________________
+Layer (type)                 Output Shape              Param #
+=================================================================
+lstm (LSTM)                  (None, 24, 32)            5120
+_________________________________________________________________
+bidirectional (Bidirectional (None, 24, 120)           44640
+_________________________________________________________________
+dense (Dense)                (None, 24, 30)            3630
+_________________________________________________________________
+dense_1 (Dense)              (None, 24, 10)            310
+_________________________________________________________________
+dense_2 (Dense)              (None, 24, 7)             77
+=================================================================
+Total params: 53,777
+Trainable params: 53,777
+Non-trainable params: 0
+_________________________________________________________________
+```
+ちなみに、繰り返しになりますが、input shapeを以下のようにinput_shape=[32,24,7]にすると、上述の通り、errorが出てきます。これを踏まえて、バッチ数はモデル側で指定しないものだと認識しております。。。
+```model
+model = tf.keras.models.Sequential([
+        tf.keras.layers.LSTM(32, input_shape=[32,24,7],return_sequences=True),#input_shape has changed
+        tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(60, return_sequences=True)),
+        tf.keras.layers.Dense(30, activation="relu"),
+```
+以上、お手数をおかけし恐縮ではございますが、どうかご確認をよろしくお願いいたします。

タイトルへの”LSTM”の追加

2021/07/25 23:18

投稿

bobby2128

スコア42

test CHANGED Viewed

	@@ -1 +1 @@
1	- tensorflowでのエラー：モデルへの入力データの形が合わない (None, )とは…？
1	+ tensorflowでのエラー：LSTMモデルへの入力データの形が合わない (None, )とは…？

test CHANGED Viewed

File without changes