編集履歴

回答編集履歴

append LSTM

2023/02/10 17:20

投稿

スコア1579

test CHANGED Viewed

@@ -182,3 +182,39 @@
 49-51行目の操作が質問の14行目に相当します．モデルの改善による精度改善を期待して，特徴量をXYZ座標値でまとめつつ`X1`,`X2`,`X3`に分割してモデルに与えることを想定しています．モデル中で好きなように特徴抽出，結合などの演算を行なってください．精度さえ良ければ3つどころかもっと分割しても面白いですし，隣接する接点ごとに分割することもできると思います．また，CNNでなくLSTM等の時系列を扱うモデルを採用してみるのも良いでしょう．過学習を抑制するために，帰納的バイアスに基づいたモデル設計を推奨します．ここらからはTrial and Errorの段階です．
 ![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-02-10/fd2e0f87-551d-4c3c-9b05-45896fad833e.png)
+LSTMを使う例を示します．
+```python
+from keras.layers import LSTM
+def build_model1(time_stamp):
+    inputs1 = Input(shape = (time_stamp, 3))
+    inputs2 = Input(shape = (time_stamp, 3))
+    inputs3 = Input(shape = (time_stamp, 12))
+    x1 = LSTM(32, dropout = 0.2, return_sequences = True)(inputs1) # 3列を32列で表現させる
+    x2 = LSTM(32, dropout = 0.2, return_sequences = True)(inputs2) # 3列を32列で表現させる
+    x3 = LSTM(32, dropout = 0.2, return_sequences = True)(inputs3) # 12列を32列で表現させる
+    combined = Concatenate(axis = -1)([x1, x2, x3]) # 32+32+32=96列になる
+    x = LSTM(32, dropout = 0.2)(combined) # 32列に圧縮する
+    x = Dense(1, activation = "sigmoid")(x)
+    return Model(inputs = [inputs1, inputs2, inputs3], outputs = x)
+def build_model2(time_stamp):
+    inputs1 = Input(shape = (time_stamp, 3))
+    inputs2 = Input(shape = (time_stamp, 3))
+    inputs3 = Input(shape = (time_stamp, 12))
+    x1 = Conv1D(32, 7, activation = "swish", kernel_initializer = "he_uniform")(inputs1) # 3列を32列で表現させる
+    x1 = AveragePooling1D()(x1) # 時間軸上で半分に圧縮する
+    x2 = Conv1D(32, 7, activation = "swish", kernel_initializer = "he_uniform")(inputs2) # 3列を32列で表現させる
+    x2 = AveragePooling1D()(x2) # 時間軸上で半分に圧縮する
+    x3 = Conv1D(32, 7, activation = "swish", kernel_initializer = "he_uniform")(inputs3) # 12列を32列で表現させる
+    x3 = AveragePooling1D()(x3) # 時間軸上で半分に圧縮する
+    combined = Concatenate(axis = -1)([x1, x2, x3]) # 32+32+32=96列になる
+    x = LSTM(32, dropout = 0.2)(combined) # 32列に圧縮する
+    x = Dense(1, activation = "sigmoid")(x)
+    return Model(inputs = [inputs1, inputs2, inputs3], outputs = x)
+```
+Kerasの[LSTM](https://keras.io/api/layers/recurrent_layers/lstm/)について読んでからパラメータをいじった方が良さそうです．特にcuDNNに対応していないパラメータを利用するとGPUでも遅くなります．一般には，入力側の表現力を大きく，出力側の表現力を小さくするようにパラメータをいじります．ここでは列数が表現力に相当しますね．

fix answer

2023/02/09 19:12

投稿

ps_aux_grep

スコア1579

test CHANGED Viewed

@@ -179,5 +179,6 @@
 * `EarlyStopping`によって10epoch間で`val_loss`の最低値更新がない場合は学習終了とする．
 * 各Foldでモデルを保存しないと消えることに注意
-49-51行目の操作が質問の14行目に相当します．モデルの改善による精度改善を期待して，特徴量をXYZ座標値でまとめつつ`X1`,`X2`,`X3`に分割してモデルに与えることを想定しています．モデル中で好きなように特徴抽出，結合などの演算を行なってください．精度が上がるなら3つどころかもっと分割しても良いですし，LSTM等の時系列を扱うモデルを採用してみるのも良いでしょう．ここらからはTrial and Errorの段階です．
+49-51行目の操作が質問の14行目に相当します．モデルの改善による精度改善を期待して，特徴量をXYZ座標値でまとめつつ`X1`,`X2`,`X3`に分割してモデルに与えることを想定しています．モデル中で好きなように特徴抽出，結合などの演算を行なってください．精度さえ良ければ3つどころかもっと分割しても面白いですし，隣接する接点ごとに分割することもできると思います．また，CNNでなくLSTM等の時系列を扱うモデルを採用してみるのも良いでしょう．過学習を抑制するために，帰納的バイアスに基づいたモデル設計を推奨します．ここらからはTrial and Errorの段階です．
 ![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-02-10/fd2e0f87-551d-4c3c-9b05-45896fad833e.png)

fix answer

2023/02/09 18:02

投稿

ps_aux_grep

スコア1579

test CHANGED Viewed

@@ -179,5 +179,5 @@
 * `EarlyStopping`によって10epoch間で`val_loss`の最低値更新がない場合は学習終了とする．
 * 各Foldでモデルを保存しないと消えることに注意
-49-51行目の操作が質問の14行目に相当します．モデルの改善による精度改善を期待して，特徴量をXYZ座標値でまとめつつ`X1`,`X2`,`X3`に分割してモデルに与えることを想定しています．モデル中で好きなように特徴抽出，結合などの演算を行なってください．
+49-51行目の操作が質問の14行目に相当します．モデルの改善による精度改善を期待して，特徴量をXYZ座標値でまとめつつ`X1`,`X2`,`X3`に分割してモデルに与えることを想定しています．モデル中で好きなように特徴抽出，結合などの演算を行なってください．精度が上がるなら3つどころかもっと分割しても良いですし，LSTM等の時系列を扱うモデルを採用してみるのも良いでしょう．ここらからはTrial and Errorの段階です．
 ![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-02-10/fd2e0f87-551d-4c3c-9b05-45896fad833e.png)

add model graph

2023/02/09 18:00

投稿

ps_aux_grep

スコア1579

test CHANGED Viewed

@@ -180,3 +180,4 @@
 * 各Foldでモデルを保存しないと消えることに注意
 49-51行目の操作が質問の14行目に相当します．モデルの改善による精度改善を期待して，特徴量をXYZ座標値でまとめつつ`X1`,`X2`,`X3`に分割してモデルに与えることを想定しています．モデル中で好きなように特徴抽出，結合などの演算を行なってください．
+![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-02-10/fd2e0f87-551d-4c3c-9b05-45896fad833e.png)

fix dropout

2023/02/09 17:47

投稿

ps_aux_grep

スコア1579

test CHANGED Viewed

@@ -105,8 +105,8 @@
         return x
     combined = Concatenate()([cnn(x1), cnn(x2), cnn(x3)])
-    x = Dropout(0.5)(x)
+    x = Dropout(0.5)(combined)
-    x = Dense(256, activation = "swish")(combined)
+    x = Dense(256, activation = "swish")(x)
     x = Dropout(0.5)(x)
     x = Dense(128, activation = "swish")(x)
     x = Dense(1, activation = "sigmoid")(x)

add dropout

2023/02/09 17:46

投稿

ps_aux_grep

スコア1579

test CHANGED Viewed

@@ -76,7 +76,8 @@
 import tensorflow as tf
 from tensorflow.python import keras
 from keras.models import Sequential, Model
+from keras.layers import Input, Dense, Concatenate, Flatten, Dropout
-from keras.layers import Conv1D, Input, Flatten, Dense, Concatenate, AveragePooling1D, GlobalAveragePooling1D
+from keras.layers import Conv1D, AveragePooling1D, GlobalAveragePooling1D
 from keras.optimizers import Adam
 from keras.callbacks import EarlyStopping, ReduceLROnPlateau
@@ -104,7 +105,10 @@
         return x
     combined = Concatenate()([cnn(x1), cnn(x2), cnn(x3)])
+    x = Dropout(0.5)(x)
     x = Dense(256, activation = "swish")(combined)
+    x = Dropout(0.5)(x)
+    x = Dense(128, activation = "swish")(x)
     x = Dense(1, activation = "sigmoid")(x)
     return Model(inputs = [inputs1, inputs2, inputs3], outputs = x)

fix callbacks

2023/02/09 17:41

投稿

ps_aux_grep

スコア1579

test CHANGED Viewed

@@ -138,7 +138,8 @@
         steps_per_epoch = steps_per_epoch,
         class_weight = {0: 4, 1: 1},
         validation_data = valid_gen,
-        validation_steps = validation_steps
+        validation_steps = validation_steps,
+        callbacks = [es],
     )
     # テストデータを与えて各データの種類を推測

fix answer

2023/02/09 17:38

投稿

ps_aux_grep

スコア1579

test CHANGED Viewed

@@ -174,4 +174,4 @@
 * `EarlyStopping`によって10epoch間で`val_loss`の最低値更新がない場合は学習終了とする．
 * 各Foldでモデルを保存しないと消えることに注意
-49-51行目の操作が質問の14行目に相当します．
+49-51行目の操作が質問の14行目に相当します．モデルの改善による精度改善を期待して，特徴量をXYZ座標値でまとめつつ`X1`,`X2`,`X3`に分割してモデルに与えることを想定しています．モデル中で好きなように特徴抽出，結合などの演算を行なってください．

append context

2023/02/09 17:30

投稿

ps_aux_grep

スコア1579

test CHANGED Viewed

@@ -173,3 +173,5 @@
 * CNNによるFeature Extractを特徴量ごとにまとめて実行，Classifierに渡す前に結合`Concatenation`して推論する．
 * `EarlyStopping`によって10epoch間で`val_loss`の最低値更新がない場合は学習終了とする．
 * 各Foldでモデルを保存しないと消えることに注意
+49-51行目の操作が質問の14行目に相当します．

change dir

2023/02/09 17:27

投稿

ps_aux_grep

スコア1579

test CHANGED Viewed

@@ -24,7 +24,7 @@
 #            for i in range(17):
 #                ret = np.vstack([ret, ret[-1] * np.sin((i + 1) * t + np.pi * i)])
 #            ret = ret.T
-#            with open(f"/content/drive/MyDrive/Society/data/{name}/{s}.csv", "w") as f:
+#            with open(f"/content/drive/MyDrive/data/{name}/{s}.csv", "w") as f:
 #                writer = csv.writer(f)
 #                writer.writerow([str(i) for i in range(18)])
 #                writer.writerows([[col for col in row] for row in ret])
@@ -38,7 +38,7 @@
         self.file, self.y, self.l = list(), list(), list()
         self.category = {"normal": 0, "abnormal": 1}
         for name in self.category.keys():
-            for i, file in enumerate(glob(f"/content/drive/MyDrive/Society/data/{name}/*.csv")):
+            for i, file in enumerate(glob(f"/content/drive/MyDrive/data/{name}/*.csv")):
                 self.file.append(file)
                 self.y.append(self.category[name])
                 self.l.append(len(open(file).readlines()) - 1) # subtract header row