編集履歴

質問編集履歴

記載コードがあまりにもアバウトに削りすぎたため、見や少なるように修正を加えました。

2020/03/21 11:15

投稿

oshikosan

スコア4

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -8,7 +8,7 @@
 何卒よろしくお願いします。
-※字数の都合上必要のないコードは削ってあります。詳細は下記参考書をご覧いただけると幸いです。
+※字数の都合上必要のないコードはサンプルコードから変更した箇所のみ載せてありますが、足りない点がありましたらご指摘願います。主な変更点としましては使用するデータを通常のsin波としたことくらいです。サンプルコードは下記URLからご覧いただけると幸いです。
 　実行環境
@@ -30,398 +30,186 @@
-%matplotlib inline
-import argparse
-import os
-import sys
-import time
-import matplotlib.pyplot as plt
-import numpy as np
-import tensorflow as tf
-from tensorflow.python.eager import context
-class FRNN(tf.keras.Model):
+class Datasets(object):
-    """エンコーダー
+    """ダミーデータの生成
     """
-class BRNN(tf.keras.Model):
-    """デコーダ―
-    """
-class EncDecAD(tf.keras.Model):
-    """EncDec-ADの本体
-    """
-    def __init__(self,
-                 hidden_dim,
-                 n_dim_obs=1,
-                 training = True):
-        super().__init__()
-        # 観測値の次元
-        self.n_dim_obs = n_dim_obs
-        # エンコーダー
-        self.f_lstm = FRNN(hidden_dim)
-        # デコーダー
-        self.b_lstm = BRNN(hidden_dim, n_dim_obs, training)
-        self.trainig = training
-    def reset(self, training):
-        self.b_lstm.training = training
-    def call(self, input_seq, training):
-        # エンコーダー/デコーダ―のtrainingオプションの初期化
-        self.reset(training)
-        batch_size = input_seq.shape[1]
-        seq_size = input_seq.shape[0]
-        # エンコーダー側の処理の実行
-        h = self.f_lstm(input_seq)
-        # デコーダー側の処理の実行
-        outputs = self.b_lstm(h, seq_size, input_seq=input_seq)
-        return outputs
-def train(model, optimizer, train_data, sequence_length, clip_ratio,
-          training=True):
-    """1エポック分の学習
-    """
-    def model_loss(inputs, targets):
-        return loss_fn(model, inputs, targets, training=training)[0]
-    total_time = 0
-    batch_start_idx_range = range(0, train_data.shape[0]-1, sequence_length)
-    for batch, i in enumerate(batch_start_idx_range):
-        # バッチ毎にデータを取得
-        train_seq, train_target = _get_batch(train_data, i, sequence_length)
-        start = time.time()
-        with tf.GradientTape() as tape:
-            loss, _ = loss_fn(model, train_seq, train_target, training)
-        # 勾配計算
-        grads = tape.gradient(loss, model.trainable_variables)
-        # パラメタ更新
-        optimizer.apply_gradients(zip(grads, model.trainable_variables))
-        total_time += (time.time() - start)
-        if batch % 10 == 0:
-            time_in_ms = (total_time * 1000) / (batch + 1)
-            sys.stderr.write(
-                "batch %d: training loss %.2f, avg step time %d ms\n" %
-                    (batch, model_loss(train_seq, train_target).numpy(),
-                     time_in_ms))
-            training_loss = model_loss(train_seq, train_target)
-    return training_loss
-def evaluate_(args, model, test_data, train_data, training=False):
-    """最終エポック時に異常データでテスト
-    """
-    total_loss = 0.0
-    total_batches = 0
-    start = time.time()
-    l_scores = []
-    for _, i in enumerate(range(0, test_data.shape[0], args.seq_len)):
-        # バッチ毎にデータを取得
-        inp, target = _get_batch(test_data, i, args.seq_len)
-        # 損失計算
-        loss, outputs = loss_fn(model, inp, target, training=training)
-        total_loss += loss.numpy()
-        total_batches += 1
-        _, batch_size, _= inp.shape
-        # 異常スコアの計算
-        scores = anomaly_score(outputs, target, train_data[:, :batch_size])
-        l_scores.append(scores)
+    def __init__(self):
+        A = 10
+        # 訓練データ
+        t = np.linspace(0, 5*np.pi, 500)
+        self.train = A * np.sin(t).reshape(-1,1)
+        self.train = (self.train).astype('f')
+        # 検証データ
+        t = np.linspace(0, 5*np.pi, 500)
+        self.valid = A * np.sin(t).reshape(-1,1)
+        self.valid = (self.valid).astype('f')
+data_ = Datasets()
+seq_data = data_.test
+def main(args):
+    if not args.data_path:
+        raise ValueError("Must specify --data-path")
+    # データセットの読み出し
+    data = Datasets()
+    # EncDec-ADへの入力用に形成した訓練データの作成
+    train_data = _divide_into_batches(data.train, args.batch_size)
+    # EncDec-ADへの入力用に形成したテストの作成
+    test_data = _divide_into_batches(data.test, args.eval_batch_size)
+    #test_data = _divide_into_batches(data.valid, args.eval_batch_size)
+    # GPUの有無の確認
+    have_gpu = context.num_gpus() > 0
+    # デバイスの割り当て（GPUデバイスが検出されない場合は使わない）
+    with tf.device("/device:GPU:0" if have_gpu else None):
+        # 学習係数
+        # 学習係数は変化するのでVariableで定義
+        learning_rate = tf.Variable(args.learning_rate, name="learning_rate")
+        sys.stderr.write("learning_rate=%f\n" % learning_rate.numpy())
+        # EncDecADクラスのインスタンス作成
+        model = EncDecAD(args.hidden_dim, args.training)
+        # オプティマイザーオブジェクトの作成
+        optimizer = tf.keras.optimizers.Adam(learning_rate)
-    return outputs, l_scores
+        best_loss = None
-class Datasets(object):
-    """ダミーデータの生成
-    """
-    def __init__(self):
-        A = 10
+        cnt = 0
+        evaluation_loss_ = []
+        training_loss_ = []
+        # エポック毎のループ
+        for _ in range(args.epoch):
-        # 訓練データ
+            # 訓練データ
-        t = np.linspace(0, 5*np.pi, 500)
+            training_loss_.append(train(model, optimizer, train_data, args.seq_len, args.clip))
+            # 検証データ
+            eval_loss, l_scores, outputs, evaluation_loss = evaluate(args, model, test_data, train_data)
-        self.train = A * np.sin(t).reshape(-1,1)
+            evaluation_loss_.append(evaluation_loss)
+            # テストデータを使った評価での損失が下がった場合
+            if not best_loss or eval_loss < best_loss:
+                best_loss = eval_loss
+                cnt = 0
+                # テストデータを使った評価での損失が下がらなかった場合
+            else:
+                cnt += 1
+                # 6回連続で下がらなかった場合
+                if cnt>5:
+                    # 学習係数を1/1.2倍する
+                    learning_rate.assign(max(learning_rate/1.2, .002))
+                    sys.stderr.write(
+                        "eval_loss did not reduce in this epoch, "
+                        "changing learning rate to %f for the next epoch\n" %
+                            learning_rate.numpy())
+                    cnt = 0
+###########ここでモデルの保存######################################
+        # save the model
+        tf.saved_model.save(model, "/tmp/saved_model/model")
+        #model._set_inputs(train_data[0, :])
+        #tf.keras.experimental.export_saved_model(model, "path_to_my_model", serving_only=True)
+        # save the weights
-        self.train = (self.train).astype('f')
+        #model.save_weights('path_to_my_model.h5')
+        # モデルの定義
+        #model = EncDecAD(args.hidden_dim, args.training)
+#############ここで保存済みの重みの読み込み###############################
+        # 学習済みの重みの読み込み
+        new_model = tf.saved_model.load("/tmp/saved_model/model")
         # 検証データ
-        t = np.linspace(0, 5*np.pi, 500)
-        self.valid = A * np.sin(t).reshape(-1,1)
-        self.valid = (self.valid).astype('f')
-data_ = Datasets()
-seq_data = data_.test
-def main(args):
-    if not args.data_path:
-        raise ValueError("Must specify --data-path")
-    # データセットの読み出し
-    data = Datasets()
-    # EncDec-ADへの入力用に形成した訓練データの作成
-    train_data = _divide_into_batches(data.train, args.batch_size)
-    # EncDec-ADへの入力用に形成したテストの作成
-    test_data = _divide_into_batches(data.test, args.eval_batch_size)
-    #test_data = _divide_into_batches(data.valid, args.eval_batch_size)
-    # GPUの有無の確認
-    have_gpu = context.num_gpus() > 0
-    # デバイスの割り当て（GPUデバイスが検出されない場合は使わない）
-    with tf.device("/device:GPU:0" if have_gpu else None):
-        # 学習係数
-        # 学習係数は変化するのでVariableで定義
-        learning_rate = tf.Variable(args.learning_rate, name="learning_rate")
-        sys.stderr.write("learning_rate=%f\n" % learning_rate.numpy())
-        # EncDecADクラスのインスタンス作成
-        model = EncDecAD(args.hidden_dim, args.training)
-        # オプティマイザーオブジェクトの作成
-        optimizer = tf.keras.optimizers.Adam(learning_rate)
-        best_loss = None
-        cnt = 0
-        evaluation_loss_ = []
-        training_loss_ = []
-        # エポック毎のループ
-        for _ in range(args.epoch):
-            # 訓練データ
-            training_loss_.append(train(model, optimizer, train_data, args.seq_len, args.clip))
-            # 検証データ
-            eval_loss, l_scores, outputs, evaluation_loss = evaluate(args, model, test_data, train_data)
-            evaluation_loss_.append(evaluation_loss)
-            # テストデータを使った評価での損失が下がった場合
-            if not best_loss or eval_loss < best_loss:
-                best_loss = eval_loss
-                cnt = 0
-                # テストデータを使った評価での損失が下がらなかった場合
-            else:
-                cnt += 1
-                # 6回連続で下がらなかった場合
-                if cnt>5:
-                    # 学習係数を1/1.2倍する
-                    learning_rate.assign(max(learning_rate/1.2, .002))
-                    sys.stderr.write(
-                        "eval_loss did not reduce in this epoch, "
-                        "changing learning rate to %f for the next epoch\n" %
-                            learning_rate.numpy())
-                    cnt = 0
-###########ここでモデルの保存######################################
-        # save the model
-        tf.saved_model.save(model, "/tmp/saved_model/model")
-        #model._set_inputs(train_data[0, :])
-        #tf.keras.experimental.export_saved_model(model, "path_to_my_model", serving_only=True)
-        # save the weights
-        #model.save_weights('path_to_my_model.h5')
-        # モデルの定義
-        #model = EncDecAD(args.hidden_dim, args.training)
-#############ここで保存済みの重みの読み込み###############################
-        # 学習済みの重みの読み込み
-        new_model = tf.saved_model.load("/tmp/saved_model/model")
-        # 検証データ
         outputs, l_scores = evaluate_(args, new_model, test_data, train_data)
@@ -434,60 +222,6 @@
-if __name__ == "__main__":
-    parser = argparse.ArgumentParser()
-    parser.add_argument(
-        "--data-path",
-        type=str,
-        default="./src/chapter04/simple-examples/data",
-        help="Data directory path")
-    parser.add_argument(
-        "--learning-rate", type=float, default=.07, help="Learning rate.")
-    parser.add_argument(
-        "--epoch", type=int, default=300, help="Number of epoches.")
-    parser.add_argument(
-        "--batch-size", type=int, default=1, help="Batch size.")
-    parser.add_argument(
-        "--eval-batch-size", type=int, default=1, help="Batch size.")
-    parser.add_argument(
-        "--seq-len", type=int, default=len(seq_data), help="Sequence length.")
-    parser.add_argument(
-        "--hidden-dim", type=int, default=15, help="Hidden layer dimension.")
-    parser.add_argument(
-        "--clip", type=float, default=0.3, help="Gradient clipping ratio.")
-    parser.add_argument(
-        "--training", type=bool, default=True, help="Training or not.")
-    args, unparsed = parser.parse_known_args()
-    main(args)
 ```
 該当エラー