回答編集履歴

2018/10/25 06:18

投稿

スコア21956

test CHANGED Viewed

@@ -292,7 +292,7 @@
 print(image_list.shape, image_list.dtype)  # (300, 11250) float64
-print(location_list.shape, location_list.dtype)  # (300,) float64
+print(location_list.shape, location_list.dtype)  # (300, 2) float64
 ```
@@ -332,7 +332,7 @@
 model.add(Dropout(0.0))
-model.add(Dense(1))
+model.add(Dense(2))
 model.add(Activation("linear"))

2018/10/25 06:18

投稿

tiitoi

スコア21956

test CHANGED Viewed

@@ -275,3 +275,143 @@
     np.savetxt(filepath, result, fmt='%.0f')
 ```
+## 追記
+前提として、image_list は (サンプル数, Width * Height) の float 型の numpy 配列
+location_list は (サンプル数,) の float 型の numpy 配列です。
+```
+print(image_list.shape, image_list.dtype)  # (300, 11250) float64
+print(location_list.shape, location_list.dtype)  # (300,) float64
+```
+その場合に、質問のコードに各エポックごとに推論結果を CSV に保存するは以下のようになります。
+```
+# モデルを作成
+model = Sequential()
+model.add(Dense(8000, input_dim=Z, kernel_initializer='random_uniform',bias_initializer='zeros'))
+model.add(LeakyReLU())
+model.add(Dropout(0.2))
+model.add(Dense(100,kernel_initializer='random_uniform',bias_initializer='zeros'))
+model.add(LeakyReLU())
+model.add(Dropout(0.075))
+model.add(Dense(50,kernel_initializer='random_uniform',bias_initializer='zeros'))
+model.add(LeakyReLU())
+model.add(Dropout(0.075))
+model.add(Dense(10,kernel_initializer='random_uniform',bias_initializer='zeros'))
+model.add(LeakyReLU())
+model.add(Dropout(0.0))
+model.add(Dense(1))
+model.add(Activation("linear"))
+model.compile(loss="mean_absolute_percentage_error", optimizer=Adam(lr=LR))
+def get_batch(x, y, batch_size, shuffle=False):
+    '''ミニバッチを生成するジェネレーター関数
+    '''
+    num_samples = len(x)
+    if shuffle:
+        indices = np.random.permutation(num_samples)
+    else:
+        indices = np.arange(num_samples)
+    num_steps = np.ceil(num_samples / batch_size).astype(int)
+    # ステップ数 = ceil(サンプル数 / バッチサイズ)
+    # 例 np.ceil(10 / 3) = np.ceil(3.33333333...) = 4
+    for itr in range(num_steps):
+        start = batch_size * itr
+        excerpt = indices[start:start + batch_size]
+        yield x[excerpt], y[excerpt]
+# 保存用ディレクトリ
+out_dirpath = 'prediction'
+os.makedirs(out_dirpath, exist_ok=True)
+# 学習する。
+epochs = 5
+for i in range(epochs):  # エポック数分ループする。
+    for x_batch, y_batch in get_batch(image_list, location_list, batch_size=BATCH_SIZE, shuffle=True):
+        # 1バッチ分学習する
+        model.train_on_batch(x_batch, y_batch)
+    print('training... epoch {}'.format(i))
+    # エポックごとにテストデータで推論する。
+    y_pred = model.predict(image_list)
+    result = np.c_[y_pred, location_list]
+    # 推論結果を保存する。
+    filepath = os.path.join(out_dirpath, 'prediction_{}.csv'.format(i))
+    np.savetxt(filepath, result, fmt='%.0f')
+```

2018/10/25 05:47

投稿

tiitoi

スコア21956

test CHANGED Viewed

@@ -178,6 +178,44 @@
+その下の for の部分は以下のことをしている。
+```
+num_steps = 4
+batch_size = 3
+num_samples = 10
+indices = np.arange(num_samples)
+for itr in range(num_steps):
+    start = batch_size * itr
+    excerpt = indices[start:start + batch_size]
+    print(excerpt)
+# [0 1 2]
+# [3 4 5]
+# [6 7 8]
+# [9]
+```
 ### 学習する。

2018/10/25 04:58

投稿

tiitoi

スコア21956

test CHANGED Viewed

@@ -122,30 +122,62 @@
     '''
-    num_samples = len(x)
+    num_samples = len(x)  # サンプル数
-    if shuffle:
+    if shuffle:  # シャッフルする場合
         indices = np.random.permutation(num_samples)
+        # 例: num_samples=10 の場合、array([7, 8, 1, 2, 4, 6, 9, 5, 3, 0])
+        # ランダムにシャッフルされている
-    else:
+    else:  # シャッフルしない場合
-        indices = np.random.arange(num_samples)
+        indices = np.arange(num_samples)
+        # 例: num_samples=10 の場合、array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
-    num_iterations = np.ceil(num_samples / batch_size).astype(int)
+    num_steps = np.ceil(num_samples / batch_size).astype(int)
+    # ステップ数 = ceil(サンプル数 / バッチサイズ)
+    # 例 np.ceil(10 / 3) = np.ceil(3.33333333...) = 4
-    for itr in range(num_iterations):
+    for itr in range(num_steps):
         start = batch_size * itr
         excerpt = indices[start:start + batch_size]
+        # [batch_size * itr, batch_size * (itr + 1)] の範囲のサンプルを yield で返す。
         yield x[excerpt], y[excerpt]
 ```
+[A, B, C, D, E, F, G, H, I, J] という10個のデータがあったとしたら、
+バッチサイズ3の場合、
+1step目 [A, B, C]
+2step目 [D, E, F]
+3step目 [G, H, I]
+4step目 [J]
+と4stepで全部のデータを一回ネットワークに流すことになるので、4step で 1epoch である。
 ### 学習する。
@@ -174,7 +206,7 @@
 epochs = 1
-for i in range(epochs):
+for i in range(epochs):  # エポック数分ループする。
     for x_batch, y_batch in get_batch(x_train, y_train_onehot, batch_size=128, shuffle=True):
@@ -186,6 +218,8 @@
         model.train_on_batch(x_batch, y_batch)
+    # この時点で1 epoch 分の学習が完了
     # エポックごとにテストデータで推論する。