編集履歴

質問編集履歴

追加編集

2020/08/27 02:45

投稿

Mimi33mimi

スコア3

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -30,15 +30,19 @@
-また、これはこの状況を再現するための実装のJupyter Notebooldです。
+また、これはこの状況を再現するための実装のJupyter Notebookです。
 https://colab.research.google.com/drive/1qH-gMq_MYq2J-yIsE5IngWixp9wvzrQ9?hl=ja#scrollTo=XRfxGOW3Oybz
+（モデル更新後）
+もしかしたらエポック数が足りないのかもしれないため、更に試してみます。
-#Generator
+#Generator（変更前）
 ```python
@@ -122,7 +126,7 @@
 ```
-#Discriminator
+#Discriminator（変更前）
 ```python
@@ -202,6 +206,140 @@
 ```
+#Generator（変更前）
+```python
+def make_generator_model():
+    model = tf.keras.Sequential()
+    model.add(layers.Dense(32*32*3, use_bias=False, input_shape=(100,)))
+    model.add(layers.LeakyReLU())
+    model.add(layers.Reshape((32, 32, 3)))
+    assert model.output_shape == (None, 32, 32, 3) # Note: None is the batch size
+    model.add(layers.Conv2DTranspose(32, (4, 4), strides=(2, 2), padding='same', use_bias=False,kernel_initializer=tf.keras.initializers.RandomNormal(mean=0.0, stddev=0.2)))
+    assert model.output_shape == (None, 64, 64, 32)
+    model.add(layers.BatchNormalization())
+    model.add(layers.LeakyReLU())
+    model.add(layers.Conv2DTranspose(64, (4, 4), strides=(2, 2), padding='same', use_bias=False,kernel_initializer=tf.keras.initializers.RandomNormal(mean=0.0, stddev=0.2)))
+    assert model.output_shape == (None, 128, 128, 64)
+    model.add(layers.BatchNormalization())
+    model.add(layers.LeakyReLU())
+    model.add(layers.Conv2DTranspose(3, (4, 4), strides=(2, 2), padding='same', use_bias=False, activation='tanh'))
+    assert model.output_shape == (None, 256, 256, 3)
+    return model
+noise = tf.random.normal([1, 100])
+generated_image = generator(noise, training=False)
+generated_image[0]
+plt.imshow(tf.cast((generated_image[0, :, :, :] + 1.0 ) * 127.5,'uint32')) 　#matlotlibです
+```
+#Discriminator（変更後）
+```python
+def make_discriminator_model():
+    model = tf.keras.Sequential()
+    model.add(layers.Conv2D(16,(5, 5), strides=(2, 2), padding='same',
+                                     input_shape=[256, 256, 3]))
+    model.add(layers.LeakyReLU())
+    model.add(layers.Conv2D(32, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.Conv2D(64, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.Conv2D(128, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.Conv2D(256, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.Conv2D(512, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.Dense(1024))
+    model.add(layers.LeakyReLU())
+    model.add(layers.Flatten())
+    model.add(layers.Dense(1))
+ #   model.add(Activation('sigmoid'))
+    return model
+```
 ###学習無しの状態で表示される画像
 ![イメージ説明](a290f6150d47dd55d29733ea7234a434.png)
@@ -252,6 +390,12 @@
 ### 試したこと

Jupyterの追加

2020/08/27 02:45

投稿

Mimi33mimi

スコア3

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -30,7 +30,9 @@
+また、これはこの状況を再現するための実装のJupyter Notebooldです。
+https://colab.research.google.com/drive/1qH-gMq_MYq2J-yIsE5IngWixp9wvzrQ9?hl=ja#scrollTo=XRfxGOW3Oybz

問題点をより正確に変更した

2020/08/26 00:16

投稿

Mimi33mimi

スコア3

test CHANGED Viewed

	@@ -1 +1 @@
1	- KerasのGANで~~モザイク状の~~画像しか表示せず学習できません
1	+ KerasのGANで常に同じ画像しか表示せず学習できません

test CHANGED Viewed

@@ -30,6 +30,12 @@
 #Generator
 ```python
@@ -222,13 +228,11 @@
-  for i in range(16):
-#  for i in range(predictions.shape[0]):
+  for i in range(predictions.shape[0]):
       plt.subplot(4, 4, i+1)
-      plt.imshow(tf.cast((predictions[i, :, :, :] + 1.0 ) * 127.5,'uint8')) #ここはintに変えました
+      plt.imshow(tf.cast((predictions[i] + 1 ) * 0.5 ,dtype='float32'))
       plt.axis('off')

更に自分で工夫を加えたが解決しなかった

2020/08/25 23:24

投稿

Mimi33mimi

スコア3

test CHANGED Viewed

	@@ -1 +1 @@
1	- KerasのGANで~~Generatorが~~モザイク状の画像しか表示せず学習できません
1	+ KerasのGANでモザイク状の画像しか表示せず学習できません

test CHANGED Viewed

@@ -2,17 +2,23 @@
+何度も質問内容を変更して申し訳ありません。
 皆様こんにちは。Tensorflow 2.0（Keras）のチュートリアルを参考にして画像生成を試みています。
 256 * 256のRGB画像でのDCGANで画像生成をしていますが、Trainingしてもほとんど更新されず、16種類画像を表示しても同じ画像ばかり現れて新しい画像が生成できません。
-https://www.tensorflow.org/tutorials/generative/dcgan?hl=ja のMNISTのGANを参考にしています。この場合、出力層などを変えながらciferAの画像を学習することができたため、Generatorの問題だと考えています。
+https://www.tensorflow.org/tutorials/generative/dcgan?hl=ja のMNISTのGANを参考にしています。この場合、出力層などを変えながらciferAの画像（ただし入出力画像の出力チャンネルを3にした）を学習することができたため、原因が分かりません。
-問題があるところは、Generatorと画像表示の部分だと思うのですが、その部分だけのコードだけで解決できるでしょうか。
+問題があるところは、モデルと画像表示の部分だと思うのですが、その部分だけのコードだけで解決できるでしょうか。
 コードが十分でなかった場合は追記いたします。よろしくおねがいします。
@@ -104,7 +110,7 @@
-plt.imshow(generated_image[0] * 0.5 + 0.5)　#matlotlibです
+plt.imshow(tf.cast((generated_image[0, :, :, :] + 1.0 ) * 127.5,'uint8'))　#matlotlibです
 ```
@@ -164,31 +170,33 @@
     model.add(layers.BatchNormalization())
+    model.add(layers.Flatten())
     model.add(layers.Dense(1024))
     model.add(layers.LeakyReLU())
+    model.add(Activation('relu'))
+    model.add(layers.Dense(1))
     model.add(Activation('sigmoid'))
-    model.add(layers.Flatten())
-    model.add(layers.Dense(1))
     return model
 ```
 ###学習無しの状態で表示される画像
-![イメージ説明](f9450a43b1add821672c8124d714533f.png)
+![イメージ説明](a290f6150d47dd55d29733ea7234a434.png)
@@ -214,11 +222,13 @@
+  for i in range(16):
-  for i in range(predictions.shape[0]):
+#  for i in range(predictions.shape[0]):
       plt.subplot(4, 4, i+1)
-      plt.imshow((predictions[i] * 0.5 + 0.5)) #ここは投稿の後から変更しました。
+      plt.imshow(tf.cast((predictions[i, :, :, :] + 1.0 ) * 127.5,'uint8')) #ここはintに変えました
       plt.axis('off')
@@ -242,7 +252,7 @@
 重みの初期値の変更、Generatorの出力のバイアスのあり・なしの変更、
-kernel_initializer='random_normal'
+kernel_initializer='random_normal'、Discriminatorの変更
 ### 補足情報（FW/ツールのバージョンなど）

質問文の変更

2020/08/25 14:02

投稿

Mimi33mimi

スコア3

test CHANGED Viewed

	@@ -1 +1 @@
1	- GANのGeneratorがモザイク状の画像しか表示せずに学習できません
1	+ KerasのGANでGeneratorがモザイク状の画像しか表示せず学習できません

test CHANGED Viewed

@@ -4,11 +4,13 @@
 皆様こんにちは。Tensorflow 2.0（Keras）のチュートリアルを参考にして画像生成を試みています。
-256 * 256のRGB画像でのDCGANで画像生成をしていますが、Generatorの出力のテンソルのそれぞれの値が1e-06など小さな数字になります。目的は1e-02などの大きさのテンソルがGeneratorから出力され、学習が進むことです。
+256 * 256のRGB画像でのDCGANで画像生成をしていますが、Trainingしてもほとんど更新されず、16種類画像を表示しても同じ画像ばかり現れて新しい画像が生成できません。
-今の状態ではTrainingしてもほとんど更新されず、ノイズのみで新しい画像が生成できません。
-https://www.tensorflow.org/tutorials/generative/dcgan?hl=ja のMNISTのGANを参考にしています。
+https://www.tensorflow.org/tutorials/generative/dcgan?hl=ja のMNISTのGANを参考にしています。この場合、出力層などを変えながらciferAの画像を学習することができたため、Generatorの問題だと考えています。
 問題があるところは、Generatorと画像表示の部分だと思うのですが、その部分だけのコードだけで解決できるでしょうか。
@@ -16,6 +18,12 @@
+GeneratorとDiscriminatorだけですが、この論文の実装をイメージしています。
+https://www.researchgate.net/publication/331200586_Bidirectional_Face_Aging_Synthesis_Based_on_Improved_Deep_Convolutional_Generative_Adversarial_Networks
 #Generator
 ```python
@@ -32,194 +40,196 @@
     model.add(layers.Reshape((4, 4, 1024)))
+    model.add(layers.Conv2DTranspose(1024, (5, 5), strides=(1, 1), padding='same', use_bias=False,activation='relu',kernel_initializer='random_normal'))
+    assert model.output_shape == (None, 4, 4, 1024)
+    model.add(layers.Conv2DTranspose(512, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.ReLU())
+    model.add(layers.Conv2DTranspose(256, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.ReLU())
+    model.add(layers.Conv2DTranspose(128, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.ReLU())
+    model.add(layers.Conv2DTranspose(64, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.ReLU())
+    model.add(layers.Conv2DTranspose(32, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.ReLU())
+    assert model.output_shape == (None, 128, 128, 32)
+    model.add(layers.Conv2DTranspose(3, (5, 5), strides=(2, 2), padding='same'))
+    model.add(Activation('tanh'))
+    assert model.output_shape == (None, 256, 256, 3)
+    return model
+generator = make_generator_model()
+noise = tf.random.normal([1, 100])
+generated_image = generator(noise, training=False)
+generated_image[0]
+plt.imshow(generated_image[0] * 0.5 + 0.5)　#matlotlibです
+```
+#Discriminator
+```python
+def make_discriminator_model():
+    model = tf.keras.Sequential()
+    model.add(layers.Conv2D(16, (5, 5), strides=(2, 2), padding='same',
+                                     input_shape=[256, 256, 3]))
+    model.add(layers.LeakyReLU())
+    model.add(layers.BatchNormalization())
+    model.add(layers.Conv2D(32, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.BatchNormalization())
+    model.add(layers.Conv2D(64, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.BatchNormalization())
+    model.add(layers.Conv2D(128, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.BatchNormalization())
+    model.add(layers.Conv2D(256, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.BatchNormalization())
+    model.add(layers.Conv2D(512, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.BatchNormalization())
-    model.add(layers.Conv2DTranspose(512, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.Dense(1024))
-    model.add(layers.ReLU())
+    model.add(layers.LeakyReLU())
-    model.add(layers.Conv2DTranspose(256, (5, 5), strides=(2, 2), padding='same'))
-    model.add(layers.ReLU())
-    model.add(layers.Conv2DTranspose(128, (5, 5), strides=(2, 2), padding='same'))
-    model.add(layers.ReLU())
-    model.add(layers.Conv2DTranspose(64, (5, 5), strides=(2, 2), padding='same'))
-    model.add(layers.ReLU())
-    model.add(layers.Conv2DTranspose(32, (5, 5), strides=(2, 2), padding='same'))
-    model.add(layers.ReLU())
-    assert model.output_shape == (None, 128, 128, 32)
-    model.add(layers.Conv2DTranspose(3, (5, 5), strides=(2, 2), padding='same'))
-    model.add(Activation('tanh'))
+    model.add(Activation('sigmoid'))
-    assert model.output_shape == (None, 256, 256, 3)
+    model.add(layers.Flatten())
+    model.add(layers.Dense(1))
     return model
-generator = make_generator_model()
-noise = tf.random.normal([1, 100])
-generated_image = generator(noise, training=False)
-generated_image[0]
-plt.imshow(generated_image[0] * 0.5 + 0.5)　#matlotlibです
 ```
-#Discriminator
+###学習無しの状態で表示される画像
+![イメージ説明](f9450a43b1add821672c8124d714533f.png)
+### こちらは、先述の公式MNIST実装のコードをほとんどコピーした、カラー画像が表示できるはずのコードですが、ほとんど同じようなほぼ一色の画像が表示されます。
 ```python
-def make_discriminator_model():
+def generate_and_save_images(model, epoch, test_input):
+  # Notice `training` is set to False.
+  # This is so all layers run in inference mode (batchnorm).
+  predictions = model(test_input, training=False)
-    model = tf.keras.Sequential()
+  fig = plt.figure(figsize=(4,4))
-    model.add(layers.Conv2D(16, (5, 5), strides=(2, 2), padding='same',
+  for i in range(predictions.shape[0]):
-                                     input_shape=[256, 256, 3]))
+      plt.subplot(4, 4, i+1)
-    model.add(layers.LeakyReLU())
-    model.add(layers.BatchNormalization())
-    model.add(layers.Conv2D(32, (5, 5), strides=(2, 2), padding='same'))
+      plt.imshow((predictions[i] * 0.5 + 0.5)) #ここは投稿の後から変更しました。
-    model.add(layers.LeakyReLU())
-    model.add(layers.BatchNormalization())
-    model.add(layers.Conv2D(64, (5, 5), strides=(2, 2), padding='same'))
-    model.add(layers.LeakyReLU())
-    model.add(layers.BatchNormalization())
-    model.add(layers.Conv2D(128, (5, 5), strides=(2, 2), padding='same'))
-    model.add(layers.LeakyReLU())
-    model.add(layers.BatchNormalization())
-    model.add(layers.Conv2D(256, (5, 5), strides=(2, 2), padding='same'))
-    model.add(layers.LeakyReLU())
-    model.add(layers.BatchNormalization())
-    model.add(layers.Conv2D(512, (5, 5), strides=(2, 2), padding='same'))
-    model.add(layers.LeakyReLU())
-    model.add(layers.BatchNormalization())
-    model.add(layers.Dense(1024))
-    model.add(layers.LeakyReLU())
-    model.add(Activation('sigmoid'))
+      plt.axis('off')
-    model.add(layers.Flatten())
+  plt.savefig('image_at_epoch_{:04d}.png'.format(epoch))
-    model.add(layers.Dense(1))
-    return model
+  plt.show()
 ```
-###学習無しの状態で表示される画像
-![イメージ説明](f9450a43b1add821672c8124d714533f.png)
-### こちらは、先述の公式MNIST実装のコードをほとんどコピーした、カラー画像が表示できるはずのコードですが、ほとんど同じようなほぼ一色の画像が表示されます。
-```python
-def generate_and_save_images(model, epoch, test_input):
-  # Notice `training` is set to False.
-  # This is so all layers run in inference mode (batchnorm).
-  predictions = model(test_input, training=False)
-  fig = plt.figure(figsize=(4,4))
-  for i in range(predictions.shape[0]):
-      plt.subplot(4, 4, i+1)
-      plt.imshow((predictions[i] * 0.5 + 0.5)) #ここは投稿の後から変更しました。
-      plt.axis('off')
-  plt.savefig('image_at_epoch_{:04d}.png'.format(epoch))
-  plt.show()
-```
 ###結果的に表示された画像（140エポック）
 ![イメージ説明](65823c15d5250a2aa24cfcfc59aaa91b.png)

Discriminatorも追加

2020/08/25 05:44

投稿

Mimi33mimi

スコア3

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -98,7 +98,83 @@
 ```
+#Discriminator
+```python
+def make_discriminator_model():
+    model = tf.keras.Sequential()
+    model.add(layers.Conv2D(16, (5, 5), strides=(2, 2), padding='same',
+                                     input_shape=[256, 256, 3]))
+    model.add(layers.LeakyReLU())
+    model.add(layers.BatchNormalization())
+    model.add(layers.Conv2D(32, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.BatchNormalization())
+    model.add(layers.Conv2D(64, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.BatchNormalization())
+    model.add(layers.Conv2D(128, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.BatchNormalization())
+    model.add(layers.Conv2D(256, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.BatchNormalization())
+    model.add(layers.Conv2D(512, (5, 5), strides=(2, 2), padding='same'))
+    model.add(layers.LeakyReLU())
+    model.add(layers.BatchNormalization())
+    model.add(layers.Dense(1024))
+    model.add(layers.LeakyReLU())
+    model.add(Activation('sigmoid'))
+    model.add(layers.Flatten())
+    model.add(layers.Dense(1))
+    return model
+```
 ###学習無しの状態で表示される画像

実際の試行に近づけた

2020/08/24 20:23

投稿

Mimi33mimi

スコア3

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -94,31 +94,19 @@
-plt.imshow(tf.cast(255 *  (generated_image[0] / 2 + 1),'uint8'))　#matlotlibです
+plt.imshow(generated_image[0] * 0.5 + 0.5)　#matlotlibです
 ```
-###出力を100倍して結果的に出力されるテンソル（一部）
+###学習無しの状態で表示される画像
-plt.imshow(tf.cast(255 *  (generated_image[0] * 100 / 2 + 1),'uint8'))
-<tf.Tensor: shape=(256, 256, 3), dtype=float32, numpy=
-array([[[ 1.57410329e-06, -3.40866131e-06,  1.24176722e-06],
-        [-2.41837824e-06,  4.55960935e-06, -5.75053673e-06],
+![イメージ説明](f9450a43b1add821672c8124d714533f.png)
-        [ 8.01241185e-06, -7.79011862e-06, -3.61239472e-06],
-###この状態ではランダムノイズらしきものが表示されるため、問題はこれ以降かもしれません。
-![イメージ説明](856e00de30841a603784324987876570.png)
@@ -156,9 +144,9 @@
 ```
-###結果的に表示された画像
+###結果的に表示された画像（140エポック）
-![![ある程度エポックを繰り返した結果](5cec83eb4e5874c88096b558fa393d46.png)
+![イメージ説明](65823c15d5250a2aa24cfcfc59aaa91b.png)

初投稿の後の修正

2020/08/24 19:58

投稿

Mimi33mimi

スコア3

test CHANGED Viewed

	@@ -1 +1 @@
1	- GANのGeneratorの~~出力されるテンソルが小さいため~~か学習できません
1	+ GANのGeneratorがモザイク状の画像しか表示せずに学習できません

test CHANGED Viewed

@@ -144,7 +144,7 @@
       plt.subplot(4, 4, i+1)
-      plt.imshow(tf.cast(255.0 *  (predictions[i]* 100/ 2.0 + 1),'uint8')) #generatorの数値が少数のため、jpg画像にするために大きさを合わせるためここを変更しました。
+      plt.imshow((predictions[i] * 0.5 + 0.5)) #ここは投稿の後から変更しました。
       plt.axis('off')
@@ -168,7 +168,7 @@
 重みの初期値の変更、Generatorの出力のバイアスのあり・なしの変更、
+kernel_initializer='random_normal'
 ### 補足情報（FW/ツールのバージョンなど）

100倍した時のテンソル

2020/08/24 14:01

投稿

Mimi33mimi

スコア3

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -100,7 +100,9 @@
-###結果的に出力されるテンソル（一部）
+###出力を100倍して結果的に出力されるテンソル（一部）
+plt.imshow(tf.cast(255 *  (generated_image[0] * 100 / 2 + 1),'uint8'))
 <tf.Tensor: shape=(256, 256, 3), dtype=float32, numpy=

ランダムノイズの表示方法の追加

2020/08/24 03:28

投稿

Mimi33mimi

スコア3

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -92,6 +92,10 @@
 generated_image[0]
+plt.imshow(tf.cast(255 *  (generated_image[0] / 2 + 1),'uint8'))　#matlotlibです
 ```

tensorflow 2.0とランダムノイズらしい画像

2020/08/24 02:46

投稿

Mimi33mimi

スコア3

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -108,6 +108,14 @@
+###この状態ではランダムノイズらしきものが表示されるため、問題はこれ以降かもしれません。
+![イメージ説明](856e00de30841a603784324987876570.png)
 ### こちらは、先述の公式MNIST実装のコードをほとんどコピーした、カラー画像が表示できるはずのコードですが、ほとんど同じようなほぼ一色の画像が表示されます。
 ```python
@@ -160,4 +168,4 @@
-ColaboratoryのGPUで実行しています。
+tensorflow2.0とKeras、ColaboratoryのGPUで実行しています。

気になっていることがKerasであることの追加

2020/08/24 02:45

投稿

Mimi33mimi

スコア3

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -2,7 +2,7 @@
-皆様こんにちは。Tensorflow 2.0のチュートリアルを参考にして画像生成を試みています。
+皆様こんにちは。Tensorflow 2.0（Keras）のチュートリアルを参考にして画像生成を試みています。
 256 * 256のRGB画像でのDCGANで画像生成をしていますが、Generatorの出力のテンソルのそれぞれの値が1e-06など小さな数字になります。目的は1e-02などの大きさのテンソルがGeneratorから出力され、学習が進むことです。