質問編集履歴

コード追記　、文の追記

2022/11/07 06:53

投稿

semisemi

スコア18

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -10,10 +10,10 @@
 ### 発生している問題・エラーメッセージ
-One-Hot Encodingの前にmyflowを書いていたのでエラーが出ていたのですが、後に書くことでエラーはなくなりました。
+追記していただいたy[i].argmax()でエラーなく動くようになりました。
-でも、画像にあるよう学習の進行度を表すゲージが表示されておらず学習が進まないため1エポックも終わらない状態になってしまいました。
+しかし、画像にあるよう学習の進行度を表すゲージが表示されておらず1エポックも終わらない状態になってしまいました。
-![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-11-07/569d9c78-23db-4bc1-a3d6-6dd366715387.jpeg)
+![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-11-07/0e5e3188-22a0-4774-a4a9-34b4a4c71d5e.jpeg)
 ### 該当のソースコード
@@ -81,7 +81,9 @@
 y_test=np.vstack([y_test,np.full((b_test_data.shape[0],1),[1])])
 y_test=np.vstack([y_test,np.full((c_test_data.shape[0],1),[2])])
+from tensorflow.keras.utils import to_categorical
+y_train = to_categorical(y_train,3)
+y_test = to_categorical(y_test,3)
 ## 変換処理
 x_datagen_base = ImageDataGenerator(
@@ -108,7 +110,7 @@
 def myflow(gen: ImageDataGenerator):
     for x, y in gen:
         for i, _x in enumerate(x):
-            if y[i] != 0:
+            if y[i].argmax() != 0:
                 x[i] = x_datagen_base.apply_transform(
                     _x,
                     x_datagen_partial.get_random_transform(_x.shape)
@@ -116,9 +118,7 @@
         yield x, y
-from tensorflow.keras.utils import to_categorical
-y_train = to_categorical(y_train,3)
-y_test = to_categorical(y_test,3)
 from tensorflow.python.keras.models import Sequential
 model = Sequential()
@@ -240,7 +240,7 @@
 loss     = history_model.history['loss']    #訓練データの誤差
 val_loss = history_model.history['val_loss']  #テストデータ誤差
 accuracy      = history_model.history['accuracy']    #訓練データの誤差
-val_accuracy  = history_model.history['val_accuracy']  #テストデータ誤差![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-11-07/9fb0a39c-37d6-4e34-8afd-2348e70fdfb0.jpeg)
+val_accuracy  = history_model.history['val_accuracy']  #テストデータ誤差
 ```
 ### 試したこと
@@ -254,4 +254,4 @@
 TensorFlow　2.3
 Spyder 5.3.3を利用
-トレーニングデータはもっとあるのですが、省力させていただきました。
+トレーニングデータはもっとあるのですが、省略させていただきました。

TensorFlow Keras CNN (Convolutional Neural Network)NumPy Python 3.x

コードの追加、画像の追加、文の追加

2022/11/07 06:23

投稿

semisemi

スコア18

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,59 +1,257 @@
 ### 前提
-kerasのmodel.fitにジェネレーターを二つ入力する。
-または、三項目の分類をしようとしており三項目の内一つだけ正規化し他の二項目はいろいろな変換処理をできるようにしたいです。
+三項目の分類をしようとしており、三項目の内一つだけ正規化し他の二項目はいろいろな変換処理をできるようにしたいです。
 ### 実現したいこと
-・kerasのmodel.fitにジェネレーターを二つ入力する
-　　　　　　　または
 ・ImageDatageneratorの変換を行う項目と行わない項目を作る
 ### 発生している問題・エラーメッセージ
-```
-ValueError:`y` argument is not supported when using `keras.utils.Sequence` as input.
+One-Hot Encodingの前にmyflowを書いていたのでエラーが出ていたのですが、後に書くことでエラーはなくなりました。
-```
+でも、画像にあるよう学習の進行度を表すゲージが表示されておらず学習が進まないため1エポックも終わらない状態になってしまいました。
+![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-11-07/569d9c78-23db-4bc1-a3d6-6dd366715387.jpeg)
 ### 該当のソースコード
 ```python
+import numpy as np
+from PIL import Image
+import tensorflow as tf
+import time
+import matplotlib.pyplot as plt
+# import os
+# os.environ["CUDA_VISIBLE_DEVICES"] = "-1"
+from tensorflow.keras.models import Model
+from tensorflow.keras.preprocessing import image
+from tensorflow.keras.preprocessing.image import ImageDataGenerator
+from tensorflow.keras.optimizers import Adam
+from tensorflow.keras.callbacks import EarlyStopping, LearningRateScheduler,ReduceLROnPlateau, ModelCheckpoint
+Image.MAX_IMAGE_PIXELS = None
+#-------切り取り定義-------
+def kiritori(img):
+    img_array=np.array(img,dtype='int16')         #(50行,83列,3次元)の3次元配列
+    a=np.split(img_array,img.height/50)
+    img_data=np.split(a[0],img.width/50,axis=1)#stackする土台づくり
+    for i in range(len(a)-1):
+        img_data=np.vstack([img_data,np.split(a[i+1],img.width/50,axis=1)])
+    return img_data
+#-------切り取り処理（トレーニングデータ）-------
+x_train=kiritori(Image.open('3Gatu_Data/DJI_0708.JPG'))#(#(1200,100,100,3)
+train_label=np.loadtxt(fname='label/3Gatu_708_50.csv',delimiter=',',dtype='int16')#(30, 40)
+train_label=np.reshape(train_label,(train_label.size))                    #(1200)
+a_train_data          = x_train[np.where(train_label==0)]
+b_train_data       =x_train[np.where(train_label==1)]
+c_train_data    =x_train[np.where(train_label==2)]
+#-------データをまとめる-------
+x_train=a_train_data
+x_train=np.vstack([x_train,b_train_data])
+x_train=np.vstack([x_train,c_train_data])
+#-------テストデータ処理-------
+val_test=kiritori(Image.open('3Gatu_Data/mai_0330_2022.JPG'))
+test_label=np.loadtxt(fname='label/3Gatu_mai_50.csv',delimiter=',',dtype='int16')#(30,40)
+test_label=np.reshape(test_label,(test_label.size))                    #(1200)
+a_test_data = val_test[np.where(test_label==0)]
+b_test_data = val_test[np.where(test_label==1)]
+c_test_data = val_test[np.where(test_label==2)]
+val_test = a_test_data
+val_test = np.vstack([val_test,b_test_data])
+val_test = np.vstack([val_test,c_test_data])
+y_train=np.full((a_train_data.shape[0],1),0)
+y_train=np.vstack([y_train,np.full((b_train_data.shape[0],1),[1])])
+y_train=np.vstack([y_train,np.full((c_train_data.shape[0],1),[2])])
+y_test=np.full((a_test_data.shape[0],1),[0])
+y_test=np.vstack([y_test,np.full((b_test_data.shape[0],1),[1])])
+y_test=np.vstack([y_test,np.full((c_test_data.shape[0],1),[2])])
+## 変換処理
+x_datagen_base = ImageDataGenerator(
+    rescale = 1 / 255,
+    dtype = np.float64
+)
-x_train_datagen = image.ImageDataGenerator(
+x_datagen_partial = image.ImageDataGenerator(
                                                 rescale = 1./255,
                                                 rotation_range = 180,
                                                 fill_mode="constant",
                                                 vertical_flip = True,
-                                                brightness_range = [0.7, 1.117],
+                                                # brightness_range = [0.7, 1.117],
-                                                horizontal_flip = True
+                                                horizontal_flip = True,
+                                                dtype = np.float64
                                             )
-x_train_generator = x_train_datagen.flow(x_train, y_train, batch_size= 13)
+x_train_generator = x_datagen_base.flow(x_train, y_train, batch_size= 13)
-x_train_gen2 = image.ImageDataGenerator(rescale=1./ 255)
-x_train_generator2 = x_train_datagen.flow(x_train2, y_train2, batch_size= 13)
 val_datagen = image.ImageDataGenerator(rescale=1./ 255)
 val_test_generator = val_datagen.flow(val_test, y_test,batch_size = 13)
+def myflow(gen: ImageDataGenerator):
+    for x, y in gen:
+        for i, _x in enumerate(x):
+            if y[i] != 0:
+                x[i] = x_datagen_base.apply_transform(
+                    _x,
+                    x_datagen_partial.get_random_transform(_x.shape)
+                )
+        yield x, y
+from tensorflow.keras.utils import to_categorical
+y_train = to_categorical(y_train,3)
+y_test = to_categorical(y_test,3)
+from tensorflow.python.keras.models import Sequential
+model = Sequential()
+from tensorflow.python.keras.layers import Conv2D
+from tensorflow.keras.layers import PReLU
+from tensorflow.python.keras.layers import BatchNormalization
+model.add(                                                            #畳み込み
+    Conv2D(
+        filters=64,         #出力
+        input_shape=(50,50,3),
+        kernel_size=(3,3),  #フィルタサイズ
+        strides=(1,1),
+        padding='valid',
+        kernel_initializer = "he_uniform"
+))
+model.add(BatchNormalization())
+model.add(PReLU(alpha_initializer=tf.constant_initializer(0.25)))
+from tensorflow.python.keras.layers import MaxPooling2D
+from tensorflow.python.keras.layers import Dropout
+model.add(MaxPooling2D(pool_size=(2,2)))                    #マックスプーリング
+                                  #ドロップアウト
+#追加畳み込み
+model.add(
+    Conv2D(
+    filters =128,
+    kernel_size = (3,3),
+    strides = (1,1),
+    padding = 'valid',
+    kernel_initializer = "he_uniform",
+    ))
+model.add(BatchNormalization())
+model.add(PReLU(alpha_initializer=tf.constant_initializer(0.25)))
+model.add(MaxPooling2D(pool_size=(2,2)))
+#追加畳み込み
+model.add(
+    Conv2D(
+    filters = 256,
+    kernel_size = (3,3),
+    strides = (1,1),
+    padding = 'valid',
+    kernel_initializer = "he_uniform",
+    ))
+model.add(BatchNormalization())
+model.add(PReLU(alpha_initializer=tf.constant_initializer(0.25)))
+model.add(MaxPooling2D(pool_size=(2,2)))
+#追加畳み込み
+model.add(
+    Conv2D(
+    filters = 512,
+    kernel_size = (3,3),
+    strides = (1,1),
+    padding = 'valid',
+    kernel_initializer = "he_uniform",
+    ))
+model.add(BatchNormalization())
+model.add(PReLU(alpha_initializer=tf.constant_initializer(0.25)))
+model.add(MaxPooling2D(pool_size=(2,2)))
+from tensorflow.python.keras.layers import Flatten
+model.add(Flatten())                                               #2次元配列に
+from tensorflow.python.keras.layers import Dense
+model.add(Dense(units=1536))
+model.add(PReLU(alpha_initializer=tf.constant_initializer(0.25)))
+model.add(Dropout(0.5))
+model.add(Dense(units=3,activation='softmax',name="f3"))
+model.summary();
+reduce_lr = ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=10, min_lr=0.0001)
+model.compile(
+    optimizer = Adam(),                   #自動で学習率が設定される
+    loss = 'categorical_crossentropy',    #多分類のときにしていできる交差エントロピー
+    metrics = ['accuracy']
+)
 history_model = model.fit(
-    x_train_generator,x_train_generator2,
+    myflow(x_train_generator),
     epochs = 10,
     validation_data = val_test_generator,
     validation_steps = None,
     shuffle = True,
     callbacks = [reduce_lr]
     )
+## モデルの保存
+model_json_str = model.to_json()
+open('Output_file/9/cnn_model_3Gatu_50_500.json', 'w').write(model_json_str)
+model.save_weights('Output_file/9/mnist_mlp_3Gatu_50_500_weights2.h5');
+score = model.evaluate( val_test_generator, verbose=0)
+print('Test loss :', score[0])
+print('Test accuracy :', score[1])
+loss     = history_model.history['loss']    #訓練データの誤差
+val_loss = history_model.history['val_loss']  #テストデータ誤差
+accuracy      = history_model.history['accuracy']    #訓練データの誤差
+val_accuracy  = history_model.history['val_accuracy']  #テストデータ誤差![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-11-07/9fb0a39c-37d6-4e34-8afd-2348e70fdfb0.jpeg)
 ```
 ### 試したこと
-二つのジェネレーターを入力して色々な変換を行う方と正規化のみ行う方の処理を実行させようとしましたが無理そうでした。
+myflowの適用をしてみました。
 ### 補足情報（FW/ツールのバージョンなど）
-windows10（64bit）
+windows11（64bit）
 anacondaを使用
 python　3.8.13
 TensorFlow　2.3
 Spyder 5.3.3を利用
+トレーニングデータはもっとあるのですが、省力させていただきました。

TensorFlow Keras CNN (Convolutional Neural Network)NumPy Python 3.x