編集履歴

質問編集履歴

実行結果と疑問点を更新しました。

2021/02/21 18:49

投稿

スコア22

title CHANGED Viewed

	@@ -1,1 +1,1 @@
1	- データ拡張で予測正解率が上~~がらない原因が分からない~~
1	+ データ拡張した場合、自作画像の予測正解率を上げるには？

body CHANGED Viewed

@@ -1,7 +1,20 @@
 初学者です。
-MNISTデータを学習させた畳込みニューラルネットワークモデルを用いて、自作画像を予測してみました。でも、データ拡張をしても、予測の正解率は変わりませんでした。
+MNISTデータを学習させた畳込みニューラルネットワークモデルを用いて、自作画像を予測してみました。
+回答者様のご助言のもと、[こちらのサイト](https://qiita.com/PoodleMaster/items/54c184d9f2f70cc011d0)を参考にさせていただき、データ拡張を試しました。結果、予測の正解率は上がりましたが、まだ不安定です。
-どなたかアドバイスをお願いしてもよろしいでしょうか。
+現状、減数させたMNISTデータを拡張して、自作画像の予測正解率を安定して上げたいと考えていますが、以下3点の疑問点があります。どなたかアドバイスをお願いしてもよろしいでしょうか。
+■疑問点
+・適切なepochsの設定方法
+・モデル保存の必要性（CallBack設定？）※参照サイトでは保存していました。
+・以下プログラムの「model.fit_generator」以降を複数回実行した場合、正解率が（大きく）異なる理由
+※特に、減数させたMNISTを拡張した場合
+※実行状況：Jupyter notebookで、以下プログラムのmodel.fit_generatorから複数回実行した場合、accuracyが1回前の実行の状態を引き続いて実行される？ことはあるのでしょうか。model.fit_generatorから2回目実行した時、既にaccuracyが高い気がします（以下参照）
+![実行1回目と2回目](c69f8ba474da0c205d36eeadfb7a44b7.png)
+----------------------------------------------------
+本稿の詳細を示します。
 以下の質問の続きです。
 [画像認識の正解率が低い原因が分からない](https://teratail.com/questions/291520)
@@ -17,35 +30,38 @@
 ■結果
 データ数↑＝損失↓正確度↑＝正解率↑となりました。
-おおよそ予想される結果が得られましたが、データを拡張しても、それほど正解率は上がりませんでした。
+MNISTデータが少ない場合でも、データを拡張して8～9割の正解率が得られるようになりました。
-どのような理由が考えられるのでしょうか。
-なお、データ拡張の条件を変えてみましたが、正解率が1割ぐらい上下する程度の違いでした。
-各MNISTデータ数に対し、データ拡張なし・ありで実行した結果
+各MNISTデータ数に対し、データを拡張して実行した結果
-![結果1](5d8d58280dc959883b04c939cace6127.png)
+![実行結果](469a2a8908d4707e79c354ebec1ef6d7.png)
-上記のloss, accuracy(for test data)の際の自作画像10ファイルの予測結果と予測確率
-![結果2](307df80e590bf33ffda70191c2dd2340.png)
 ```# program
 # import library
-# for learning
-from tensorflow import keras
-from tensorflow.keras import datasets, layers, models
-from tensorflow.keras.layers import Dense, Conv2D, Flatten, Dropout, MaxPooling2D
-from tensorflow.keras.models import Sequential
-from tensorflow.keras.preprocessing.image import ImageDataGenerator
-# for predict
-import glob
+import keras
+import matplotlib.pyplot as plt
+import numpy as np
 import os
-import numpy as np
+import pandas as pd
+import seaborn as sn
+import shutil
+import tensorflow as tf
-from PIL import Image, ImageOps
+from datetime import datetime, timedelta, timezone
-from numpy import as array
+from keras import backend as ke
+from keras.callbacks import Callback, ModelCheckpoint, EarlyStopping
+from keras.datasets import mnist
+from keras.layers import Dense, Dropout, Activation, Flatten, Conv2D, MaxPooling2D, BatchNormalization
+from keras.models import Sequential
+from keras.optimizers import RMSprop
+from keras.preprocessing.image import ImageDataGenerator
+from keras.utils import np_utils
+from sklearn.metrics import confusion_matrix
+from sklearn.model_selection import train_test_split
+from tqdm import tqdm
 # MNIST 読込み
 mnist=keras.datasets.mnist
 (x_train,y_train),(x_test,y_test)=mnist.load_data()
-#(x_train,y_train),(x_test,y_test)=(x_train[:80],y_train[:80]),(x_test[:20], y_test[:20])
+(x_train,y_train),(x_test,y_test)=(x_train[:80],y_train[:80]),(x_test[:20], y_test[:20])
 #(x_train,y_train),(x_test,y_test)=(x_train[:160],y_train[:160]),(x_test[:40], y_test[:40])
 #(x_train,y_train),(x_test,y_test)=(x_train[:800],y_train[:800]),(x_test[:200], y_test[:200])
 #(x_train,y_train),(x_test,y_test)=(x_train[:8000],y_train[:8000]),(x_test[:2000], y_test[:2000])
@@ -56,85 +72,116 @@
 print("x_train",x_train.shape)
 print("x_test",x_test.shape)
-# Convolutional Neural Networks
+# model
 model = Sequential()
-model.add(Conv2D(16,(3,3),padding='same',input_shape=(28,28,1),activation='relu'))
+model.add(Conv2D(64, (3, 3), input_shape=(28,28,1), padding='same'))
+BatchNormalization(axis=-1)
+model.add(Activation('relu'))
+model.add(Conv2D(64, (3, 3), padding='same'))
+BatchNormalization(axis=-1)
+model.add(Activation('relu'))
 model.add(MaxPooling2D(pool_size=(2,2)))
+model.add(Dropout(0.20))
-model.add(Conv2D(128,(3,3),activation='relu'))
+model.add(Conv2D(64, (3, 3), padding='same'))
+BatchNormalization(axis=-1)
+model.add(Activation('relu'))
-model.add(Conv2D(256,(3,3),activation='relu'))
+model.add(Conv2D(64, (3, 3), padding='same'))
+BatchNormalization(axis=-1)
+model.add(Activation('relu'))
 model.add(MaxPooling2D(pool_size=(2,2)))
-model.add(Dropout(0.5))
+model.add(Dropout(0.20))
+model.add(Conv2D(128, (3, 3), padding='same'))
+BatchNormalization(axis=-1)
+model.add(Activation('relu'))
 model.add(Flatten())
-model.add(Dense(128,activation='relu'))
+model.add(Dense(64, activation='relu'))
-model.add(Dropout(0.25))
-model.add(Dense(10,activation='softmax'))
+model.add(Dense(10, activation='softmax'))
 model.summary()
-# model compile and learn
+# model compile
 model.compile(optimizer='adam',
               loss='sparse_categorical_crossentropy',
               metrics=['accuracy'])
-model.fit(x_train,y_train,epochs=5)
+# model fit
+model.fit(x_train,y_train,epochs=40)
 # evoluate for test data
 loss,acc=model.evaluate(x_test,y_test,verbose=2)
-print('accuracy:',acc)
+print('loss:','{:.3f}'.format(loss),'accuracy:','{:.3f}'.format(acc))
-# data augmentation
+# ImageDataGenerator
-datagen=ImageDataGenerator(rescale=1/255,
+datagen = ImageDataGenerator(
+    featurewise_center=False,
+    samplewise_center=False,
+    featurewise_std_normalization=False,
+    samplewise_std_normalization=False,
+    zca_whitening=False,
+    rotation_range=10,
-                           width_shift_range=0.01,
+    width_shift_range=0.1,
-                           height_shift_range=0.025,
+    height_shift_range=0.1,
-                           zoom_range=0.05)
+    zoom_range=[2.0,0.1],
+    horizontal_flip=False,
+    vertical_flip=False)
+datagen.fit(x_train)
-# learn
-history=model.fit_generator(
+datagent = ImageDataGenerator(
-datagen.flow(x_train,y_train,batch_size=64),
+    featurewise_center=False,
-steps_per_epoch=60,
+    samplewise_center=False,
-epochs=40,
+    featurewise_std_normalization=False,
-validation_data=(x_test,y_test),
+    samplewise_std_normalization=False,
+    zca_whitening=False,
-validation_steps=5,
+    rotation_range=10,
+    width_shift_range=0.1,
+    height_shift_range=0.1,
+    zoom_range=[2.0,0.1],
+    horizontal_flip=False,
-verbose=1)
+    vertical_flip=False)
+datagent.fit(x_test)
+# parameter
+# [sample] / [iteration] = [batch size]
+# train : 80 / 5 = 16
+# test  : 20 / 2 = 10
+# train : 160 / 10 = 16
+# test  :  40 /  5 = 8
+# train : 800 / 50 = 16
+# test  : 200 / 10 = 20
+# train : 8000 / 250 = 32
+# test  : 2000 / 125 = 16
+# train : 60,000 / 500 = 120
+# test  : 10,000 / 200 = 50
+epochs = 1000
+iteration_train = 5
+iteration_test = 2
+batch_size_train = int(x_train.shape[0] / iteration_train)
+batch_size_test = int(x_test.shape[0] / iteration_test)
+gen_train_flow = datagen.flow(x_train, y_train, batch_size=batch_size_train)
+gen_test_flow  = datagent.flow(x_test, y_test, batch_size=batch_size_test)
+history = model.fit(gen_train_flow,
+                    steps_per_epoch=iteration_train,
+                    epochs=epochs,
+                    validation_data=gen_test_flow,
+                    validation_steps=iteration_test)#,
+                    #callbacks=callbacks)
 # evoluate for test data
 loss,acc=model.evaluate(x_test,y_test,verbose=2)
-print('accuracy:',acc)
+print('loss:','{:.3f}'.format(loss),'accuracy:','{:.3f}'.format(acc))
+# graph for training
+acc=history.history['accuracy']#acc
+val_acc=history.history['val_accuracy']#val_acc
+epochs=range(1,len(acc)+1)
+plt.plot(epochs,acc,'b',label='Training accuracy')
+plt.plot(epochs,val_acc,'r',label='Val accuracy')
-# classname
+plt.legend()
-truename = ['true0','true1','true2','true3','true4','true5','true6','true7','true8','true9']
+plt.show()
-predname = ['pred0','pred1','pred2','pred3','pred4','pred5','pred6','pred7','pred8','pred9']
-# predict
-DIR = "phototest1"
-files = os.listdir(DIR)
-images = [] # for list
-labels = []
-preds = []
-scores = []
-predicts = []
-for file in files:
-    file_path = os.path.join(DIR, file)
-    img = Image.open(file_path)
-    img = img.convert('L')
-    img = ImageOps.invert(img) # invertion
-    img = img.resize((28,28))
-    x = np.asarray(img, dtype='float32')
-    x2 = x/255
-    images.append(x2)
-    x2 = x2.reshape(-1,28,28,1)
-    predict = model.predict(x2)
-    predicts.append(predict)
-    # for print
-    label = int(file[0])
-    pred = int(np.argmax(predict))
-    score = round(np.max(predict) * 100,2)
-    labels.append(label)
-    preds.append(pred)
-    scores.append(score)
-    if label == pred:
-        answer = '〇'
-    else:
-        answer = '×'
-    print("ans",answer,truename[label],predname[pred],"probability",'{:.1f}%'.format(score))
 ```

結果とプログラムを更新しました。

2021/02/21 18:49

投稿

51sep

スコア22

title CHANGED Viewed

	@@ -1,1 +1,1 @@
1	- データ拡張で正解率が上がらない~~／同程度の正確度で正解する・しないの理由~~が分か~~りません。~~
1	+ データ拡張で予測正解率が上がらない原因が分からない

body CHANGED Viewed

@@ -1,30 +1,46 @@
 初学者です。
-MNISTデータを学習させた畳込みニューラルネットワークモデルを用いて、自作画像の予測正解率を確認したいと思っています。基本的なことでお恥ずかしいですが、分からないことが2点あります。どなたかアドバイスをお願いしてもよろしいでしょうか。
+MNISTデータを学習させた畳込みニューラルネットワークモデルを用いて、自作画像を予測してみました。でも、データ拡張をしても、予測の正解率は変わりませんでした。
+どなたかアドバイスをお願いしてもよろしいでしょうか。
 以下の質問の続きです。
 [画像認識の正解率が低い原因が分からない](https://teratail.com/questions/291520)
-MNISTデータ数を減らしたうえで「データ拡張なし・あり」を施し、予測正解率の変化を確認してみました。
+MNISTデータ数を増やしながら「データ拡張なし・あり」を試しました。
-自作画像は、0-9の10ファイル（10クラス分類）です。
+予測に使った自作画像は、0-9の10ファイル（10クラス分類）です。
-結果は、testデータの損失・正確度の平均値（各5回実行）と、そのモデルにより自作画像を予測させた時の正解率です。正解率=(正解数/10ファイル)×100(%)です。
+結果は、testデータの損失・正確度と、自作画像を予測させた時の正解率です。
-平均値は、傾向を確認するために算出しました。本来は、実行ごとに考察すべきだと思います。
+正解率=(正解数/10ファイル)×100(%)。
 恥ずかしながら、プログラムは適切かどうか分かりません。間違いがあれば、ご指摘頂けると幸いです。
+■予測させる自作画像
+0,1,2,3,4,5,6,7,8,9の自作画像　（28ピクセル×28ピクセルで手書きしたpngファイル）10files
-1.データ拡張をしても、正解率が上がらない。
+![自作画像10枚](20e7f35fed4afec785d84d9cde2739b6.png)
-データ数↑＝損失↓正確度↑＝正解率↑となりました。おおよそ予想される結果が得られましたが、データを拡張しても、それほど正解率は上がりませんでした。データ拡張の条件を変えてみましたが、正解率が1割ぐらい上下する程度の違いでした。どのような理由が考えられるのでしょうか。
-2.同程度の正確度なのに、正解した画像の枚数が異なる。
-実行ごと、損失と正確度は異なるので、各画像（0-9）の予測確率が異なることは想像できます（例えば、正解した画像の予測確率が100%だったり98.8%になること）。でも、同程度の正確度なのに、なぜ正解率が異なるのか（正解した画像の枚数が異なるのか）分かりません。重みやバイアスが多少変わっただけで、特定画像の予測結果が正解・不正解のように「大きな違い」になるのでしょうか。正解することと、損失や正確度を改善することとは別問題ということでしょうか。
+■結果
+データ数↑＝損失↓正確度↑＝正解率↑となりました。
+おおよそ予想される結果が得られましたが、データを拡張しても、それほど正解率は上がりませんでした。
+どのような理由が考えられるのでしょうか。
+なお、データ拡張の条件を変えてみましたが、正解率が1割ぐらい上下する程度の違いでした。
+各MNISTデータ数に対し、データ拡張なし・ありで実行した結果
-![結果](560d486f4dc3fe8fc1578eb5f00148e7.png)
+![結果1](5d8d58280dc959883b04c939cace6127.png)
+上記のloss, accuracy(for test data)の際の自作画像10ファイルの予測結果と予測確率
+![結果2](307df80e590bf33ffda70191c2dd2340.png)
 ```# program
 # import library
+# for learning
 from tensorflow import keras
 from tensorflow.keras import datasets, layers, models
 from tensorflow.keras.layers import Dense, Conv2D, Flatten, Dropout, MaxPooling2D
 from tensorflow.keras.models import Sequential
 from tensorflow.keras.preprocessing.image import ImageDataGenerator
+# for predict
+import glob
+import os
+import numpy as np
+from PIL import Image, ImageOps
+from numpy import as array
 # MNIST 読込み
 mnist=keras.datasets.mnist
@@ -83,4 +99,42 @@
 loss,acc=model.evaluate(x_test,y_test,verbose=2)
 print('accuracy:',acc)
+# classname
+truename = ['true0','true1','true2','true3','true4','true5','true6','true7','true8','true9']
+predname = ['pred0','pred1','pred2','pred3','pred4','pred5','pred6','pred7','pred8','pred9']
+# predict
+DIR = "phototest1"
+files = os.listdir(DIR)
+images = [] # for list
+labels = []
+preds = []
+scores = []
+predicts = []
+for file in files:
+    file_path = os.path.join(DIR, file)
+    img = Image.open(file_path)
+    img = img.convert('L')
+    img = ImageOps.invert(img) # invertion
+    img = img.resize((28,28))
+    x = np.asarray(img, dtype='float32')
+    x2 = x/255
+    images.append(x2)
+    x2 = x2.reshape(-1,28,28,1)
+    predict = model.predict(x2)
+    predicts.append(predict)
+    # for print
+    label = int(file[0])
+    pred = int(np.argmax(predict))
+    score = round(np.max(predict) * 100,2)
+    labels.append(label)
+    preds.append(pred)
+    scores.append(score)
+    if label == pred:
+        answer = '〇'
+    else:
+        answer = '×'
+    print("ans",answer,truename[label],predname[pred],"probability",'{:.1f}%'.format(score))
 ```