少ないサンプル数での認識率の上げ方(Tensorflow)

Question

前提

google colaboratoryで画像認識を行っています。
Python、Tensorflowどちらも初心者なので次のステップが分からなくて困っています。
詳しい方ご教授していただけると幸いです。

実現したいこと

4人それぞれがxと書いた画像（50ピクセル×50ピクセル)を誰が書いた画像か正しく分類する
それぞれ20枚ずつ書いてもらったのでサンプル数は計80枚です

発生している問題

認識率が上がらなくて困っています。
サンプル数が少ないので転移学習などの措置をとるのか、もしくはサンプル数を増やすのか
どういった処置が有効なのかお聞きしたいです。

試したこと

下の解説を見ながら画像認識を行いました
https://fresopiya.com/2019/05/26/tensornn/
結果として、認識率が２～3割程度でした

該当のソースコード

#ライブラリ準備
import matplotlib.pyplot as plt
import os
import cv2
import random,math
import numpy as np
import tensorflow as tf

#ディレクトリ、タグ、イメージサイズの設定
DATADIR = "./drive/MyDrive/x"
CATEGORIES = ["0","1","2","3"]
IMG_SIZE = 50
data = []
def create_data():
    for class_num, category in enumerate(CATEGORIES):
        path = os.path.join(DATADIR, category)
        for image_name in os.listdir(path):
            try:
                img_array = cv2.imread(os.path.join(path, image_name), cv2.IMREAD_GRAYSCALE)  # 画像読み込み
                img_resize_array = cv2.resize(img_array, (IMG_SIZE, IMG_SIZE))  # 画像のリサイズ
                data.append([img_resize_array, class_num])  # 画像データ、ラベル情報を追加
            except Exception as e:
                pass

create_data()
random.shuffle(data)  # データをシャッフル
x_data = []  # 画像データ
y_data = []  # ラベル情報
# データセット作成
for feature, label in data:
    x_data.append(feature)
    y_data.append(label)
# numpy配列に変換
x_data = np.array(x_data)
y_data = np.array(y_data)


#学習データと検証データに分ける
train_size = math.floor(len(data) * 0.5)
test_size = len(data)-train_size
x_train = x_data[0:train_size]
y_train = y_data[0:train_size]
x_test = x_data[train_size:]
y_test = y_data[train_size:]

#画像データを[50×50]の2次元データから[1×2500]の一次元データへ変換
x_train2 = []
x_test2 = []

for i in range(train_size):
  x_train2.append(x_train[i].reshape(-1,))

for i in range(test_size):
  x_test2.append(x_test[i].reshape(-1,))
#「0〜255」の値を「0〜1」へ変換
x_train = np.array(x_train2)/255
x_test = np.array(x_test2)/255

#onehot表現に変換
n_labels = len(np.unique(y_train))
y_train = np.eye(n_labels)[y_train]

n_labels = len(np.unique(y_test))
y_test = np.eye(n_labels)[y_test]

#②
tf.compat.v1.disable_eager_execution()
#画像データを入れる用のプレースホルダー
x = tf.compat.v1.placeholder(tf.float32, [None, 2500])
#正解データを入れる用のプレースホルダー
y = tf.compat.v1.placeholder(tf.float32, [None, 4])

#各パラメータの初期化
w1 = tf.Variable(tf.random.truncated_normal (shape = [2500,150],stddev = 0.01))
b1 = tf.Variable(tf.random.truncated_normal (shape = [150],stddev = 0.01))
w2 = tf.Variable(tf.random.truncated_normal (shape = [150,4],stddev = 0.01))
b2 = tf.Variable(tf.random.truncated_normal (shape = [4],stddev = 0.01))

#Affine1層
a1 = tf.matmul(x,w1)+b1
#ReLU層
z1 = tf.nn.relu(a1)
#Affine2層
a2 = tf.matmul(z1,w2)+b2
#Softmax層
out = tf.nn.softmax(a2)

#誤差関数：クロスエントロピー関数
cross_entropy = -tf.reduce_sum(y*tf.math.log(out))
#パラメータ最適化関数：Adam
optimizer = tf.compat.v1.train.AdamOptimizer(learning_rate = 0.01)
#学習
train = optimizer.minimize(cross_entropy, var_list=[w1,b1,w2,b2])

#認識精度
correct_prediction = tf.equal(tf.argmax(out,1), tf.argmax(y,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
#各値を格納するための配列
accuracyListL = []#学習用データにおける認識精度
accuracyListT = []#テスト用データにおける認識精度
lossListL = []#学習用データにおける損失値
lossListT = []#テストデータにおける損失値
params = {}#学習後のパラメータの値を保存する辞書型配列

with tf.compat.v1.Session() as sess:
  sess.run(tf.compat.v1.initialize_all_variables())#変数の初期化
    
  #バッチサイズの指定
  batch_size = 10
    
  for i in range(600):
    #トレーニングデータからランダムにバッチサイズ分のデータを取得。
    batch_mask = np.random.choice(train_size,batch_size)
    x_batch = x_train[batch_mask]
    y_batch = y_train[batch_mask]
    
    #学習
    sess.run(train,feed_dict = {x:x_batch,y:y_batch})
    
    #10バッチ毎に、認識精度と損失の平均値を配列に格納。
    if i % 10 == 0:
      #学習させたデータの認識精度
      resultL = sess.run(accuracy,feed_dict = {x:x_batch,y:y_batch})
      #テストデータを用いて認識精度の計算
      resultT = sess.run(accuracy,feed_dict = {x:x_test,y:y_test})
        
      #学習データの損失の平均値
      resultL2 = sess.run(cross_entropy,feed_dict = {x:x_batch,y:y_batch})/batch_size
      #テストデータの損失の平均値
      resultT2 = sess.run(cross_entropy,feed_dict = {x:x_test,y:y_test})/test_size
      #認識精度の推移
      accuracyListL.append(resultL)
      accuracyListT.append(resultT)
        
      #損失値の推移
      lossListL.append(resultL2)
      lossListT.append(resultT2)
            
      print('バッチ数:',i,'認識精度(学習)',resultL,'認識精度(テスト)',resultT,'損失値(学習)',resultL2,'損失値(テスト)',resultT2)
      
      
    #学習終了後の各パラメータの取得
    params['w1'] = sess.run(w1)
    params['b1'] = sess.run(b1)
    params['w2'] = sess.run(w2)
    params['b2'] = sess.run(b2)

#認識精度のグラフ
plt.plot(accuracyListL)
plt.plot(accuracyListT)
xticks, strs= plt.xticks()
plt.xticks(xticks,["%d" % x for x in 10*xticks])
plt.ylabel('accuracy')
plt.xlabel('Number of butch')
plt.legend(['train','Test'], loc='lower right')
plt.show()

Comments

[meg_]

> 4人それぞれがxと書いた画像（50ピクセル×50ピクセル)を誰が書いた画像か正しく分類する
それらは質問者さんが目視で見て判別できる画像なのでしょうか？

[Lia]

目視で完全に判別するのは難しいですが、文字の大きさ はらいの強さ等の点で違う特徴は若干分かりました

[meg_]

目視で判別の難しい画像で訓練データ数が少ない場合は機械学習でも判別が難しいケースもあるかと思います。

[Lia]

なるほど、CNNで筆跡認識を行っていた方がいたので簡単なのだと思っていました。
元々のサンプル数を増やしてみたいと思います！ご教授ありがとうございます

Answer 1

色々試すことができると思います。

まず、教師データ80枚のうち、train_size = math.floor(len(data) * 0.5)とあるので、学習データとテストデータを40枚ずつに分けていますが、一般的な割合は7:3や8:2なので、もう少し学習データの割合を増やしたほうが良いと思います。

また、学習曲線を見るとまだまだ学習が収束していないので、現在600エポックを1000やそれ以上に増やして様子をみるのも良いと思います。

その次のステップとして、

• ReLU以外の活性化関数に変える
• Adamの学習率を変える
• Adam以外のオプティマイザーに変える

などもできます。
更には、

• 層を増やす
• データ拡張（Data Augmentation）を使う
• 畳み込み層を使う

などなど、試すことは数多くあります。
このあたりは、ディープラーニングの基礎として参考書に必ず載っていますので参考にしてください。

Comments

[Lia]

色々な選択肢を提示していただき感謝です；；
一つ一つ調べながらやってみます！基礎についても学んでみます。
ありがとうございます！