手書き文字識別の精度高上について

Question

カタカナ15文字の画像データ3000文字を用いて機械学習を行っています。
精度は95%以上を目指しているのですが、92%以上上がりません。

テスト、訓練データの分割割合
降下法のパラメータ、降下法の種類
中間層の数、ノード数
を変えて最適化してみました。

精度を上げるために次のステップとして何をすべきかわからず、とまっている状況です。
何かアドバイスをいただけないでしょうか。

そのなかで、最も精度のよかったコードが以下です。

from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten, Conv2D, MaxPooling2D
from keras.utils import np_utils
from sklearn.datasets import fetch_mldata
import keras
from keras.optimizers import RMSprop , Nadam
import pandas as pd
import numpy as np
import matplotlib
import matplotlib.pyplot as plt

data = data.astype('float32')
test = data[0:600,:,:,:].copy()
train = data[600:3000,:,:,:].copy()# すべてのデータをtest(20%) , train(80%)に分ける
t_test = label[0:600,:]# すべてのラベルデータをtest(20%) , train(80%)に分ける
t_train = label[600:3000,:]
x_train = train.reshape(2400,784)
x_test = test.reshape(600,784)

x_train = x_train.reshape(x_train.shape[0], 28, 28,1)
x_test = x_test.reshape(x_test.shape[0], 28, 28,1)

x_train /= 255
x_test /= 255

model = Sequential()

model.add(Conv2D(32, kernel_size=(3, 3),
                 activation='relu',
                 input_shape=(28,28,1)))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.2))
model.add(Flatten())
model.add(Dense(128, activation='relu'))

model.add(Dense(15, activation='softmax'))


# Learnig Processの設定
model.compile(loss='categorical_crossentropy',
              optimizer=Nadam(lr=0.001,beta_2=0.9),
              metrics=['accuracy'])

model.fit(x_train, t_train, epochs=100,validation_data=(x_test, t_test))

loss_and_metrics = model.evaluate(x_test, t_test, batch_size=128)
print(loss_and_metrics)

Comments

[y_waiwai]

で、しつもんはなんでしょうか

[akihir]

すみません、、、。精度を上げるために、次にどのようなことをすべきかをご教示お願いできないでしょうか。パラメータの最適化など、どのサイトにも記載しているような単純なことは一通り行ってみました。
よろしくお願いします。

[Q71]

畳み込み層が1層しかないように思いますが、あってますか？そうであれば、特徴抽出が十分できていないと考えられます。
また、分類も1層の様ですが、ここも増やしてみましたか？
やったような事は書いてありますが、やった事は具体的に書きましょう。

[tiitoi]

LeNet や AlexNet あたりを参考にモデルを作ってみるといいかもしれませんね。
あとサンプル数 3000 で15クラスだと1クラスあたり200サンプルなので、Deep Learning にしては少ないと感じます。
MNIST は CNN 使うと 99% いきますが、1クラスあたり5000枚程の全体で6万枚のデータ数があって実現できてる精度です。

[akihir]

畳み込み層数などもう一度最適化してみましたが、やはり精度は上がりませんでした。
他の方がおっしゃられている通り、水増しを行ってみたいと思います

Answer 1

データ件数を増やしてみましょう（既存の画像にノイズを加えるなど）

https://products.sint.co.jp/aisia/blog/vol1-7

がっつりやるならカプセルNNとかは面白そうかも