Kerasで画像分類

Question

Kerasこちらのサイトを参考にKerasで画像分類を行っていますが、エラーが出ました。入力層の問題だと思うのですが何が間違っているでしょうか。エラーは、レイヤーを定義した後に発生しました。

追記
上記のサイトの通りにコードを書いたら96％の正解率が出ました。畳み込みやプーリングを使っていないように見えるのですが、どのような構成になっているのでしょうか。また畳み込みやプーリングの層を付け加えてこれ以上の正答率が出るでしょうか。最終的には転移学習で、AlexnetやVGGの中間層の特徴抽出を行いたいと思っています。

#fc2
from keras.models import Sequential
from keras.layers import Activation, Dense, Dropout, Convolution2D, MaxPooling2D, Flatten
from keras.utils.np_utils import to_categorical
from keras.optimizers import Adagrad
from keras.optimizers import Adam
import numpy as np
from PIL import Image
import os

image_list = []
label_list = [] # 訓練データとバリデーションデータを生成するジェネレータを作成

for dir in os.listdir("data/train"):
    if dir == ".DS_Store":
        continue

    dir1 = "data/train/" + dir 
    label = 0

    if dir == "A": 
        label = 0
    elif dir == "B":  
        label = 1
    elif dir == "C": 
        label = 2
        
    for file in os.listdir(dir1):
        if file != ".DS_Store":
            # 配列label_listに正解ラベルを追加(りんご:0 オレンジ:1)
            label_list.append(label)
            filepath = dir1 + "/" + file
            # 画像を25x25pixelに変換し、1要素が[R,G,B]3要素を含む配列の25x25の２次元配列として読み込む。
            # [R,G,B]はそれぞれが0-255の配列。
            image = np.array(Image.open(filepath).resize((28, 28)))
            print(filepath)
            # 配列を変換し、[[Redの配列],[Greenの配列],[Blueの配列]] のような形にする。
            image = image.transpose(2, 0, 1)
            # さらにフラットな1次元配列に変換。最初の1/3はRed、次がGreenの、最後がBlueの要素がフラットに並ぶ。
            image = image.reshape(1, image.shape[0] * image.shape[1] * image.shape[2]).astype("float32")[0]
            # 出来上がった配列をimage_listに追加。

            image_list.append(image / 255.)

# kerasに渡すためにnumpy配列に変換。
image_list = np.array(image_list)

# ラベルの配列を1と0からなるラベル配列に変更
# 0 -> [1,0], 1 -> [0,1] という感じ。
Y = to_categorical(label_list)

# モデルを生成してニューラルネットを構築
model = Sequential()
model.add(Convolution2D(32, 3, 3, input_shape=(1, 28, 28 ,3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Convolution2D(32, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Convolution2D(64, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(3))
model.add(Activation('softmax'))

# オプティマイザにAdamを使用
opt = Adam(lr=0.001)
# モデルをコンパイル
model.compile(loss="categorical_crossentropy", optimizer=opt, metrics=["accuracy"])
# 学習を実行。10%はテストに使用。
model.fit(image_list, Y, nb_epoch=1500, batch_size=100, validation_split=0.1)


__**エラー発生**__

# テスト用ディレクトリ(./data/train/)の画像でチェック。正解率を表示する。
total = 0.
ok_count = 0.

for dir in os.listdir("data/train"):
    if dir == ".DS_Store":
        continue

    dir1 = "data/test/" + dir 
    label = 0

    if dir == "A": 
        label = 0
    elif dir == "B":  
        label = 1
    elif dir == "C": 
        label = 2

    for file in os.listdir(dir1):
        if file != ".DS_Store":
            label_list.append(label)
            filepath = dir1 + "/" + file
            image = np.array(Image.open(filepath).resize((28, 28)))
            print(filepath)
            image = image.transpose(2, 0, 1)
            image = image.reshape(1, image.shape[0] * image.shape[1] * image.shape[2]).astype("float32")[0]
            result = model.predict_classes(np.array([image / 255.]))
            print("label:", label, "result:", result[0])

            total += 1.

            if label == result[0]:
                ok_count += 1.

print("seikai: ", ok_count / total * 100, "%")

Answer 1

model.add(Convolution2D(32, 3, 3, input_shape=(1, 28, 28 ,3)))
↓
model.add(Convolution2D(32, 3, 3, input_shape=(28, 28 ,3)))

多分参考にした記事はそんなに精度が良くないです。
それでもRandomForestなどでもデータによっては95%は普通に超えます。
ので、りんごとオレンジですし、色だけしか分解能が必要でないかもしれません。
畳み込みによって空間情報の分散にロバストになります。よって、精度が向上します。

画像は視覚的にファンシーですが、その前にニューラルネットワーク以前の機械学習の方法についてある程度の感覚を身につける必要があるかもしれません。
結局畳み込みニューラルネットワークの強みは従来の手法より大幅に精度を向上させたところにあるので、うまくいっているかどうかは比較を行う必要があります。
手法の選択において、精度自体の値にそれほどの意味はないと思われます。

---

ちなみにですが、FunctionalAPIのほうが書く際にミスが少ないです。
https://keras.io/models/model/

Comments

[TyoNgc]

ありがとうございます。学習の実行の際に以下のようなエラーが出ました。
Error when checking input: expected conv2d_1_input to have 4 dimensions, but got array with shape (1425, 2352)
次元数が違うことを指摘されていると思うのですが、どこでエラーが発生しているのか分かりません。

[mkgrei]

入力を平坦化したあとのものをXに使っているせいです。
Kerasのバージョンにもよりますが、最新のものであれば、以下の2行をコメントアウトしてください。

image = image.transpose(2, 0, 1)
image = image.reshape(1, image.shape[0] * image.shape[1] * image.shape[2]).astype("float32")[0]