画像の形状が変わらない

Question

自前で用意したデータで学習しようとしています。

from keras.layers import Conv2D, BatchNormalization, Activation, AveragePooling2D, GlobalAveragePooling2D, Dense, Dropout, Input, Multiply, Reshape
from keras.models import Model
from keras.optimizers import Adam
import numpy as np
from PIL import Image
import os
from keras.utils.np_utils import to_categorical

# 学習用のデータを作る.
image_list = []
label_list = []
# ./data/train 以下のorange,appleディレクトリ以下の画像を読み込む。
for dir in os.listdir("data/training"):
    if dir == ".DS_Store":
        continue

    dir1 = "data/training/" + dir 
    label = 0

    if dir == "no":    # appleはラベル0
        label = 0
    elif dir == "ok": # orangeはラベル1
        label = 1

    for file in os.listdir(dir1):
        if file != ".DS_Store":
            # 配列label_listに正解ラベルを追加(りんご:0 オレンジ:1)
            label_list.append(label)
            filepath = dir1 + "/" + file
            # 画像を25x25pixelに変換し、1要素が[R,G,B]3要素を含む配列の25x25の２次元配列として読み込む。
            # [R,G,B]はそれぞれが0-255の配列。
            image = np.array(Image.open(filepath).resize((25, 25)))
            print(filepath)
            # 配列を変換し、[[Redの配列],[Greenの配列],[Blueの配列]] のような形にする。
            image = image.transpose(2, 0, 1)
             # さらにフラットな1次元配列に変換。最初の1/3はRed、次がGreenの、最後がBlueの要素がフラットに並ぶ。
            image = image.reshape(1, image.shape[0] * image.shape[1] * image.shape[2]).astype("float32")[0]
            # 出来上がった配列をimage_listに追加。
            image_list.append(image / 255.)　#この行と1つ上の行を削除しても結果は変わりませんでした
# kerasに渡すためにnumpy配列に変換。
image_list = np.array(image_list)
# ラベルの配列を1と0からなるラベル配列に変更
# 0 -> [1,0], 1 -> [0,1] という感じ。
Y = to_categorical(label_list)

def create_new_conv(input, chs):
    x = Conv2D(chs, 3, padding="same")(input)
    x = BatchNormalization()(x)
    return Activation("relu")(x)

# Squeeze and Excitation
def se_block(input, channels, r=8):
    # Squeeze
    x = GlobalAveragePooling2D()(input)
    # Excitation
    x = Dense(channels//r, activation="relu")(x)
    x = Dense(channels, activation="sigmoid")(x)
    return Multiply()([input, x])

def create_new_network(use_se_block):
    input = Input(shape=(25, 25))
    x = input
    x = Reshape((25, 25, 1), input_shape=(25, 25))(input) #ここから上3行の数値部分を変更していました。
    for i in range(3):
        x = create_new_conv(x, 50)
        if use_se_block: x = se_block(x, 50)
    x = AveragePooling2D(2)(x)
    for i in range(3):
        x = create_new_conv(x, 100)
        if use_se_block: x = se_block(x, 100)
    x = AveragePooling2D(2)(x)
    for i in range(3):
        x = create_new_conv(x, 200)
        if use_se_block: x = se_block(x, 200)
    x = GlobalAveragePooling2D()(x)
    x = Dense(2, activation="sigmoid")(x)

    return Model(input, x)
model = create_new_network(se_block)
# オプティマイザにAdamを使用
opt = Adam(lr=0.001)
# モデルをコンパイル
model.compile(loss="binary_crossentropy", optimizer=opt, metrics=["accuracy"])
    # 学習を実行。10%はテストに使用。
model.fit(image_list, Y, nb_epoch=1500, batch_size=100, validation_split=0.1)

# テスト用ディレクトリ(./data/train/)の画像でチェック。正解率を表示する。
total = 0.
ok_count = 0.

for dir in os.listdir("data/training"):
    if dir == ".DS_Store":
        continue

    dir1 = "data/validation/" + dir 
    label = 0

    if dir == "no":
        label = 0
    elif dir == "ok":
        label = 1

    for file in os.listdir(dir1):
        if file != ".DS_Store":
            label_list.append(label)
            filepath = dir1 + "/" + file
            image = np.array(Image.open(filepath).resize((25, 25)))
            print(filepath)
            image = image.transpose(2, 0, 1)
            image = image.reshape(1, image.shape[0] * image.shape[1] * image.shape[2]).astype("float32")[0]
            result = model.predict_classes(np.array([image / 255.]))
            print("label:", label, "result:", result[0])

            total += 1.

            if label == result[0]:
                ok_count += 1.

print("seikai: ", ok_count / total * 100, "%")
# モデルの可視化
from IPython.display import SVG
from keras.utils.vis_utils import model_to_dot

SVG(model_to_dot(model).create(prog='dot', format='svg'))

#エラー
ValueError: Input 0 is incompatible with layer conv2d_48: expected ndim=4, found ndim=3
ValueError: Error when checking input: expected input_24 to have 3 dimensions, but got array with shape (40, 1875)
色々なサイトを参照しても解決できず、一度画像の形状をprint(Y)で調べると以下のような結果になりました。

data/training/apple/ta10.jpg
data/training/apple/ta11.jpg
data/training/apple/ta12.jpg
data/training/apple/ta13.jpg
data/training/apple/ta14.jpg
data/training/apple/ta15.jpg
data/training/apple/ta16.jpg
data/training/apple/ta17.jpg
data/training/apple/ta18.jpg
data/training/apple/ta19.jpg
data/training/apple/ta2.jpg
data/training/apple/ta20.jpg
data/training/apple/ta3.jpg
data/training/apple/ta4.jpg
data/training/apple/ta5.jpg
data/training/apple/ta6.jpg
data/training/apple/ta7.jpg
data/training/apple/ta8.jpg
data/training/apple/ta9.jpg
data/training/orange/to1.jpg
data/training/orange/to10.jpg
data/training/orange/to11.jpg
data/training/orange/to12.jpg
data/training/orange/to13.jpg
data/training/orange/to14.jpg
data/training/orange/to15.jpg
data/training/orange/to16.jpg
data/training/orange/to17.jpg
data/training/orange/to18.jpg
data/training/orange/to19.jpg
data/training/orange/to2.jpg
data/training/orange/to20.jpg
data/training/orange/to3.jpg
data/training/orange/to4.jpg
data/training/orange/to5.jpg
data/training/orange/to6.jpg
data/training/orange/to7.jpg
data/training/orange/to8.jpg
data/training/orange/to9.jpg
[[1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]
 [1.]]

本来なら、ここは[1.0][0.1]のような形状(配列？)になっているはずなのですが、どう書き換えても上のような表示になってしまいます。どうすればいいのでしょうか

Answer 1

ラベルについてですが、

    label = 0

    if dir == "no":    # appleはラベル0
        label = 0
    elif dir == "ok": # orangeはラベル1
        label = 1

おそらく、この部分でdirは'no'でも'ok'でもないのでlabelには常に0が格納されています。

ValueErrorについてはそれとは別の原因のような気がしますが、発生しているのがどこの行かわからないのでなんとも言えません。