入力した画像の予測方法が分からない

Question

tensorflowのチュートリアルを見ながら、自分と妹の顔のモデルを作成しました。(classifire.py)
モデルをperson.h5と名前で保存し、このモデルを利用して入力された画像が自分なのか妹なのか数値に起こしたいをおもいプログラムを作成しました。(test.py)
Tensorflowのfashionモデルの作成チュートリアルこのサイトを参考にしmodel.predict()を利用すると予測した出力されるということはわかりましたが、いざ使ってみるとエラーがでて詰まってしまいました。

エラー文で検索したりpredictで検索したりと結構調べたのですが、結局わからなかったため質問させていただきました。

知識が乏しいためご教授いただければ幸いです。
よろしくお願いいたします。

試したこと

入力画像をnumpy配列にし255で割って正規化を行った
それで以下のようなエラー出た

fashionのチュートリアルでmodel_predict(test_images)という文のtest_imagesのtypeと内容を確認した
numpy配列で、01の値が含まれていた
test.pyで与えた画像もnumpy配列で、01の値になっている

from tensorflow import keras
from PIL import Image
import numpy as np

model = tf.keras.models.load_model('person.h5')
model.summary()
image = Image.open('C:/GraduationResearch/annotation/3000/train/me/img_0_9309.jpg')
img_resize = image.resize((150,150))

im = np.array(img_resize)

im = im/255

predictions = model.predict([im])
print(predictions)

ValueError: Input 0 of layer sequential is incompatible with the layer: : expected min_ndim=4, found ndim=3. Full shape 
received: (None, 150, 3)

ソースコード

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Conv2D, Flatten, Dropout, MaxPooling2D
from tensorflow.keras.preprocessing.image import ImageDataGenerator

import os
import numpy as np
import matplotlib.pyplot as plt

PATH = 'C:/GraduationResearch/annotation/data'

train_dir = os.path.join(PATH, 'train')
validation_dir = os.path.join(PATH, 'validation')

train_me_dir = os.path.join(train_dir, 'me')  
train_sister2_dir = os.path.join(train_dir, 'sister2')
# train_father_dir = os.path.join(train_dir, 'father')

validation_me_dir = os.path.join(validation_dir, 'me')  
validation_sister2_dir = os.path.join(validation_dir, 'sister2')
# validation_father_dir = os.path.join(validation_dir, 'father')

num_me_tr = len(os.listdir(train_me_dir))
num_sister2_tr = len(os.listdir(train_sister2_dir))
# num_father_tr = len(os.listdir(train_father_dir))

num_me_val = len(os.listdir(validation_me_dir))
num_sister2_val = len(os.listdir(validation_sister2_dir))
# num_father_val = len(os.listdir(validation_father_dir))

# total_train = num_me_tr + num_sister2_tr + num_father_tr
# total_val = num_me_val  + num_sister2_val + num_father_val

total_train = num_me_tr + num_sister2_tr
total_val = num_me_val  + num_sister2_val 

print(total_train)
print(total_val)
print("-------------------------------")

batch_size = 128
epochs = 10
IMG_HEIGHT = 150
IMG_WIDTH = 150

train_image_generator = ImageDataGenerator(rescale=1./255) 
validation_image_generator = ImageDataGenerator(rescale=1./255)


print(train_image_generator)
print(validation_image_generator)
print("-------------------------------")


train_data_gen = train_image_generator.flow_from_directory(batch_size=batch_size,
                                                           directory=train_dir,
                                                           shuffle=True,
                                                           target_size=(IMG_HEIGHT, IMG_WIDTH),
                                                           class_mode='binary')

val_data_gen = validation_image_generator.flow_from_directory(batch_size=batch_size,
                                                              directory=validation_dir,
                                                              target_size=(IMG_HEIGHT, IMG_WIDTH),
                                                              class_mode='binary')

sample_training_images, _ = next(train_data_gen)

def plotImages(images_arr):
    fig, axes = plt.subplots(1, 5, figsize=(20,20))
    axes = axes.flatten()
    for img, ax in zip( images_arr, axes):
        ax.imshow(img)
        ax.axis('off')
    plt.tight_layout()
    plt.show()

model = Sequential([
    Conv2D(16, 3, padding='same', activation='relu', input_shape=(IMG_HEIGHT, IMG_WIDTH ,3)),
    MaxPooling2D(),
    Conv2D(32, 3, padding='same', activation='relu'),
    MaxPooling2D(),
    Conv2D(64, 3, padding='same', activation='relu'),
    MaxPooling2D(),
    Flatten(),
    Dense(512, activation='relu'),
    Dense(1, activation='sigmoid')
])

model.compile(optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy'])

history = model.fit_generator(
    train_data_gen,
    steps_per_epoch=total_train // batch_size,
    epochs=epochs,
    validation_data=val_data_gen,
    validation_steps=total_val // batch_size
)

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']

loss = history.history['loss']
val_loss = history.history['val_loss']

epochs_range = range(epochs)

plt.figure(figsize=(8, 8))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

images, labels = next(train_data_gen)
print(labels)

model.save('person.h5')

import tensorflow as tf
from tensorflow import keras
from PIL import Image
import numpy as np

model = tf.keras.models.load_model('person.h5')
model.summary()

im = np.array(Image.open('C:/GraduationResearch/annotation/3000/train/me/img_0_9309.jpg'))
im = im/255
predictions = model.predict(im)
print(predictions)

エラー

ValueError: Input 0 of layer sequential is incompatible with the layer: : expected min_ndim=4, found ndim=3. Full shape 
received: (None, 200, 3)

Answer 1

作成したモデルは、複数の画像を同時に推論できるようになっています。画像の枚数は不定なのでNoneで表すのが通常です。要するに、モデルとしては(None, 200, 200, 3)の4次元の入力を期待しています。

一方、質問者様のpredictでは1枚の画像しか入力していません。(200, 200, 3)ですね。この先頭の次元の大きさ200が画像の枚数であると解釈されると(None, 200, 3)となります。よって、モデルとしては4次元を入力として期待しているのに3次元が入力されたのでエラーですよ、ちなみに入力は(None, 200, 3)でしたよ、という意味のエラーメッセージになったわけです。

そのため、1枚だけの画像の配列として、以下のように書き換える必要があります。

predictions = model.predict(im.reshape(-1, 150, 150, 3))

ただし、これだけだと新たなエラーが出るでしょう。
質問者様のモデルでは画像を150×150に圧縮していますので、入力としては(None, 150, 150, 3)を期待しています。よって、画像サイズの違いにより、新たなエラーが出ると思います。そのため、画像を圧縮する必要があります。PILの機能で圧縮してもよいですし、flow_from_directoryを使って推論用のデータのジェネレータを作る方法もあります。

参考: Python, Pillowで画像を一括リサイズ（拡大・縮小）

Comments

[nyanryou]

また、回答していただきありがとうございます…。
なんどもなんどもすみません。
いくつが質問がございます。
①4 次元の入力とありますが、(画像の枚数,横のサイズ,縦のサイズ,kernel_size??)という意味なのでしょうか？画像が一枚だったため三次元になってしまったていう理解で大丈夫ですか？

②なぜmodel.predict()の引数が[im]だけなのでしょうか？

③モデルでは画像を150×150に圧縮してあるとありますが、それはclassifier.pyのIMG_HEIGHT,IMG_WIDTHで150と指定したから150×150に圧縮された問理解で大丈夫ですか？

また、一枚の画像を150にリサイズしてからtest.pyを実行したのですが、ValueError: Input 0 of layer sequential is incompatible with the layer: : expected min_ndim=4, found ndim=3. Full shape
received: (None, 150, 3)このようにエラーがでます…

いろいろ調べてみて、複数枚でも試してみたのですが結局うまくいかないままでした。
お手数ですがよろしくお願いいたします。

[toast-uz]

①(画像の枚数,横のサイズ,縦のサイズ,カラー) です。
②画像の枚数=1枚を明示的に示すためです。
③モデル定義のinput_shape=(IMG_HEIGHT, IMG_WIDTH ,3)で150*150*3になっています。
predictions = model.predict(im)をpredictions = model.predict([im])に変えても、エラーは変わらなかったでしょうか？それをお知らせください。

[nyanryou]

返信ありがとうございます。
predictions = model.predict(im)もpredictions = model.predict([im])両方試してみましたが、どちらもvalueErrorと同じエラーがでます。

[toast-uz]

すみません。numpyとしてちゃんとreshapeする必要があったようです。回答を修正しましたので、確認ください。

[nyanryou]

動きました！！
本当にありがとうございます。
1人では絶対あきらめてました…

自分の写真だと0に近づき、妹の写真だと1に近づくような数値が出ました！
次は多クラス分類に挑戦してみます！！