機械学習における学習済みネットワーク呼び出しを行い、予測させるプログラム

Question

前提・実現したいこと

Python3.6.7でKerasを用いて機械学習を行っています
画像を学習させて判定させるシステムです

発生している問題・エラーメッセージ

実行した際に以下のようなエラーが出ます
ValueError: Error when checking input: expected conv2d_1_input to have shape (50, 50, 3) but got array with shape (224, 224, 3)

該当のソースコード

import numpy as np
import matplotlib.pyplot as plt
import os
from keras.applications.vgg16 import VGG16
from keras.applications.vgg16 import preprocess_input, decode_predictions
import keras.preprocessing.image as Image
from keras.models import Model, model_from_json

model = model_from_json(open('model.json').read())

model.load_weights('weights.h5')

img_path='unExample/a6.jpg'
img = Image.load_img(img_path, target_size=(224,224))
x = Image.img_to_array(img)
x = np.expand_dims(x, axis=0)
features = model.predict(preprocess_input(x))
results = decode_predictions(features, top=3)[0]
for result in results:
    print(result)

#coding:utf-8
 
import keras
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers.convolutional import Conv2D, MaxPooling2D
from keras.layers.core import Dense, Dropout, Activation, Flatten
import numpy as np
from sklearn.model_selection import train_test_split
from PIL import Image
import glob
folder = ["Not_Skill","with_Skill"]
image_size = 50
 
X = []
Y = []
for index, name in enumerate(folder):
    dir = "./" + name
    files = glob.glob(dir + "/*.jpg")
    for i, file in enumerate(files):
        image = Image.open(file)
        image = image.convert("RGB")
        image = image.resize((image_size, image_size))
        data = np.asarray(image)
        X.append(data)
        Y.append(index)
 
X = np.array(X)
Y = np.array(Y)
X = X.astype('float32')
X = X / 255.0
Y = np_utils.to_categorical(Y, 4)
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.20)
model = Sequential()
 
model.add(Conv2D(32, (3, 3), padding='same',input_shape=X_train.shape[1:]))
model.add(Activation('relu'))
model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
 
model.add(Conv2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
 
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(4))
model.add(Activation('softmax'))
 
# コンパイル
model.compile(loss='categorical_crossentropy',optimizer='SGD',metrics=['accuracy'])

from keras.callbacks import TensorBoard
tbcb = TensorBoard(log_dir='./graph',histogram_freq=0,write_graph=True)

history = model.fit(X_train, y_train,batch_size=32,epochs=1000, verbose=1,validation_data=(X_test,y_test),callbacks=[tbcb])

from keras.utils import plot_model
model_json = model.to_json()
with open('model.json', mode='w') as f:
  f.write(model_json)

model.save_weights('weights.h5')

import pickle
with open("history.pickle", mode='wb') as f:
   pickle.dump(history.history, f)
print(model.evaluate(X_test, y_test))

試したこと

target_sizeを(50,50)にした

補足情報（FW/ツールのバージョンなど）

OS: ubuntu14.04.5LTS
コンソール上での実行

Answer 1

ImageNet の学習済みモデルを利用して画像分類を行う。 通りで動きました。
画像を用意して試してみてください。

import numpy as np
from keras.applications.vgg16 import VGG16, preprocess_input, decode_predictions
from keras.preprocessing import image

# VGG16 を構築する。
model = VGG16()

# 画像を読み込み、モデルの入力サイズでリサイズする。
img_path = 'sample.jpg'
img = image.load_img(img_path, target_size=model.input_shape[1:3])

# PIL.Image オブジェクトを np.float32 型の numpy 配列に変換する。
x = image.img_to_array(img)
print('x.shape: {}, x.dtype: {}'.format(x.shape, x.dtype))
# x.shape: (224, 224, 3), x.dtype: float32

# 配列の形状を (Height, Width, Channels) から (1, Height, Width, Channels) に変更する。
x = np.expand_dims(x, axis=0)
print('x.shape: {}'.format(x.shape))  # x.shape: (1, 224, 224, 3)

# VGG16 用の前処理を行う。
x = preprocess_input(x)

# 推論する。
preds = model.predict(x)

# 推論結果をデコードする。
result = decode_predictions(preds, top=3)[0]
for _, name, score in result:
    print('{}: {:.2%}'.format(name, score))

追記

import keras.preprocessing.image as Image
import numpy as np
from keras.models import model_from_json

model = model_from_json(open('model.json').read())
model.load_weights('weights.h5')

img_path = 'unExample/a6.jpg'
img = Image.load_img(img_path, target_size=(50, 50))
x = Image.img_to_array(img)
x = np.expand_dims(x, axis=0)

# 一番スコアが高いクラスだけほしい場合
pred = model.predict_classes(x)[0]
print(pred)  # 予測したクラス

# 各スコアを表示したい場合
pred = model.predict(x)[0]
for class_id, socre in enumerate(pred):
    print('class: {}, score: {:.2%}'.format(class_id, socre))

Comments

[ixajin]

50,50にした場合以下のようなエラーが出てきます
ValueError: `decode_predictions` expects a batch of predictions (i.e. a 2D array of shape (samples, 1000)). Found array with shape: (1, 4)

[tiitoi]

提示されたコードを見たところ、とくに問題なさそうなんですがね
VGG16 の使い方はこちらを参考にしてください
http://pynote.hatenablog.com/entry/keras-vgg16-mode

[ixajin]

このページも参考にして作っています
モデルが問題なのでしょうか?

[tiitoi]

上記の記事通りで動きました。
動かしたコードを回答欄に記載したので、試してみてください。
画像ファイル名だけ適宜変えてください。

[tiitoi]

よく見たら、以下はなんなのでしょうか？
model = model_from_json(open('model.json').read())
model.load_weights('weights.h5')

VGG16, preprocess_input, decode_predictions は、Keras で予め用意された VGG16用のものなので、自作のモデルであれば、これらを使うことはないはずです。

[ixajin]

自作モデルを用いて行う場合のコードが分からず検索をかけたところ上の記事などがひっかかりました
VGG16で行うと正確な評価が得られないためでしたが、そもそもが間違っていましたか

[tiitoi]

上記の記事は VGG16 というモデルで、ImageNet という1000クラス分類タスクを学習した重みを使用して、与えた画像を分類するやり方について書かれています。
自作のモデルとはどのようなものなのでしょうか？
preprocess_input: モデルに流す前の前処理
decode_predictions: モデルの出力の解釈
を行う関数なので、自作のモデルであれば、これらに相当する処理も自分で実装する必要があります。

[ixajin]

自作のモデルはコード内にもあるようにmodel.jsonとweights.h5(重み)にあたり、これは視線軌跡の画像をCNNで学習させたものに当たります
なのでImageNetにないであろう画像なのでどうすればよいのかわからずにコードを書いたという感じになります

[tiitoi]

そのモデルのコードが質問にないので、回答できないです。

[ixajin]

モデルについてのコードを記載しました、よろしくおねがいします

[tiitoi]

出力層が4のsoftmax なので4クラス分類問題でしょうか？
keras の Sequentical モデルでは、model.predict_classes(x) で推定したクラスが得られます。

[ixajin]

つまり上のコードにおいて画像取得を行う部分はそのままでVGG16を用いる部分だけmodel.predict_classes(x)にすれば良いということでしょうか

[tiitoi]

質問のコードを直すなら回答欄に追記したようになると思います。実行はしてないので動くかはわかりません。

[ixajin]

追記して頂いたものは1番高いスコアの表示は動作(?)しました
0,とだけ帰ってきたのですがこれは正解なのでしょうか..?

[tiitoi]

一番高いスコアではなく、一番スコアが高い"クラス"です。
4クラスなので、0 ~ 3 の値が返ってくると思います。
predict_classes() で0と返ってきたということは、一番確率が高かったクラスが0だったということです。

[ixajin]

間違えました、すみません
結果については理解しました、ありがとうございます
ただ各クラスの結果のほうがほしいのですが、そちらだと以下のエラーがでました
File "learn.py", line 17, in <module>
for class_id, score in enumerate(pred):
TypeError: 'numpy.int64' object is not iterable
調べたところ意味はわかったのですが、どこを直せばいいのかはわかりません、よろしくおねがいします

[tiitoi]

スコアのほうは predict_class() ではなく、predict() ですが、そうしましたか？
pred = model.predict(x)[0]
for class_id, socre in enumerate(pred):
print('class: {}, score: {:.2%}'.format(class_id, socre))

エラーになる場合は print(model.predict(x)) の結果を教えてください。

[ixajin]

すみません、predict_classesにしていました
長々とありがとうございました