画像認識で使うpredict関数の範囲外(?)

Question

https://qiita.com/tomo_20180402/items/e8c55bdca648f4877188

こちらのサイトで行っているpredict関数のfeatures[,]を使ってみたところ
範囲外？の判定になる場合があるのですが、
(私のプログラムの"判定できませんでした。"の部分に当たる)
この場合、何が起きてるんでしょうか？

※画像を入れても何も変化がなかったので判定できませんでした。というテキストを仮で入れています。

参考サイトのプログラム

#綾鷹を選ばせるプログラム

from keras import models
from keras.models import model_from_json
from keras.preprocessing import image
import numpy as np

#保存したモデルの読み込み
model = model_from_json(open('保存先のフォルダ/tea_predict.json').read())
#保存した重みの読み込み
model.load_weights('保存先のフォルダ/tea_predict.hdf5')

categories = ["綾鷹","お〜いお茶　抹茶入り","なごみ","お〜いお茶　新茶","綾鷹　茶葉のあまみ",
              "お〜いお茶","伊右衛門","お〜いお茶　濃い茶","生茶","お〜いお茶　新緑"]

#画像を読み込む
img_path = str(input())
img = image.load_img(img_path,target_size=(250, 250, 3))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)

#予測
features = model.predict(x)

#予測結果によって処理を分ける
if features[0,0] == 1:
    print ("選ばれたのは、綾鷹でした。")

elif features[0,4] == 1:
    print ("選ばれたのは、綾鷹（茶葉のあまみ）でした。")

else:
    for i in range(0,10):
          if features[0,i] == 1:
              cat = categories[i]
    message = "綾鷹を選んでください。（もしかして：あなたが選んでいるのは「" + cat + "」ではありませんか？）"
    print(message)

私のモデル

#CIFAR-10のデータセットのインポート
from keras.datasets import cifar10

(X_train, Y_train), (X_test, Y_test) = cifar10.load_data()

#CIFAR-10の正規化
from keras.utils import to_categorical

root_dir = "パス"

# 特徴量の正規化
X_train = X_train/255.
X_test = X_test/255.

# クラスラベルの1-hotベクトル化
Y_train = to_categorical(Y_train, 10)
Y_test = to_categorical(Y_test, 10)

# CNNの構築
import keras
from keras.models import Sequential
from keras.layers.convolutional import Conv2D, MaxPooling2D
from keras.layers.core import Dense, Dropout, Activation, Flatten
import numpy as np

model = Sequential()

model.add(Conv2D(32, (3, 3), padding='same',input_shape=X_train.shape[1:]))
model.add(Activation('relu'))
model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Conv2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(10))
model.add(Activation('softmax'))

# コンパイル
model.compile(loss='categorical_crossentropy',optimizer='SGD',metrics=['accuracy'])

#訓練
History = model.fit(X_train, Y_train, epochs=30)

# モデルの保存
open(root_dir + "/modelCIFAR.json", "w").write(model.to_json())

model.save_weights(root_dir + "/weightCIFAR.hdf5")

print("学習データを保存しました")

私のプログラム

import os
import tkinter as tk
from tkinter import filedialog
from keras.models import model_from_json
from keras.preprocessing import image
import numpy as np
from PIL import Image, ImageTk

#on_canvas = None

def buttonKensaku_clicked() :
    global img
    global nomalSize
    global kekka1
    global kekka2
    
    fTyp = [("画像ファイル[jpg(jpeg),png,ppm]", "*.png;*.jpg;*.jpeg;*.ppm")]
    iDir = os.path.abspath(os.path.dirname(__file__))
    path = filedialog.askopenfilename(filetypes=fTyp,initialdir=iDir)

    EditBox.delete(0, tk.END)
    EditBox.insert(tk.END, path)
    img_path = EditBox.get()
    image1 = Image.open(img_path)
    image1 = image1.resize((400, 300))
    img = ImageTk.PhotoImage(image1)
    canvas1.create_image(0, 0, image=img,anchor=tk.NW)
    
    img1 = image.load_img(img_path, target_size=(32, 32, 3))
    x = image.img_to_array(img1)
    x = np.expand_dims(x, axis = 0)
    features = model2.predict(x)
    
    label1.config(text="あなたが選んだ写真は", font=("", 20))
    
    if features[0,0] == 1:
        label2.config(text="飛行機です。", font=("", 20))
        
    elif features[0,1] == 1:
        label2.config(text="自動車です。", font=("", 20))
    
    elif features[0,2] == 1:
        label2.config(text="鳥です。", font=("", 20))
        
    elif features[0,3] == 1:
        label2.config(text="猫です。", font=("", 20))
        
    elif features[0,4] == 1:
        label2.config(text="鹿です。", font=("", 20))
        
    elif features[0,5] == 1:
        label2.config(text="犬です。", font=("", 20))

    elif features[0,6] == 1:
        label2.config(text="カエルです。", font=("", 20))

    elif features[0,7] == 1:
        label2.config(text="馬です。", font=("", 20))

    elif features[0,8] == 1:
        label2.config(text="船です。", font=("", 20))

    elif features[0,9] == 1:
        label2.config(text="トラックです。", font=("", 20))

    else :
        label2.config(text="判定できませんでした。", font=("", 20))
        
    label1.place(x=500, y=100)
    label2.place(x=500, y=200)

#ウィンドウ作成
root = tk.Tk()
root.geometry("800x400")
root.title("画像認識システム(仮)")
root.resizable(False, False)

#ルートディレクトリ
root_dir = "パス"

img_path = ""

#学習データの読み込み
model2 = model_from_json(open(root_dir + "modelCIFAR.json", 'r').read())
model2.load_weights(root_dir + "weightCIFAR.hdf5")

#キャンバスの作成
canvas1 = tk.Canvas(root, width=500, height=500)
canvas1.place(x=0, y= 50)


buttonKensaku = tk.Button(text="[参照]", command=buttonKensaku_clicked, width=10)
buttonKensaku.place(x=720, y=0)


#エントリー
EditBox = tk.Entry(width=100, font=("", 10))
EditBox.place(x=0, y=0)
EditBox.insert(tk.END, "画像ファイルを選択してください")

#ラベル
label1 = tk.Label(root, text="画像を判定します。", font=("", 20))
label1.place(x=200, y=100)

label2 = tk.Label(root, text="写真を選んでください。", font=("", 20))
label2.place(x=200, y=200)


root.mainloop()

追記 :
モデルのコードの追加

判定できる場合のfeaturesを出力した結果
[[0. 1. 0. 0. 0. 0. 0. 0. 0. 0.]]
判定できない場合のfeaturesを出力した結果
[[2.8652792e-07 0.0000000e+00 0.0000000e+00 0.0000000e+00 0.0000000e+00
0.0000000+00 0.0000000e+00 0.0000000e+00 9.9999976e-01 0.0000000e+00]]

Comments

[toast-uz]

なぜそういったことを知りたいのでしょうか？
記事を読んで、コードのコメントを読めば「画像認識で綾鷹かどうか予測した結果」という理解はできるはずなのに、そういうこと（コード以前の日本語読解レベル）を聞きたいのか、それとももっと何か違うことが知りたいのか、どちらでしょうか？
という疑問が果てしなく湧くご質問なので、答えるのが難しいです。

[OWATA0723hk]

説明が下手で申し訳なかったです。
自分が知りたいのは、model.predictの使い方です。

[toast-uz]

質問文を修正して、ご説明お願いします。「model.predictの使い方を知りたいです」と記述しただけでは、model.predictでググると最初に出てくる
https://note.nkmk.me/python-tensorflow-keras-basics/
といった記事で答えになっていないのか、とかとか、果てしない疑問が沸きますので、答えられません。

[toast-uz]

ご質問の観点はわかりました。回答には、学習する側のコードも必要です。
features = model2.predict(x)
なので、featuresの挙動を確認するにはmodel2を知らなくてはなりません。しかし、model2はこのコードでは既にできているものをロードしていますので、このコードだけでは判別できません。

[aokikenichi]

features 自体を出力してみてください。単に学習時に0-9以外も教師として学習しているのではないですか。

Answer 1

判定できない場合のfeaturesを出力した結果により、原因判明しました。

画像分類は、必ずしも==1が結果として出るとは限らず、「確からしさ」を出力します。
そのため、判定分類するコードの == 1を、> 0.9 くらいにするとよいでしょう。

参考: Kerasを使って画像分類を試してみる
途中のコードはどうでもよく、ページの一番下の分類結果を参照ください。このように、ぴったり1が出る場合もあれば、そうでない場合もあります。×100で、照合率%になっています。

Comments

[OWATA0723hk]

初期のほうでは質問が曖昧になってしまい申し訳なかったです。
回答ありがとうございました！！