Kerasによる画像認識

Question

前提・実現したいこと

Kerasを使って画像認識を行っています。
そこで確認用のプログラムで2つの画像を使って1つの答えを出したいと考えています。
それを行うために画像2つをコード内のprdに入れたいのですが、
下のようなエラーメッセージが出てしまいました。
調べたら配列の要素が多いみたいな感じだと思いますが、これをどうすればいいかわかりません。
なので教えていただけると幸いです。

2つの画像を使う意味は、別視点の2つの画像を使えばさらに正解率を上げれるのではないかという単純な考えです。

発生している問題・エラーメッセージ

ValueError: Error when checking input: expected conv2d_1_input to have 4 dimensions, but got array with shape (1, 2, 128, 128, 3)

該当のソースコード

from PIL import Image
import numpy as np
from keras.models import load_model

testpic     = "./test image/猫1.jpg"
testpic2    = "./test image/猫2.jpg"
keras_param = "./cnn.h5"

def load_image(path, path2):
    img = Image.open(path)
    img = img.convert('RGB')
    img = img.resize((128, 128))
    img = np.asarray(img)
    img = img / 255.0

    img2 = Image.open(path2)
    img2 = img2.convert("RGB")
    img2 = img.resize((128, 128))
    img2 = np.asarray(img2)
    img2 = img2 / 255.0
    return img, img2

if __name__ == "__main__":
    
    model = load_model(keras_param)    
    img = load_image(testpic,testpic2)
    prd = model.predict(np.array([img]))
    
    

補足情報（FW/ツールのバージョンなど）

そもそも画像2つを多数決形式ではなく、同時に判定して1つの答えが可能かどうかもいまいちわかっていません。
できるかなと思い行っているので、不可能だったらすみません。

Answer 1

@エラーの原因
ちゃんと走らせないといけませんが、時間がないので推測でごめんなさい。

(枚数, 128, 128, ch)のフォーマットでないためにエラーが出ていると思います。

(1, 2, 128, 128, 3)でなく(2, 128, 128, 3)ではないといけないはずです。
Numpyのコマンドで次元を減らすのがあったと思います。
もしくは、img = img[0]で余計な次元が取れるはずです。

別視点の2つの画像を使えばさらに正解率を上げれるのではないか

正解率を上げる正攻法は学習画像を増やす、解像度を上げる、ドロップアウトを仕込む等です。
Data augmentation（よく似た偽データを作る）もありだと思います。

Comments

[退会済みユーザー]

ありがとうございます。
参考にさせていただきます。

[退会済みユーザー]

del img[0]
として0の要素を削除したら
'tuple' object doesn't support item deletion
上のようなエラー文が出てしまいました。
ここからどうすればよいかわかりますか？

[退会済みユーザー]

tupleはリストと同様にtuple[0]のようにn番目の要素にアクセスできますが、delやtuple[0]=xのように中身を消したり変更したりといったことが受け付けられません。読み取り専用のリストのような感じでしょうか？やるのであればtupleをリスト型に戻して要素を消す、のような対応になると思います。

[退会済みユーザー]

何度も質問をしてしまい申し訳ございません。
リストに変え、0の要素を削除、その後タプルに戻してみましたが、
下のようなエラーが出てしまいました。
Error when checking input: expected conv2d_1_input to have 4 dimensions, but got array with shape (1, 1, 128, 128, 3)
ちなみにコードは↓です。
img = load_image(testpic,testpic2)
imgs = list(img)
del imgs[0]
img = tuple(imgs)
prd = model.predict(np.array([img]))

教えていただけると幸いです。

[退会済みユーザー]

何行目のどこでエラーが出ているかよくわかりませんのでカンで書きます。
model.predict(np.array([img])のところで、
img.shapeが(1, 128, 128, 3)であったとしたら、[]がついているので一次元余計に増えて (1, 1, 128, 128, 3)になりえます。
また、del imgs[0]をしてTupleに突っ込みなおすよりも、model.predict([imgs[1]])とやってしまった方が、スマートな気がします。imgs[1]のshapeは(128, 128, 3)と思いますので、[imgs[1]]なら(1,128, 128, 3)と思いますので、多分あってます。たぶんですよ、これでエラーが出ないならですよ（手元で確認できませんので…）！

[退会済みユーザー]

ありがとうございます。
今実際に行ってみたら
Error when checking input: expected conv2d_1_input to have 4 dimensions, but got array with shape (128, 128, 3)
となって出てきてしまい、1が入っていませんでした。
なんども申し訳ございません。

[退会済みユーザー]

1を足すには[対象物]でOKのはずです。 shapeをしたら(1,128, 128, 3)が返ってくると思います。

Answer 2

実施されようとしていることは、1枚ずつ（猫か何だかわからない）画像を独立に学習したモデルで、別視点の2つの（2つとも猫か、2つとも猫ではない）画像で（猫であることを）予測させる、というものですね。しかし、学習時点の訓練データの入力の形（1枚の画像）と予測時点のテストデータの入力の形（2枚セットの画像か）が異なるため、エラーが出るのは当然です。

これを解決するには、モデル学習の時点から、同じ条件で「別視点の2つの（2つとも猫か、2つとも猫ではない）画像」を学習させる必要があります。学習から変える必要があります。

質問者様がやりたかったのは、**複数のモデルの多数決をとって精度を改善する「アンサンブル」**ではないでしょうか。これは、1枚の画像で学習させたモデルを複数作っておいて、1枚の画像を複数のモデルに予測させ、多数決等をとることで、精度を改善させる試みです。今回の質問と微妙に違います。

参考: CNNでの画像判定をアンサンブルを使って改善する例
ニューラルネットワークを使ったEnd-to-Endなアンサンブル学習

Comments

[退会済みユーザー]

ありがとうございます。
調べて行ってみます。