model.predictを行う際に透明の画像,白色か黒色の画像を分類させない

Question

前提

tensorflowのkerasを用いて画像分類を行っているのですが、model.predictを行う際に透明の画像,または白色か黒色の画像を分類させないということをしたいです。

実現したいこと

・tensorflowのkerasでmodel.predictを行う際に透明の画像か白色か黒色の画像を分類させない

発生している問題・エラーメッセージ

ValueError: Input 0 of layer sequential is incompatible with the layer: expected axis -1 of input shape to have value 3 but received input with shape [None, 50, 50, 4]

該当のソースコード

###追記###
def kiritori(img):
    img_array=np.array(img,dtype='int16')         #(50行,83列,3次元)の3次元配列
    a=np.split(img_array,img.height/50)
    img_data=np.split(a[0],img.width/50,axis=1)#stackする土台づくり
    for i in range(len(a)-1):
        img_data=np.vstack([img_data,np.split(a[i+1],img.width/50,axis=1)])
    return img_data


test_data = Image.open('Output_file/dst.png')

copy_back=test_data.copy()
x_test=kiritori(test_data)
x_test  = x_test/255.

# ##精度のアウトプット
probs=model.predict(x_test)         #学習したパラメータで精度を出力
probs_max=np.reshape(np.argmax(probs,axis=1),(int(test_data.height/50),int(test_data.width/50)))  
np.savetxt('Output_file/output.csv',probs_max,fmt="%d",delimiter=",")

試したこと

dst.pngは、白色の部分を透過した画像になっています。
kiritori関数は、画像を50×50ずつ分割する関数です。

解決方法を教えていただけると幸いです。

補足情報（FW/ツールのバージョンなど）

windows10（64bit）
anacondaを使用
python　3.8.13
TensorFlow　2.3
Spyder 5.3.3を利用

Comments

[ps_aux_grep]

「分類させない」ということは，そもそも予測model.predictさせない，ということですか？それとも分類結果から省きたい．ということですか？

[semisemi]

コメントありがとうございます。
予測させたくないです。

[ps_aux_grep]

では，RGBAのうちAlphaチャンネルが全部0であれば透明画像，RGBでchannel-wiseに和をとって値が0であれば黒，値が255 * 3 = 765であれば白，画像全体にこの判定を用いて画像全体が黒であるか/白であるかという判定ができると思います．
kiritori関数に実装されてはいかがでしょうか．

[semisemi]

すみません、私の力量では実装できなかったのでお力添えいただませんか？
kiritori関数を追記しておきます。

[jbpb0]

コードよく読んでないので勘違いしてるかもしれませんが、「予測させたくない」画像は

> img_data=np.vstack(...

を実行しないようにしたいのなら、その行のすぐ上に「if」文を追加して、
・「画像全体が透明」ではない
・「画像全体が白」ではない
・「画像全体が黒」ではない
が全て成立する場合だけ

> img_data=np.vstack(...

を実行するようにしたらいいのではないですかね

[semisemi]

コメントありがとうございます。
画像全体が透明な場合if img_data[j,:,:,3]でしようと思ったのですができません。
画像全体を選択するには、どのようにすればよいでしょうか？

[ps_aux_grep]

NWHC形式なら，img_data[i,:,:,3]でAlphaチャネルを取得できているはずです．
img_data[i,:,:,3].sum() == 0で透明画像である．ということになるはずですがうまくいかないですか？

[semisemi]

kiritori関数を実行したのちに以下のコードを挿入して透明画像の判定をしようとしたのですが、
IndexError:too many indices for array: array is 3-dimensional, but 4 were indexedがでました。
img_dataのshapeは、119277,50,50,4です。

for j in range(119277):
if img_data[j,:,:,3].sum() != 0:
img_data = np.vstack(img_data)

[ps_aux_grep]

すみません，理解/伝達不足でした．
stack()の形式で書くなら最初の動作で3-dimensionalなので確かにこれでは無理そうですね．
np.split(a[i+1],img.width/50,axis=1)
に対してnp.split(a[i+1],img.width/50,axis=1)[:,:,3].sum() == 0とかはできると思いますがどうでしょう．

[jbpb0]

> kiritori関数を実行したのちに以下のコードを挿入して透明画像の判定をしようとした

「kiritori」を実行した「後」だと、もう手遅れでは？？
「kiritori」の内部で、「img_data=np.vstack(...」を実行するよりも前で判定して、ダメなやつはそれ実行しないようにしないといけないような

[semisemi]

kiritori関数を下記のようにしたところエラーはなくなったのですが、うまく処理ができていません。
img_array=np.array(img,dtype='int16') #(50行,83列,3次元)の3次元配列
a=np.array(np.split(img_array,img.height/50))
img_data=np.array(np.split(a[0],img.width/50,axis=1))#stackする土台づくり
for i in range(len(a)-1):
if img_data[i,:,:,3].sum() == 0 and a[i,:,:,3].sum() == 0:
img_data = np.vstack([img_data,np.split(a[i+1],img.width/50,axis=1)])

[jbpb0]

質問に記載のコードの

> img_data=np.vstack(

のすぐ上に「if」文を追加して判定するのだと、

> img_data=np.split(a[0],img.width/50,axis=1)#stackする土台づくり

に予測させたくない画像が含まれてる場合は除外できないと思って、そうならないコードを回答に書いたのですが、ちょっと遅かったようですね

Answer 1

    img_data=np.split(a[0],img.width/50,axis=1)#stackする土台づくり

の中に予測させたくない画像が含まれてる場合でも除外できるようにしました

　

def kiritori(img):
    img_array=np.array(img,dtype='int16')
    a=np.split(img_array,img.height/50)
    img_data=np.zeros((1, 50, 50, 4))#stackする土台づくり
    for i in range(len(a)):
        img_data_tmp=np.split(a[i],img.width/50,axis=1)
        for j in range(len(img_data_tmp)):
            if img_data_tmp[j][:, :, :3].max() != 0 and img_data_tmp[j][:, :, :3].min() != 255 and img_data_tmp[j][:, :, 3].max() != 0:
                img_data=np.vstack([img_data, np.expand_dims(img_data_tmp[j], 0)])
    img_data = np.delete(img_data, 0, 0)
    return img_data

Answer 2

フォルダから画像を取得するようにして予測させることが出来ました。