CNN-画像のオーバーレイ時のValueError

Question

前提・実現したいこと

ここに質問の内容を詳しく書いてください。
（例）pythonでリンゴを認識し、ガイドを表示するシステムを作成しています。
画像のオーバーレイを実装中に以下のエラーメッセージが発生しました。
オーバーレイをしたことで情報が追加されてしまったことが原因だと思われますが、対処法が分かりません。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "c:/Users/Owner/Documents/anaconda_vs/appale_project/camera-test.py", line 129, in <module>
    name = detect_who(apple_image)
  File "c:/Users/Owner/Documents/anaconda_vs/appale_project/camera-test.py", line 100, in detect_who
    result = model.predict(face_image)[0]
  File "C:\Users\Owner\anaconda3\envs\appale_env\lib\site-packages\keras\engine\training.py", line 1441, in predict
    x, _, _ = self._standardize_user_data(x)
  File "C:\Users\Owner\anaconda3\envs\appale_env\lib\site-packages\keras\engine\training.py", line 579, in _standardize_user_data
    exception_prefix='input')
  File "C:\Users\Owner\anaconda3\envs\appale_env\lib\site-packages\keras\engine\training_utils.py", line 145, in standardize_input_data
    str(data_shape))
ValueError: Error when checking input: expected conv2d_1_input to have shape (60, 60, 3) but got array with shape (60, 60, 
4)

該当のソースコード

#カメラでテスト
import cv2
import numpy as np
from keras.models import load_model
import os
import time
import datetime
from PIL import ImageFont, ImageDraw, Image


#カテゴリ名
category = ['maru',
            'half',
            '1/4',
            '1/8',
            'cutcore',                        
            'complete']

#読み込むモデル
in_model = 'appale_model_15.h5'

#画像サイズ
image_size = 60

try:
    model = load_model('./' + in_model)
except OSError:
    print('エラー：./' + in_model + 'が見つかりません。')
    exit()

#文字表示zone
# パラメータ
img_a = []

# 画面に表示する文字を指定
moji_1 = f"{'丸：半分に切ってください。'}"
moji_2 = f"{'半分 : 1/4にしてください。'}"
moji_3 = f"{'1/4 : 1/8にしてください。'}"
moji_4 = f"{'1/8 : 芯を取ってください。'}"
moji_5 = f"{'芯取り後 : 兎型に切ってください。'}"
moji_6 = f"{'完成 : perfect!'}"

# 文字表示部分を関数化
def moji(a, text):
    global img_a
    
    # フォントファイルとサイズを指定
    font = ImageFont.truetype("./fonts/meiryo.ttc", 20)

    # 文字の色を指定
    red = (0, 0, 255)        # 赤色

    # ndarrayをImageに変換
    img_pil_en = Image.fromarray(a)

    # 先ほど変換したImageに文字を書き込む
    ImageDraw.Draw(img_pil_en).text((350, 30), text, font = font , fill = red)

    # Imageをndarrayに変換
    img_a = np.array(img_pil_en)

    return img_a

#オーバーレイ関数
def overlayImage(src, ovly, location):
    ovly_height, ovly_width = ovly.shape[:2]

    #背景をPILに変換
    src = cv2.cvtColor(src, cv2.COLOR_BGR2RGB)
    pil_src = Image.fromarray(src)
    pil_src = pil_src.convert('RGBA')

    #オーバーレイをPILに変換
    ovly = cv2.cvtColor(ovly, cv2.COLOR_BGRA2RGBA)
    pil_ovly = Image.fromarray(ovly)
    pil_ovly = pil_ovly.convert('RGBA')

    #画像を合成
    pil_tmp = Image.new('RGBA', pil_src.size, (255, 255, 255, 0))
    pil_tmp.paste(pil_ovly, location, pil_ovly)
    result_image = Image.alpha_composite(pil_src, pil_tmp)

    #opencv形式に変換
    return cv2.cvtColor(np.asarray(result_image), cv2.COLOR_RGBA2BGRA)


#カメラを開始
cap = cv2.VideoCapture(0)

#分類機の指定
cascade = cv2.CascadeClassifier(r'C:\Users\Owner\Documents\anaconda_vs\appale_project\cascadeMAX.xml')

def window_fullscreen(frame):
    cv2.namedWindow('screen', cv2.WINDOW_NORMAL)
    cv2.setWindowProperty('screen', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)
    cv2.imshow('screen', frame)

def detect_which(apple_image):
    #結果を格納
    result = model.predict(apple_image)[0]
    #一番可能性の高い配列の添え字を返す
    predicted = result.argmax()
    percentage = int(result[predicted] * 100)
    #カテゴリ名と確率を表示
    print('{0} {1}%'.format(category[predicted], percentage))

    return category[predicted]

#繰り返しカメラ画像を確認
while cap.isOpened():
    ok, frame = cap.read()
    if not ok: break
    #画像の反転
    frame = cv2.flip(frame, 1)
    
    apple_list = cascade.detectMultiScale(frame, scaleFactor=1.2, minNeighbors=2, minSize=(100, 100))
    #リンゴが検出された
    if len(apple_list) > 0:
        #リンゴの数だけループ
        for rect in apple_list:
            x, y, width, height = rect

            apple_image = frame[rect[1]:rect[1]+rect[3], rect[0]:rect[0]+rect[2]]
            if frame.shape[0] < 400:
                continue

            apple_image = cv2.resize(apple_image, (image_size, image_size))
            apple_image = np.expand_dims(apple_image, axis= 0)
            name = detect_which(apple_image)

            cv2.rectangle(frame, tuple(rect[0:2]), tuple(rect[0:2] + rect[2:4]), (0, 0, 255), thickness = 3)
            cv2.putText(frame, name, (x, y + height + 20), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 0, 255), 2)
            
            #重ねる画像の読み込み
            img_kasane = cv2.imread(r'C:\Users\Owner\Documents\anaconda_vs\00032.jpg', cv2.IMREAD_UNCHANGED)
            
            #画像のオーバーレイ
            frame = overlayImage(frame, img_kasane, (45, 45))

            # img_a に日本語を表示させる(戻り値は img_a)
            if name == 'maru':
                cv2.line(frame, (int(x) + int(width)//2, y), (x+width - int(width)//2, y+height), color=(0,255,0),thickness= 2)
                frame = moji(frame, moji_1)
            elif name == 'half':
                cv2.line(frame, (int(x) + int(width)//2, y), (x+width - int(width)//2, y+height), color=(0,255,0),thickness= 2)
                frame = moji(frame, moji_2)
            elif name == '1/4':
                cv2.line(frame, (int(x) + int(width)//2, y), (x+width - int(width)//2, y+height), color=(0,255,0),thickness= 2)
                frame = moji(frame, moji_3)
            elif name == '1/8':
                frame = moji(frame, moji_4)
            elif name == 'cutcore':
                frame = moji(frame, moji_5)
            else: 
                frame = moji(frame, moji_6)
        
    window_fullscreen(frame)

    if cv2.waitKey(1) == 27: break

cap.release()
cv2.destroyAllWindows()

試したこと

オーバーレイ無しで実行-->実行可能
frame.shapeで中身確認-->1回目は(480, 640, 3),それ以降(480, 640, 4)

補足情報（FW/ツールのバージョンなど）

・keras2.3.1
・matplotlib3.3.4
・opencv3.3.1
・python3.6,13
・anaconda3
・tensorflow2.1.0

Answer 1

実際に走らせていませんので直感での回答です。

起きていること

ValueError: Error when checking input: expected conv2d_1_input to have shape (60, 60, 3) but got array with shape (60, 60,

値の異常：入力のチェック中に異常が発生: conv2d_1_input では (60, 60, 3)を予期していましたが、実際練られた配列のshapeは (60, 60, 4)でした。

つまり、60px四方の3ch(BGR)を期待していたのに、60px四方の4ch(RGBA)が入力されていると怒っているわけです。

対象のコードは

    #opencv形式に変換
    return cv2.cvtColor(np.asarray(result_image), cv2.COLOR_RGBA2BGRA)

です。

対策

ここで、RGBAをBGRになるように挿げ替えてください。αチャンネルを無効化するということです。使ったことはありませんが以下の定数で動くはずです。

    #opencv形式に変換
    return cv2.cvtColor(np.asarray(result_image), cv2.COLOR_RGBA2BGR)

Comments

[keita_kkk]

回答ありがとうごさいます！
無事解決することが出来ました！