NumPy配列のコピーが出来ない

Question

前提・実現したいこと

pythonでリンゴを認識し、ガイドを表示するシステムを作成しています。
画像のオーバーレイを実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "c:/Users/Owner/Documents/anaconda_vs/appale_project/camera-test.py", line 161, in <module>
    frame = window_fullscreen(frame)
  File "c:/Users/Owner/Documents/anaconda_vs/appale_project/camera-test.py", line 98, in window_fullscreen
    frame = np.copy(noncover)
NameError: name 'noncover' is not defined

該当のソースコード

#カメラでテスト
import cv2
import numpy as np
from keras.models import load_model
import os
import time
import datetime
from PIL import ImageFont, ImageDraw, Image


#カテゴリ名
category = ['maru',
            'half',
            '1/4',
            '1/8',
            'cutcore',                        
            'complete']

#読み込むモデル
in_model = 'appale_model_15.h5'

#画像サイズ
image_size = 60

try:
    model = load_model('./' + in_model)
except OSError:
    print('エラー：./' + in_model + 'が見つかりません。')
    exit()

#オーバーレイ関数
def overlayImage(src, ovly, location):
    ovly_height, ovly_width = ovly.shape[:2]

    #背景をPILに変換
    src = cv2.cvtColor(src, cv2.COLOR_BGR2RGB)
    pil_src = Image.fromarray(src)
    pil_src = pil_src.convert('RGBA')

    #オーバーレイをPILに変換
    ovly = cv2.cvtColor(ovly, cv2.COLOR_BGRA2RGBA)
    pil_ovly = Image.fromarray(ovly)
    pil_ovly = pil_ovly.convert('RGBA')

    #画像を合成
    pil_tmp = Image.new('RGBA', pil_src.size, (255, 255, 255, 0))
    pil_tmp.paste(pil_ovly, location, pil_ovly)
    result_image = Image.alpha_composite(pil_src, pil_tmp)

    #opencv形式に変換
    return cv2.cvtColor(np.asarray(result_image), cv2.COLOR_RGBA2BGRA)


#カメラを開始
cap = cv2.VideoCapture(0)

#分類機の指定
cascade = cv2.CascadeClassifier(r'C:\Users\Owner\Documents\anaconda_vs\appale_project\cascadeMAX.xml')

def window_fullscreen(frame):
    cv2.namedWindow('screen', cv2.WINDOW_NORMAL)
    cv2.setWindowProperty('screen', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)
    cv2.imshow('screen', frame)
    global noncover
    frame = np.copy(noncover)
    return frame

def detect_which(apple_image):
    #結果を格納
    result = model.predict(apple_image)[0]
    #一番可能性の高い配列の添え字を返す
    predicted = result.argmax()
    percentage = int(result[predicted] * 100)
    #カテゴリ名と確率を表示
    print('{0} {1}%'.format(category[predicted], percentage))

    return category[predicted]

#繰り返しカメラ画像を確認
while cap.isOpened():
    ok, frame = cap.read()
    if not ok: break
    #画像の反転
    frame = cv2.flip(frame, 1)
    
    apple_list = cascade.detectMultiScale(frame, scaleFactor=1.2, minNeighbors=2, minSize=(100, 100))
    #リンゴが検出された
    if len(apple_list) > 0:
        #リンゴの数だけループ
        for rect in apple_list:
            x, y, width, height = rect

            apple_image = frame[rect[1]:rect[1]+rect[3], rect[0]:rect[0]+rect[2]]
            if frame.shape[0] < 400:
                continue

            apple_image = cv2.resize(apple_image, (image_size, image_size))
            apple_image = np.expand_dims(apple_image, axis= 0)
            name = detect_which(apple_image)

            cv2.rectangle(frame, tuple(rect[0:2]), tuple(rect[0:2] + rect[2:4]), (0, 0, 255), thickness = 3)
            cv2.putText(frame, name, (x, y + height + 20), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 0, 255), 2)
            
            #重ねる画像の読み込み
            img_kasane = cv2.imread(r'C:\Users\Owner\Documents\anaconda_vs\00032.jpg', cv2.IMREAD_UNCHANGED)
            
            noncover = np.copy(frame)
            #画像のオーバーレイ
            frame = overlayImage(frame, img_kasane, (45, 45))

    frame = window_fullscreen(frame)

    if cv2.waitKey(1) == 27: break

cap.release()
cv2.destroyAllWindows()

試したこと

Numpy配列のコピーの仕方をいくつか試した(np.copy, frame[:]など)
コピーした(つもり)次の行でNumpy配列の中身確認-->同様のエラー

補足情報（FW/ツールのバージョンなど）

・keras2.3.1
・matplotlib3.3.4
・opencv3.3.1
・python3.6,13
・anaconda3
・tensorflow2.1.0

Comments

[meg_]

globalを使わなければならない理由がなければ引数として渡した方が分かりやすいのではないですか？

[keita_kkk]

そのまま渡してしまうとオーバーレイをしたことで配列の中身が増えてしまいエラーがでてしまいます。
なので、globalを使っています。

[meg_]

よく分かりませんが引数としては渡せない理由があるのですね。了解しました。

Answer 1

エラーメッセージが表示される原因は、グローバル変数noncoverが定義されていない状態で、関数window_fullscreenが実行されるためです。

グローバル変数noncoverは、コードを見ると、

while cap.isOpened():
    (略)
    if len(apple_list) > 0:
        for rect in apple_list:
            (略)
            noncover = np.copy(frame)
            (略)
    frame = window_fullscreen(frame)
    (略)

のように、if文のブロックの中でしか定義されていないので、whileループを開始して、if文の条件が成立しないままwindow_fullscreenが呼び出されると、件のエラーメッセージが発生します。

while文より前など、必ず実行される位置でnoncoverを定義してやればいいのでは。それで、質問者の想定通りの処理が行なわれるかは分かりませんが。

Comments

[keita_kkk]

なるほど。変数のスコープの問題だったのですね。改善したところ、エラーは出なくなりました。
ありがとうごさいます！

Answer 2

NameError: name 'noncover' is not defined

noncoverという変数は定義されていません。

というエラーなので、コピーの方法がどうであってもエラーは出るでしょう。

どこかでnoncoverを定義するのを忘れているか、考え違いをしているかでしょう。

Comments

[keita_kkk]

そうなんですね...
よろしければ、どの辺が問題か教えていただけますか？

[ppaul]

frame = np.copy(noncover)
という文で、いったい何をしたいのかが分かりません。
なぜ、ここにnoncoverというものが出てくるのかを説明していただければ、なにか指摘できるかもしれません。