信号機の位置検出をして、OpenCVで動画表示したい

前提・実現したいこと

信号機の位置検出をして、OpenCVで動画表示したいです。
静止画ではできたのですが、動画にすると再生できなくなります。
フォーマットを確認したところ、間違っていたようです。(20200617 12:02追記)

発生している問題・エラーメッセージ

TypeError                                 Traceback (most recent call last)
<ipython-input-30-0d9005ca6faa> in <module>
     13 #         frame = test(frame)
     14         frame = signal_detect(frame)
---> 15         cv2.imshow(window_name, frame)
     16         if cv2.waitKey(delay) & 0xFF == ord('q'):
     17             break

TypeError: Expected Ptr<cv::UMat> for argument '%s'

該当のソースコード

python3
1def hsvExtraction(im_hsv, hsvLower, hsvUpper):
2    hsv = cv2.cvtColor(im_hsv, cv2.COLOR_BGR2HSV)
3    hsv_mask = cv2.inRange(hsv, hsvLower, hsvUpper)
4    result = cv2.bitwise_and(im_hsv, im_hsv, mask=hsv_mask)
5    return result
6
7# 信号機の位置を検出して四角で囲む
8def signal_detect(im):
9    im = im[::2,::3]
10    im = cv2.medianBlur(im, 7)
11
12    # red
13    hsvLower = np.array([0, 115, 50])    # 抽出する色の下限_いまはとりあえず任意
14    hsvUpper = np.array([10, 255, 255])    # 抽出する色の上限
15    hsvResult_r = hsvExtraction(im, hsvLower, hsvUpper)
16    gray_r = cv2.cvtColor(hsvResult_r, cv2.COLOR_BGR2GRAY)
17    hsvResult_r_th = cv2.threshold(gray_r, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]
18    # yellow
19    hsvLower = np.array([12, 115, 50])    # 抽出する色の下限_いまはとりあえず任意
20    hsvUpper = np.array([45, 255, 255])    # 抽出する色の上限
21    hsvResult_y = hsvExtraction(im, hsvLower, hsvUpper)
22    gray_y = cv2.cvtColor(hsvResult_y, cv2.COLOR_BGR2GRAY)
23    hsvResult_y_th = cv2.threshold(gray_y, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]
24    # green
25    hsvLower = np.array([45, 115, 50])    # 抽出する色の下限_いまはとりあえず任意
26    hsvUpper = np.array([90, 255, 255])    # 抽出する色の上限
27    hsvResult_g = hsvExtraction(im, hsvLower, hsvUpper)
28    gray_g = cv2.cvtColor(hsvResult_g, cv2.COLOR_BGR2GRAY)
29    hsvResult_g_th = cv2.threshold(gray_g, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]
30    
31    # red_signal_detect 
32    kernel = np.ones((3,3),np.uint8)
33    r_dilation = cv2.dilate(hsvResult_r_th, kernel, iterations = 1)
34    r_erosion = cv2.erode(r_dilation, kernel, iterations = 4)
35    r_dilation = cv2.dilate(r_erosion, kernel, iterations = 3)
36    contours = cv2.findContours(r_dilation, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[0]
37
38    # yellow_and_green_signal_detect
39    reference_box = []
40    for cnt in contours:
41        x,y,w,h = cv2.boundingRect(cnt)
42        M = cv2.moments(cnt)
43        cx = int(M['m10']/M['m00'])
44        cy = int(M['m01']/M['m00'])        
45        if cy + 2*h < im.shape[0]:
46            if hsvResult_y_th[cy + h, cx] > 0:
47                if hsvResult_g_th[cy + h*2, cx] > 0:
48                    reference_box.append([x,y,w,h])
49                else:
50                    pass
51            else:
52                pass
53        else:
54            pass
55
56    # rectangle
57    im_det = []
58    for box in reference_box:
59        im_det = cv2.rectangle(im,(box[0],box[1]),(box[0] + box[2],box[1] + box[3]*3),(0,255,0),3)
60    
61    return im_det
62
63# 二値化する
64def test(im):
65    im_gray = cv2.cvtColor(im, cv2.COLOR_RGB2GRAY)
66    im_gray_th = cv2.threshold(im_gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]
67    return im_gray_th
68
69file_path = r"パス"
70delay = 25
71window_name = 'frame'
72
73cap = cv2.VideoCapture(file_path)
74
75if not cap.isOpened():
76    sys.exit()
77
78while True:
79    ret, frame = cap.read()
80    if ret:
81#         frame = test(frame) #こちらだと二値化した映像が再生される
82        frame = signal_detect(frame)
83        cv2.imshow(window_name, frame)
84        if cv2.waitKey(delay) & 0xFF == ord('q'):
85            break
86    else:
87        cap.set(cv2.CAP_PROP_POS_FRAMES, 0)
88
89cv2.destroyWindow(window_name)

補足情報（FW/ツールのバージョンなど）

python 3.6.9
opencv 4.1.2
tornade 4.5.3
holoviews 1.13.2
scipy 1.4.1
openpyxl 3.0.3

試してみたこと

フォーマットが異なるようです

python
1cap = cv2.VideoCapture(file_path)
2ret, frame = cap.read()
3img = test(frame)
4img2 = signal_detect(frame)
5print(img.dtype)
6print(img2.dtype)

result
1uint8
2---------------------------------------------------------------------------
3AttributeError                            Traceback (most recent call last)
4<ipython-input-37-e758e0991592> in <module>
5      4 img2 = signal_detect(frame)
6      5 print(img.dtype)
7----> 6 print(img2.dtype)
8
9AttributeError: 'list' object has no attribute 'dtype'

行動規範の内容に同意します

回答1件

ベストアンサー

以下の処理は1個も検出されなかったら、空のリストを返すことになりますよね？
それが原因ではないでしょうか

python
1    im_det = []
2    for box in reference_box:
3        im_det = cv2.rectangle(im,(box[0],box[1]),(box[0] + box[2],box[1] + box[3]*3),(0,255,0),3)
4
5    return im_det