文字表記のソースコードをOpenCVからPILに変えたいです。

Question

前提・実現したいこと

文字表記のソースコードをOpenCVからPILに変えたいです。

前提として、
github上にあるdeep_sort_yolov3のdemo.pyとyolo.pyを編集しています。
【参照github：deep_sort_yolov3】

demo.py(～行目は多少違う可能性あり)
12行目　from PIL import Image　→　from PIL import Image, ImageFont, ImageDraw　に変更
47行目　model_filename = 'model_data/market1501.pb'　→　model_filename = 'model_data/mars-small128.pb'　に変更
67行目　font = ImageFont.truetype(font='font/yumin.ttf', size=50)　を追加(fps=の下)
77行目　draw = ImageDraw.Draw(image)　を追加(image=の下)
112行目　cv2.putText(frame, str(class_names[0]),・・・)　を非表示
その下に　draw.text((int(bbox[0]), int(bbox[1])), str(class_names[0]), fill=(255, 255, 255), font=font)
frame = np.array(image[...,::-1])　を追加

yolo.py(～行目は多少違う可能性あり)
54行目　with open(classes_path) as f:　→　with open(classes_path, encoding="utf-8") as f:　に変更
1268行目　if predicted_class != args["class"]:　～　を非表示
1224行目　if predicted_class != 'person' and predicted_class != 'car':　～　を表示　
また'person'を'ひと'に変更

deep_sort_yolov3-masterファイル内
fontファイルの追加
outputファイルの追加
test_videoファイルの追加
model_data内のcoco_classes.txtのpersonをひとに変更

yolov3.weightsをダウンロード
重みファイル↑を変換
python convert.py yolov3.cfg yolov3.weights model_data/yolo.h5

分かる方がいましたらご教授お願いいたします。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "demo.py", line 181, in <module>
    main(YOLO())
  File "demo.py", line 121, in main
    frame = np.array(image[...,::-1])
TypeError: 'Image' object is not subscriptable

該当のソースコード

#! /usr/bin/env python
# -*- coding: utf-8 -*-

from __future__ import division, print_function, absolute_import
import os
import datetime
from timeit import time
import warnings
import cv2
import numpy as np
import argparse
#from PIL import Image
from PIL import Image, ImageFont, ImageDraw
from yolo import YOLO
from deep_sort import preprocessing
from deep_sort import nn_matching
from deep_sort.detection import Detection
from deep_sort.tracker import Tracker
from tools import generate_detections as gdet
from deep_sort.detection import Detection as ddet
from collections import deque
from keras import backend

backend.clear_session()
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--input",help="path to input video", default = "./test_video/test.avi")
ap.add_argument("-c", "--class",help="name of class", default = "person")
args = vars(ap.parse_args())

pts = [deque(maxlen=30) for _ in range(9999)]
warnings.filterwarnings('ignore')

# initialize a list of colors to represent each possible class label
np.random.seed(100)
COLORS = np.random.randint(0, 255, size=(200, 3),
	dtype="uint8")

def main(yolo):

    start = time.time()
    #Definition of the parameters
    max_cosine_distance = 0.5 #余弦距离的控制阈值
    nn_budget = None
    nms_max_overlap = 0.3 #非极大抑制的阈值

    counter = []
    #deep_sort
    #model_filename = 'model_data/market1501.pb'
    model_filename = 'model_data/mars-small128.pb'
    encoder = gdet.create_box_encoder(model_filename,batch_size=1)

    metric = nn_matching.NearestNeighborDistanceMetric("cosine", max_cosine_distance, nn_budget)
    tracker = Tracker(metric)

    writeVideo_flag = True
    #video_path = "./output/output.avi"
    video_capture = cv2.VideoCapture(args["input"])

    if writeVideo_flag:
    # Define the codec and create VideoWriter object
        w = int(video_capture.get(3))
        h = int(video_capture.get(4))
        #fourcc = cv2.VideoWriter_fourcc(*'MJPG')
        fourcc = cv2.VideoWriter_fourcc(*'XVID')
        out = cv2.VideoWriter('./output/'+args["input"][43:57]+ "_" + args["class"] + '_output.avi', fourcc, 15, (w, h))
        list_file = open('detection.txt', 'w')
        frame_index = -1

    fps = 0.0

    font = ImageFont.truetype(font='font/yumin.ttf', size=30)

    while True:

        ret, frame = video_capture.read()  # frame shape 640*480*3
        if ret != True:
            break
        t1 = time.time()

       # image = Image.fromarray(frame)
        image = Image.fromarray(frame[...,::-1]) #bgr to rgb
        draw = ImageDraw.Draw(image)

        boxs,class_names = yolo.detect_image(image)
        features = encoder(frame,boxs)
        # score to 1.0 here).
        detections = [Detection(bbox, 1.0, feature) for bbox, feature in zip(boxs, features)]
        # Run non-maxima suppression.
        boxes = np.array([d.tlwh for d in detections])
        scores = np.array([d.confidence for d in detections])
        indices = preprocessing.non_max_suppression(boxes, nms_max_overlap, scores)
        detections = [detections[i] for i in indices]

        # Call the tracker
        tracker.predict()
        tracker.update(detections)

        i = int(0)
        indexIDs = []
        c = []
        boxes = []
        for det in detections:
            bbox = det.to_tlbr()
            cv2.rectangle(frame,(int(bbox[0]), int(bbox[1])), (int(bbox[2]), int(bbox[3])),(255,255,255), 2)

        for track in tracker.tracks:
            if not track.is_confirmed() or track.time_since_update > 1:
                continue
            #boxes.append([track[0], track[1], track[2], track[3]])
            indexIDs.append(int(track.track_id))
            counter.append(int(track.track_id))
            bbox = track.to_tlbr()
            color = [int(c) for c in COLORS[indexIDs[i] % len(COLORS)]]

            cv2.rectangle(frame, (int(bbox[0]), int(bbox[1])), (int(bbox[2]), int(bbox[3])),(color), 3)
            cv2.putText(frame,str(track.track_id),(int(bbox[0]), int(bbox[1] -50)),0, 5e-3 * 150, (color),2)
            if len(class_names) > 0:
               class_name = class_names[0]
               #cv2.putText(frame, str(class_names[0]),(int(bbox[0]), int(bbox[1] -20)),0, 5e-3 * 150, (color),2)
               draw.text((int(bbox[0]), int(bbox[1])), str(class_names[0]), fill=(255, 255, 255), font=font)
               frame = np.array(image[...,::-1])
            #frame = np.array(image)
            i += 1
            #bbox_center_point(x,y)
            center = (int(((bbox[0])+(bbox[2]))/2),int(((bbox[1])+(bbox[3]))/2))
            #track_id[center]
            pts[track.track_id].append(center)
            thickness = 5
            #center point
            cv2.circle(frame,  (center), 1, color, thickness)

	    #draw motion path
            for j in range(1, len(pts[track.track_id])):
                if pts[track.track_id][j - 1] is None or pts[track.track_id][j] is None:
                   continue
                thickness = int(np.sqrt(64 / float(j + 1)) * 2)
                cv2.line(frame,(pts[track.track_id][j-1]), (pts[track.track_id][j]),(color),thickness)
                #cv2.putText(frame, str(class_names[j]),(int(bbox[0]), int(bbox[1] -20)),0, 5e-3 * 150, (255,255,255),2)

        count = len(set(counter))
        cv2.putText(frame, "Total Object Counter: "+str(count),(int(20), int(120)),0, 5e-3 * 200, (0,255,0),2)
        cv2.putText(frame, "Current Object Counter: "+str(i),(int(20), int(80)),0, 5e-3 * 200, (0,255,0),2)
        cv2.putText(frame, "FPS: %f"%(fps),(int(20), int(40)),0, 5e-3 * 200, (0,255,0),3)
        cv2.namedWindow("YOLO3_Deep_SORT", 0);
        cv2.resizeWindow('YOLO3_Deep_SORT', 1024, 768);
        cv2.imshow('YOLO3_Deep_SORT', frame)

        if writeVideo_flag:
            #save a frame
            out.write(frame)
            frame_index = frame_index + 1
            list_file.write(str(frame_index)+' ')
            if len(boxs) != 0:
                for i in range(0,len(boxs)):
                    list_file.write(str(boxs[i][0]) + ' '+str(boxs[i][1]) + ' '+str(boxs[i][2]) + ' '+str(boxs[i][3]) + ' ')
            list_file.write('\n')
        fps  = ( fps + (1./(time.time()-t1)) ) / 2
        #print(set(counter))

        # Press Q to stop!
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    print(" ")
    print("[Finish]")
    end = time.time()

    if len(pts[track.track_id]) != None:
       print(args["input"][43:57]+": "+ str(count) + " " + str(class_name) +' Found')

    else:
       print("[No Found]")

    video_capture.release()

    if writeVideo_flag:
        out.release()
        list_file.close()
    cv2.destroyAllWindows()

if __name__ == '__main__':
    main(YOLO())

Comments

[退会済みユーザー]

> File "demo.py", line 121, in main
> frame = np.array(image[...,::-1])
> TypeError: 'Image' object is not subscriptable
ということは、タイトルにあるように問題の本質はYOLOではなくてPILでのデータ扱いです。
他の人が同じことを再現しようとするとYOLOを使えるようにしてダミーデータを用意しないといけませんのでハードルが随分あがります。

エラーが起きる必要最小限のコードで再掲載できますか？
例えばOpenCVとPILとで動くPythonのコードとダミー画像を掲載、などです。

[jbpb0]

> 'Image' object is not subscriptable

frame = np.array(image[...,::-1])
↓ 修正
frame = np.array(image)[...,::-1]

かな

あと、

image = Image.fromarray(frame[...,::-1]) #bgr to rgb
draw = ImageDraw.Draw(image)

を

draw.text((int(bbox[0]), int(bbox[1])), str(class_names[0]), fill=(255, 255, 255), font=font)

の直前に追加しないと、それより上で「cv2.rectangle」と「cv2.putText」で処理したことが無かったことになりませんか？

[caramel]

>frame = np.array(image)[...,::-1]

発生しているエラーメッセージは解決しました。

しかし、
Traceback (most recent call last):
File "demo.py", line 183, in <module>
main(YOLO())
File "demo.py", line 132, in main
cv2.circle(frame, (center), 1, color, thickness)
cv2.error: OpenCV(4.5.3) :-1: error: (-5:Bad argument) in function 'circle'
> Overload resolution failed:
> - Layout of the output array img is incompatible with cv::Mat (step[ndims-1] != elemsize or step[1] != elemsize*nchannels)
> - Expected Ptr<cv::UMat> for argument 'img'

といったエラーメッセージが出ました。

circleに渡されている引数はintで整数値なので間違いはないと思ってます。
>Expected Ptr<cv::UMat> for argument 'img'
引数 'img' に対して<cv::UMat>が期待されるというのは、
image = Image.fromarray(frame[...,::-1])のfromarrayをUMatに変えればいいということでしょうか？

>直前に追加しないと、それより上で「cv2.rectangle」と「cv2.putText」で処理したことが無かったことになりませんか？

確かに、言われるまで消えていることに気づきませんでした。
上記のエラーが解決してから考えたいと思います。

[jbpb0]

> といったエラーメッセージが出ました。

は、この質問とは別内容なので、別の質問にしてください

Answer 1

'Image' object is not subscriptable

frame = np.array(image[...,::-1])

↓ 修正

frame = np.array(image)[...,::-1]