Python3 Tkinter カメラの映像からバーコードやQRコードを読み取りたい

Question

カメラの映像からバーコードやQRコードを読み取りたいです。

前回、Tkinterにカメラ映像を表示する部分を作りました。

• Python3 Tkinter カメラ映像の描画位置と、カメラとの接続が途切れた場合の処理について

ネットでバーコード読み取りについて調べたときに下記のサイトを見かけたので、これを移植しようとしました。

• PythonでQRコードとバーコードを生成して普通に読み取ったりOpenCV でリアルタイムに読み取る方法

自分で移植してみたコードが下記のものとなります。
self.frameに対してバーコードの読み取りと、それの結果の図形埋め込みをしています。
動作確認として、バーコードをいくつか試してみて読み取れたもの、読み取れなかったものがありました（上記リンクでもそのような記載がありました）。

Tkinterのcanvasでcreate_image()の配置換えとかをしている関係で、移植が問題なくできているかわからないのでその辺のチェックをしてほしいです。（読み取れたものについては、表示や値も正しかったので、問題はないと思いますが一応）
下記ソースコードのクラスメソッドupdate_by_timer()が該当部分です。

回答よろしくお願いします。

from datetime import datetime
from PIL import Image, ImageTk
from pyzbar.pyzbar import decode
import cv2
import queue
import threading
import tkinter as tk

class App:
    def __init__(self, win):
        video_source = 0
        self.vcap = cv2.VideoCapture(video_source, cv2.CAP_DSHOW)
        self.width = self.vcap.get(cv2.CAP_PROP_FRAME_WIDTH)
        self.height = self.vcap.get(cv2.CAP_PROP_FRAME_HEIGHT)
        self.font = cv2.FONT_HERSHEY_SIMPLEX

        self.data_queue = queue.Queue()

        self.win = win
        self.win.title("Camera")
        self.thread = threading.Thread(target=self.get_queue)
        self.thread.start()
        self.disp_center(self.win, 720, 480)
        self.win.protocol("WM_DELETE_WINDOW", self.close)
        self.create_view()
        self.bind_event()
        #self.update_by_timer()
        self.canvas.after(15, self.update_by_timer)


    def disp_center(self, win, wx=400, wy=300):
        #win.resizable(0, 0)
        dx = win.winfo_screenwidth()
        dy = win.winfo_screenheight()
        win_size = str(wx) + "x" + str(wy) + \
            "+" + str(int(dx/2 - wx/2)) + "+" + str(int(dy/2 - wy/2))
        win.geometry(win_size)


    def close(self):
        self.data_queue.put(["close", None])
        self.thread.join()
        self.win.destroy()
        self.vcap.release()
        cv2.destroyAllWindows()


    def create_view(self):
        self.win.rowconfigure(0, weight=1)
        self.win.columnconfigure(0, weight=1)
        
        self.frame = tk.Frame(self.win, relief="sunken", bd=1)
        self.frame.grid(row=0, column=0, sticky="nsew")
        self.frame.rowconfigure(0, weight=1)
        self.frame.columnconfigure(0, weight=1)

        self.canvas = tk.Canvas(self.frame)
        self.canvas.grid(row=0, column=0, sticky="nsew", padx=10, pady=10)

        ret, frm = self.vcap.read()
        #print("ret: {}".format(ret))
        #print("frm: {}".format(frm))
        self.frame = cv2.cvtColor(frm, cv2.COLOR_BGR2RGB)
        self.photo = ImageTk.PhotoImage(image = Image.fromarray(self.frame))
        #self.canvas.update()
        cv_w = self.canvas.winfo_reqwidth()
        cv_h = self.canvas.winfo_reqheight()
        self.img_id = self.canvas.create_image(cv_w // 2, cv_h // 2, image=self.photo, anchor="center")
        

        """
        self.canvas.update()
        cv_w = self.canvas.winfo_width()
        cv_h = self.canvas.winfo_height()
        
        rec_id = self.canvas.create_rectangle(0, 0, cv_w, cv_h, fill="black")

        
        # 長方形の座標取得
        rec_pos = self.canvas.coords(rec_id)
        # テキストを描画（位置は適当）
        text_id = self.canvas.create_text(0, 0, text="NO SIGNAL", font=("", 20), fill="white")
        # テキストのサイズ取得
        text_size = self.canvas.bbox(text_id)
        # テキストの座標移動
        rc_x = rec_pos[2] / 2
        rc_y = rec_pos[2] / 3  
        tc_y = text_size[3] / 2
        self.canvas.move(text_id, rc_x - (rec_pos[0] / 2), rc_y - tc_y)
        """

        self.button = tk.Button(self.win, text="Snapshot", command=self.pushed_button)
        self.button.grid(row=1, column=0, sticky="", pady=10)


    def pushed_button(self):
        self.data_queue.put(["snapshot", None])
        
    
    def update_by_timer(self):
        ret, frm = self.vcap.read()
        #print("ret: {}".format(ret))
        #print("frm: {}".format(frm))
        self.frame = cv2.cvtColor(frm, cv2.COLOR_BGR2RGB)
        if ret:
            d = decode(self.frame)
            if d:
                for barcode in d:
                    x,y,w,h = barcode.rect
                    cv2.rectangle(self.frame,(x,y),(x+w,y+h),(0,0,255),2)
                    barcodeData = barcode.data.decode('utf-8')
                    print(barcodeData)
                    frame = cv2.putText(self.frame,barcodeData,(x,y-10),self.font,.5,(0,0,255),2,cv2.LINE_AA)
        self.photo = ImageTk.PhotoImage(image = Image.fromarray(self.frame))
        self.canvas.itemconfig(self.img_id, image=self.photo)
        self.canvas.after(15, self.update_by_timer)


    def update_by_resize(self, e):
        self.canvas.itemconfig(self.img_id, image=self.photo, anchor="center")
        cv_w = self.canvas.winfo_width()
        cv_h = self.canvas.winfo_height()
        self.canvas.coords(self.img_id, cv_w // 2, cv_h // 2)


    def bind_event(self):
        self.canvas.bind("<Configure>", self.update_by_resize)


    def get_queue(self):
        while True:
            msg, data = self.data_queue.get()
            if msg == "snapshot":
                self.snapshot()
            elif msg == "close":
                break
            else:
                print("----- msg error -----")
                break

    def snapshot(self):
        filename = "C:/Users/user01/Desktop/img/frame-" + datetime.now().strftime("%Y-%d-%m-%H-%M-%S_%f") + ".jpg"
        cv2.imwrite( filename,
                     cv2.cvtColor( self.frame, cv2.COLOR_BGR2RGB ) )
        print(filename)


def main():
    win = tk.Tk()
    App(win)
    win.mainloop()

if __name__ == "__main__":
    main()

Comments

[person]

「質問を編集する」ボタンから編集を行い、調査したこと・試したことを記入しました。

調査したこと：バーコードの取得方法
試したこと：調査記事からの移植

Answer 1

Tkinterのcanvasでcreate_image()の配置換えとかをしている関係で、

移植が問題なくできているかわからない

Tkinter を用いているのは、カメラから読み取った画像の表示部分なので、
バーコード/QRコードの読み取りには全く関与しません。

Tkinter を用いない場合と同じ結果になるはずです。

バーコード/QRコード読み取りのデバッグに関しては、
「正常に読み取れたもの」、「読み取れなかったもの」を区別してスナップショットを取り、
その画像を、他のリーダーで読み取れるかどうか、比較してみてはどうでしょう。

印刷物から読み取る場合は、影や光の反射等の状況により
撮影自体がうまくいってないケースも考えられます。
前処理として「グレースケール化」や「二値化」を試すと良いかもしれません。

Comments

[person]

回答ありがとうございます。

> Tkinter を用いているのは、カメラから読み取った画像の表示部分なので、
バーコード/QRコードの読み取りには全く関与しません。

やっぱりそうですよね。じゃあ特にコーディング上の問題はないということで。

> 「正常に読み取れたもの」、「読み取れなかったもの」を区別してスナップショットを取り、
> その画像を、他のリーダーで読み取れるかどうか、比較してみてはどうでしょう。

一応、バーコードリーダーでは読めることを確認しました。
確認したのは印字されているものをスキャナで読み取ったやつを印刷したものです。

pyzbarでバーコードのタイプに非対応なものがあるのか確認してみます。

> 前処理として「グレースケール化」や「二値化」を試すと良いかもしれません。

グレースケール加工
cv2.cvtColor(self.frame, cv2.COLOR_BGR2GRAY)
を試しましたが、あまり影響はなかったです。

[teamikl]

コードでの対応に取り組む前に、読み込めなかったのが
どのような原因か詳細を調べた方が良いです。

ソフト側で対応するよりも、照明や撮影の角度を工夫する等、
物理的な対応を取った方が良い場合もあります。
別の原因の場合は、この対応を行ったからと言って改善するわけではありません。

影響があるのは２値化の方で、
例えば撮影時の影で白か黒かはっきりしないようなものを
しきい値以上なら白・黒とはっきりさせる為のものです。
グレースケールはその為の必要な前処理として行います。

ライブラリ側でも同様の処理が行われてますが、
自分で行う場合は、そのしきい値を状況に応じて設定できます。
cv2.threshold, cv2.adaptiveThreshold を調べて見て下さい。

>じゃあ特にコーディング上の問題はないということで。

デコード結果に影響があるような箇所はありません。
カメラからの読込からデコード迄の間に関与できる余地もないので。
ここは、tkinterを使わずに読込テストを行うと確認できるはずです。

GUIで影響がありそうなのは、
これがイベントループ内のタイマーで行われている点で、
あまり複雑な処理を高頻度で行うと、GUIのレスポンスに影響する可能性があります。

現状のコードでは、フレーム描画毎にバーコードの検出処理を行ってますが、
これは１秒間に数十回呼び出される処理なので、
デコードは１秒間隔くらい（利用者が遅延を感じない程度）でも良いのではないでしょうか。