pythonを用いたリアルタイム文字認識

Question

前提・実現したいこと

pythonを初めてもちいて,tesseract,opencvでwebカメラを用いてリアルタイムにocrを行うシステムを作っています。

発生している問題・エラーメッセージ

処理が非常に重たくて,使い物になりません

該当のソースコード

import cv2
import numpy as np
import os
import datetime
from PIL import Image
import sys
import pyocr
import pyocr.builders

current = os.getcwd()
now = datetime.datetime.now()
dir_name = "\IMG_{0:%m%d%H%M}".format(now)
if os.path.isdir(current + dir_name) == False:
    os.mkdir(current + dir_name)  #make directory
os.chdir(current + dir_name)  #move to directory

cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FPS, 30)

count = 1

tools = pyocr.get_available_tools()
if len(tools) == 0:

    print("No OCR tool found")
    sys.exit(1)
tool = tools[0]
print("Will use tool '%s'" % (tool.get_name()))

langs = tool.get_available_languages()
print("Available languages: %s" % ", ".join(langs))


while True:
    ret, frame = cap.read()
    w, h = frame.shape[0] , frame.shape[1]

    cv2.imshow('Raw Frame', frame)

　　blur = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    ret,g_frame = cv2.threshold(blur,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)

    cv2.imshow('Edited Frame', g_frame)

    filename = "IMG_{}.png".format(count)
    cv2.imwrite(filename, g_frame)
    txt = tool.image_to_string(
    Image.open(filename),
    lang='jpn',
    builder=pyocr.builders.TextBuilder(tesseract_layout=6)
    )

    str_list = list(txt)

    find = []

    for str in str_list:
        if str == "ー":
            str = "1"
        find.append(str)

    str_changed = "".join(find)
    print(str_changed)
    count += 1


    k = cv2.waitKey(1)
    if k == 27:
        break


cap.release()
cv2.destroyAllWindows()

print("完了")

Comments

[y_waiwai]

しつもんはなんでしょうか
また、
このままではコードが見れないので、質門を編集し、<code>ボタンで、出てくる’’’の枠の中にコードを貼り付けてください

[daiking119]

ご指摘ありがとうございます
質問内容としましては,どのようにすれば処理が速くなるのかをお伺いしたいです。
まだ使い方を理解しきれていないため,不備などがございましたら,
その都度,ご指摘お願いします

[tiitoi]

毎フレーム cv2.imwrite でフレームを保存して、再度読み込んでいるのは、重たい原因の1つだと思いますがいかがでしょうか
image_to_string() は PIL.Image オブジェクトを渡せばいいので、一旦ファイルに保存する必要はないです。

[daiking119]

すみません
どの部分をどのようにすればよいかを,もっと具体的に教えていただきたいです
tesseractは,初めて触るので
また,python自体もあまり触りなれていません
お手数おかけして申し訳ないです

[tiitoi]

回答に書きました。動作確認はしていないので、動かなかったら教えてください。

Answer 1

どの部分をどのようにすればよいかを,もっと具体的に教えていただきたいです

「numpy 配列形式の画像をファイルに保存 -> Pillow でファイルから読み込み」となっている部分を、「numpy 配列形式の画像をファイルに保存 -> PIL.Image」オブジェクトに変換とすることで、ディスクの I/O をせずに済むので、多少は高速化できると思います。

PIL.Image.fromarray() で numpy 形式の画像を PIL.Image オブジェクトに変換できます。

変更範囲

cv2.imshow("Edited Frame", g_frame)

filename = "IMG_{}.png".format(count)
cv2.imwrite(filename, g_frame)
txt = tool.image_to_string(
    Image.open(filename),
    lang="jpn",
    builder=pyocr.builders.TextBuilder(tesseract_layout=6),
)

変更前

↓

txt = tool.image_to_string(
    Image.fromarray(g_frame),
    lang="jpn",
    builder=pyocr.builders.TextBuilder(tesseract_layout=6),
)

変更後

追記

だいたい5秒に一度ほどの処理でもよいので,そこのところも改善できませんか？

count 変数にフレーム数をカウントしているのであれば、5秒に1回だけ検出を実行する場合、count % 150 == 0 のときは検出、それ以外は continue すればよいです。

ret, frame = cap.read()

変更前

↓

ret, frame = cap.read()
if count % (30 * 5) != 0:
    # 150フレームに1回だけ検出する。(30FPSなので、つまり5秒に1回)
    count += 1
    continue

変更後

Comments

[daiking119]

変更してみましたが,あまり処理速度の変化は見られませんでした
これは,毎フレーム処理しているからなのでしょうか？
だいたい5秒に一度ほどの処理でもよいので,そこのところも改善できませんか？

[tiitoi]

追記しました。
count が150で割り切れないときは continue すればよいです。

[daiking119]

ありがとうございます
ためしてみたのですが,処理速度に変化は見られませんでした
こうなると原因はPCのスペックなどによるものですかね？

[tiitoi]

処理速度はどのように測られてるのでしょうか？

> こうなると原因はPCのスペックなどによるものですかね？

参考までにスペックを質問欄に追記していただけますか。