OpenCVで加工した画像をリアルタイムでストリーミング配信する方法

Question

前提・実現したいこと

Flaskで、Webカメラから取得した画像をリアルタイムでOpenCVで加工して、その画像をWebブラウザで確認する、
といったプログラムを作成しています。
実現したい動作は、Webカメラの映像を加工された状態でブラウザから見る、という動作です。

しかし、加工した画像を返す段階でエラーが発生しました。
どのようなエラーかは、ある程度把握しているつもりですが、修正の仕方が分かりません。
よろしくお願いいたします。

※加工内容は、動体検知を行うサイトを参考に「動いているものに輪郭線を描く」という加工をしています。

該当のソースコード

※エラーが発生した個所はコメントで記しています。

# -*- coding: utf-8 -*-
from flask import Flask, Blueprint, render_template, Response
import time
import datetime
import cv2

app = Flask(__name__)

class Camera(object):
    def __init__(self):
        self.image = None

    def create_frame(self):
        DELTA_MAX = 255
        DOT_TH = 20
        MOTHON_FACTOR_TH = 0.03

        #カメラの登録
        capture = cv2.VideoCapture(-1)
        avg = None

        while True:
            motion_detected = False     # 動きが検出されたかどうかを示すフラグ

            # フレーム取得
            ret, frame = capture.read()
            if not ret:
                break

            # グレースケールに変換
            gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
            # 比較用のフレームを取得する
            if avg is None:
                avg = gray.copy().astype("float")
                continue

            # 現在のフレームと移動平均との差を計算
            cv2.accumulateWeighted(gray, avg, 0.6)
            frameDelta = cv2.absdiff(gray, cv2.convertScaleAbs(avg))

            # デルタ画像を閾値処理を行う
            thresh = cv2.threshold(frameDelta, DOT_TH, DELTA_MAX, cv2.THRESH_BINARY)[1]

            #全体としてどれくらいの割合が変化したか。
            motion_factor = thresh.sum() * 1.0 / thresh.size / DELTA_MAX
            motion_factor_str = '{:.08f}'.format(motion_factor)

            if motion_factor > MOTHON_FACTOR_TH:
                motion_detected = True

            # 画像の閾値に輪郭線を入れる
            contours, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
            frame = cv2.drawContours(frame, contours, -1, (0, 255, 0), 3)

            # 結果を出力
            self.image = frame  #ここの文でエラーが発生
            key = cv2.waitKey(5)
            if key == 27:
                break

        capture.release()
        cv2.destroyAllWindows()

    def get_frame(self):
        frame = self.image
        ret, img = cv2.imencode('.jpg', frame)
        return img

@app.route('/camera')
def index_camera():
    return render_template('camera.html', title='Camera')

@app.route('/predict')
def predict():
    return Response(gen(Camera()), mimetype='multipart/x-mixed-replace; boundary=frame')

def gen(camera):
    while True:
        frame = camera.get_frame()
        yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + frame + b'\r\n\r\n')

if __name__ == '__main__':
    app.run(host='0.0.0.0', debug=True)

発生している問題・エラーメッセージ

恐らく、「frame」に画像が格納されていないのかな、と。。。

cv2.error: OpenCV(4.4.0) /tmp/pip-wheel-2l8ccy47/opencv-python/opencv/modules/imgcodecs/src/loadsave.cpp:919: error: (-215:Assertion failed) !image.empty() in function 'imencode'

Answer 1

参考にした別サイトのソースコードから変えなければならない部分をいくつか見落とされてると思います。

get_frame()関数内のimageは最初からNoneであるため、そのエラーが発生しています。
自前関数create_frameの内容を呼び出さなければいけません。

def gen(camera):
    while True:
-        frame = camera.get_frame()
+        frame = camera.create_frame()
        yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + frame + b'\r\n\r\n')

create_frame内で適切なデータ形式に直してブラウザに渡す必要があります。

class Camera(object):
(略)
            # 画像の閾値に輪郭線を入れる
            contours, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
            frame = cv2.drawContours(frame, contours, -1, (0, 255, 0), 3)

            # 結果を出力
-            self.image = frame  #ここの文でエラーが発生
+            _, img = cv2.imencode('.jpg', frame)
            key = cv2.waitKey(5)
            if key == 27:
                break

+            return img.tobytes()

        capture.release()
        cv2.destroyAllWindows()
(略)

Comments

[tasojiro]

なるほど！
以前は、get_frame()単体で呼び出していたので「create_frame()」が適応されていない状態だけど、
本来はクラスから呼び出してやる必要があるのですね。

解決しました。ありがとうございます。