前提・実現したいこと
現在以下の環境にてWebアプリケーションを開発しています。
初のPythonを用いた開発のため稚拙な質問かと思われますがご容赦ください。
・OS：Raspberry pi
Description: Raspbian GNU/Linux 11 (bullseye)
Release: 11
Codename: bullseye
・使用言語：HTML、Python3.6.1
・フレームワーク等：Flask、OpenCV、Flask-SocketIO
本Webアプリの機能は以下の通りです
1. Flaskにて、OpenCVを用いてWebカメラからリアルタイムで映像を取得
2. リアルタイム映像からWeb上に配信
3. 配信しているフレームを別サーバで取得し、解析
参考にしているサイト
こちらの二つを参考に組み合わせて実現を考えています。
https://www.rs-online.com/designspark/article-39-jp
https://qiita.com/mksamba/items/2a8a5428e088aae3e8e0
該当のソースコード
カメラを取り込んで画質やfpsを設定します。
リアルタイムでの処理を行うコードです。
camera.py
1import cv2
2
3WIDTH = 1280
4HEIGHT = 960
5FPS = 30
6
7class Video(object):
8 def __init__(self):
9 self.video = cv2.VideoCapture(0)
10 #cap.set(cv2.CAP_PROP_FOURCC, cv2.VideoWriter_fourcc('M','J','P','G'))
11 #self.video.set(cv2.CAP_PROP_FOURCC, cv2.VideoWriter_fourcc('Y','U','Y','V'))
12 self.video.set(cv2.CAP_PROP_FRAME_WIDTH, WIDTH)
13 self.video.set(cv2.CAP_PROP_FRAME_HEIGHT, HEIGHT)
14 self.video.set(cv2.CAP_PROP_FPS, FPS)
15 def __del__(self):
16 self.video.release()
17 def get_frame(self):
18 stream, image = self.video.read()
19
20 ret, jpeg = cv2.imencode(".jpg", image)
21
22 return jpeg
Flaskを用いて、画像が埋め込まれたHTMLを返します。http: //localhost/にリクエストがあるとstream.htmlをレンダーする。
main.py
1import cv2
2from flask import Flask, render_template, Response
3from camera import Video
4
5app = Flask(__name__)
6
7@app.route("/")
8def stream():
9 return render_template('stream.html')
10
11def gen(camera):
12 while True:
13 frame = camera.get_frame()
14
15 if frame is not None:
16 yield (b"--frame\r\n"
17 b"Content-Type: image/jpeg\r\n\r\n" + frame.tobytes() + b"\r\n")
18 else:
19 print("frame is none")
20
21@app.route("/video_feed")
22def video_feed():
23 return Response(gen(Video()),
24 mimetype="multipart/x-mixed-replace; boundary=frame")
25
26
27if __name__ == "__main__":
28 app.debug = True
29 app.run(host="0.0.0.0", port=80)
stream.htmlでは、img要素のsrcにvideo_feedが指定されており、main.pyのvideo_feed()を呼ぶ。video_feed()ではgen()関数がコールバックされ顔認識処理後のフレームを受け取りレスポンスとして返す。
stream.html
1<html>
2 <head>
3 <title>Raspberry Pi Camera Streaming</title>
4 </head>
5 <body>
6 <h1>Flask Streaming Test</h1>
7 <img src="{{ url_for('video_feed') }}">
8 </body>
9</html>
(ASE) pi@raspberrypi:~/camusb $ sudo python main.py
* Serving Flask app "main" (lazy loading)
* Environment: production
WARNING: This is a development server. Do not use it in a production deployment.
Use a production WSGI server instead.
* Debug mode: on
* Running on http://0.0.0.0:80/ (Press CTRL+C to quit)
* Restarting with stat
* Debugger is active!
* Debugger PIN: 176-589-853
- - [20/Jul/2022 09:31:18] "GET / HTTP/1.1" 200 -
- - [20/Jul/2022 09:31:19] "GET / HTTP/1.1" 200 -
- - [20/Jul/2022 09:31:21] "GET /video_feed HTTP/1.1" 200 -
実際にリアルタイムでの配信を確認ずみ
試したこと
別サーバ側でYolov５を実行
\yolov5>python detect.py --source "http://OOO.OOO.OOO.OOO" #ライブ配信サーバのipアドレス
リクエストが飛んでいなかった。
質問内容
・別サーバ上で処理させたいのですが手法的にFlaskを用いて実現は可能でしょうか？
・現段階で別サーバからYoloを走らせるときにリクエストが飛んでいなかったのですが問題点がわからず頓挫しています。何か他の手法等、解決策をご教授いただけませんでしょうか？
補足
こういった手法も検討しています。
https://teratail.com/questions/277582
https://lunarwoffie.com/how-to-build-a-realtime-image-processing-datascience-web-app-jp/
Q&A
