RaspberryPi 顔認識 Web配信

Question

###前提・実現したいこと
RaspberryPi2 モデルBにてpiCameraで撮影している画像をリアルタイムでWeb表示したい。
web側に画像を送る前に顔認識をして顔周辺を囲い、画像処理後の画像を送信したい。

同じネットワーク間でのみ使用しますのでセキュリティはあまり気にしていません。

現在、画像処理を加えない画像の送信およびWeb表示は成功しています。
速度は10fpsで行っています。

piCameraで撮影している画像を
stream = io.BytesIO()に入れて
WebSocket(tornado)を使用しHTMLに送っています。

ここで画像処理を加えようとすると問題が発生しました。
通常piCameraで画像処理を加える場合は
picamera.array.PiRGBArrayのようにNumPy配列を使い

stream = picamera.array.PiRGBArray(camera)
camera.capture(stream,'bgr',use_video_port=True)
gray = cv2.cvtColor(stream.array, cv2.COLOR_BGR2GRAY)

のように処理すると思います。
ただ、WebSocket(tornado)で送ろうとする場合

write_message(message, binary=False)

を使用しますが、これはバイナリか文字列しか送ることが出来ません。
画像処理を加わえる場合はNumPy配列となってしまい送信することが出来ません。

どうゆう処理を加えたら顔認識をした画像をWebSocket(tornado)で送信することができますか？

###発生している問題・エラーメッセージ
画像処理をするときと送信するときのデータの型の衝突
画像処理をするときの画像はNumPy配列
送信するメソッドが扱えるのはバイナリまたは文字データ(UTF-8)

TypeError : Expected bytes, unicode,or None; got <class 'picamera.array.PiRGBArray'>

###該当のソースコード

問題発生部のみ抽出

camera = picamera.PiCamera()
camera.resoltion = (WIDTH, HIGHT)
camera.framerate = FPS
time.sleep(2)
stream = io.BytesIO()

for foo incamera.capture_continuous(stream,'jpeg',use_video_port = True):
   write_message(stream.read(),binary = True)
   stream.seek(0)
   stream.truncate()

受け取り側のHTMLファイル

画像撮影側

ws = new WebSocket("ws://000.000.0.000:0000");
ws.binaryType = 'Blob'
ws.onmessage=function(e){
  var data = e.data;
  var blob_url = window.URL.createObjectURL();
  img.src = blob_url;
}

###補足情報(言語/FW/ツール等のバージョンなど)
raspbian,python2.7 ,tornado,HTML5, openCV2.7

Answer 1

cv2.imwrite() してから struct.pack()しして送れば良いように思います。

Comments

[退会済みユーザー]

cv2.imwrite()でhomeディレクトリなどに保存し、それを読み込みstruct.pack()して送るといった感じでしょうか？
struct.pack()のフォーマットですが、文字列の場合は文字数を指定するとあります。この場合は文字列の長さを取得し指定してやらなければならないのでしょうか？

基本的な知識の質問となると思いますがよろしくお願いします。

[MasashiKimura]

そういえば、バイナリを遅れるのでしたね。 cv2.imencode() すればそのまま送れるかもしれません。 structpackする場合は1バイトずつ行えば良いと思います。

[退会済みユーザー]

res,frame = cv2.imencode('.jpg',stream.array)
をしてからframeを送ろうとすると、
TypeError:Expected bytes,unicode, or None; got <type 'numpy.ndarray'>
とエラーがでました。
これは正しくencode出来ていないのでしょうか？

[MasashiKimura]

numpy.ndarray.tobytes()
https://docs.scipy.org/doc/numpy/reference/generated/numpy.ndarray.tobytes.html
でできるかもしれませんね。仕様がわからないのでちょっと自信がありません。

[退会済みユーザー]

Numpyのリファレンスを読んでみるとtobytes()はありますが、実際に使ってみるとこのメソッドは持っていないとエラーが出ました。
代わりにtostring()が使えました。
リファレンスによるとtostring()もバイトデータを返すようです。

おかげ様でバイナリとして送信することが出来ました。
ありがとうございます。