質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.53%

  • JavaScript

    16325questions

    JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

  • Python 2.7

    1258questions

    Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

  • OpenCV

    1063questions

    OpenCV(オープンソースコンピュータービジョン)は、1999年にインテルが開発・公開したオープンソースのコンピュータビジョン向けのクロスプラットフォームライブラリです。

  • Raspberry Pi

    793questions

    Raspberry Piは、ラズベリーパイ財団が開発した、名刺サイズのLinuxコンピュータです。 学校で基本的なコンピュータ科学の教育を促進することを意図しています。

  • WebSocket

    169questions

    WebSocketとは双方向・全二重コミュニケーションのためのAPIでありプロトコルのことを指します。WebSocketはHTML5に密接に結びついており、多くのウェブブラウザの最新版に導入されています。

RaspberryPi 顔認識 Web配信

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 911

Krunaru

score 8

前提・実現したいこと

RaspberryPi2 モデルBにてpiCameraで撮影している画像をリアルタイムでWeb表示したい。
web側に画像を送る前に顔認識をして顔周辺を囲い、画像処理後の画像を送信したい。

同じネットワーク間でのみ使用しますのでセキュリティはあまり気にしていません。

現在、画像処理を加えない画像の送信およびWeb表示は成功しています。
速度は10fpsで行っています。

piCameraで撮影している画像を
stream = io.BytesIO()に入れて
WebSocket(tornado)を使用しHTMLに送っています。

ここで画像処理を加えようとすると問題が発生しました。
通常piCameraで画像処理を加える場合は
picamera.array.PiRGBArrayのようにNumPy配列を使い

stream = picamera.array.PiRGBArray(camera)
camera.capture(stream,'bgr',use_video_port=True)
gray = cv2.cvtColor(stream.array, cv2.COLOR_BGR2GRAY)


のように処理すると思います。
ただ、WebSocket(tornado)で送ろうとする場合

write_message(message, binary=False)


を使用しますが、これはバイナリか文字列しか送ることが出来ません。
画像処理を加わえる場合はNumPy配列となってしまい送信することが出来ません。

どうゆう処理を加えたら顔認識をした画像をWebSocket(tornado)で送信することができますか?

発生している問題・エラーメッセージ

画像処理をするときと送信するときのデータの型の衝突
画像処理をするときの画像はNumPy配列
送信するメソッドが扱えるのはバイナリまたは文字データ(UTF-8)

TypeError : Expected bytes, unicode,or None; got <class 'picamera.array.PiRGBArray'>

該当のソースコード

問題発生部のみ抽出

camera = picamera.PiCamera()
camera.resoltion = (WIDTH, HIGHT)
camera.framerate = FPS
time.sleep(2)
stream = io.BytesIO()

for foo incamera.capture_continuous(stream,'jpeg',use_video_port = True):
   write_message(stream.read(),binary = True)
   stream.seek(0)
   stream.truncate()

受け取り側のHTMLファイル

画像撮影側

ws = new WebSocket("ws://000.000.0.000:0000");
ws.binaryType = 'Blob'
ws.onmessage=function(e){
  var data = e.data;
  var blob_url = window.URL.createObjectURL();
  img.src = blob_url;
}

```

補足情報(言語/FW/ツール等のバージョンなど)

raspbian,python2.7 ,tornado,HTML5, openCV2.7

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

cv2.imwrite() してから struct.pack()しして送れば良いように思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/01/25 21:02

    cv2.imwrite()でhomeディレクトリなどに保存し、それを読み込みstruct.pack()して送るといった感じでしょうか?
    struct.pack()のフォーマットですが、文字列の場合は文字数を指定するとあります。この場合は文字列の長さを取得し指定してやらなければならないのでしょうか?

    基本的な知識の質問となると思いますがよろしくお願いします。

    キャンセル

  • 2017/01/26 08:31

    そういえば、バイナリを遅れるのでしたね。 cv2.imencode() すればそのまま送れるかもしれません。 structpackする場合は1バイトずつ行えば良いと思います。

    キャンセル

  • 2017/01/26 21:28

    res,frame = cv2.imencode('.jpg',stream.array)
    をしてからframeを送ろうとすると、
    TypeError:Expected bytes,unicode, or None; got <type 'numpy.ndarray'>
    とエラーがでました。
    これは正しくencode出来ていないのでしょうか?

    キャンセル

  • 2017/01/26 21:35

    numpy.ndarray.tobytes()
    https://docs.scipy.org/doc/numpy/reference/generated/numpy.ndarray.tobytes.html
    でできるかもしれませんね。仕様がわからないのでちょっと自信がありません。

    キャンセル

  • 2017/01/26 22:38

    Numpyのリファレンスを読んでみるとtobytes()はありますが、実際に使ってみるとこのメソッドは持っていないとエラーが出ました。
    代わりにtostring()が使えました。
    リファレンスによるとtostring()もバイトデータを返すようです。

    おかげ様でバイナリとして送信することが出来ました。
    ありがとうございます。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.53%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 受付中

    websocket実装方法

    websocketを使ってチャットを作成したいです。 IDEはNetBeansを使用しています。 実装方法を詳しく教えてください。

  • 解決済

    wxPythonにおいて、USBカメラの画像表示をしたい

    前提・実現したいこと ここ一週間くらい、teratailの皆様の力を借りながら、python上で動く動画や画像を表示できるGUIを作っています。画像は何とか表示でき、画像とパネル

  • 解決済

    SaliencyMapの動画を保存したい

    前提・実現したいこと こんにちは。 https://github.com/akisato-/pySaliencyMap/blob/master/main_webcam.py 上記の

  • 解決済

    OpenCVを使った笑顔検出での問題

    前提・実現したいこと OpenCVで元からあるサンプルコード「smiledetect.cpp」を用いて笑顔検出のシステムを作っています。 検出機能を実装中に以下の問題が発生しました

  • 解決済

    高階関数の構造が理解できません。

    Python初心者です。書籍を購入して勉強していますが、内容を読んでも意味が分からない箇所があったので質問します。 書籍:Pythonプログラミング パーフェクトマスター (秀

  • 解決済

    pythonでRGBを取得するときの省略部分を表示したい

    以下のコードで画像を読み込むと、画像のサイズが大きい場合、Bも画素値のように...のように省略されてしまうのですがこれを表示させる方法を教えていただけないでしょうか。 よろしくお願

  • 解決済

    opencvの処理をリアルタイムに

    処理が途中でとまり、 処理後フォルダにaviファイルは保存されるのですが2秒ほどの動画となってしまいます 動画を撮り続けて自分で止めたい場合どのようにすればよいでしょうか アドバイ

  • 解決済

    pythonでRGBを取得したい

    import cv2 import numpy as np np.set_printoptions(threshold=np.nan) def main(): im

同じタグがついた質問を見る

  • JavaScript

    16325questions

    JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

  • Python 2.7

    1258questions

    Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

  • OpenCV

    1063questions

    OpenCV(オープンソースコンピュータービジョン)は、1999年にインテルが開発・公開したオープンソースのコンピュータビジョン向けのクロスプラットフォームライブラリです。

  • Raspberry Pi

    793questions

    Raspberry Piは、ラズベリーパイ財団が開発した、名刺サイズのLinuxコンピュータです。 学校で基本的なコンピュータ科学の教育を促進することを意図しています。

  • WebSocket

    169questions

    WebSocketとは双方向・全二重コミュニケーションのためのAPIでありプロトコルのことを指します。WebSocketはHTML5に密接に結びついており、多くのウェブブラウザの最新版に導入されています。