Rapsberry pi とUSBカメラを用いて人物検知をしSlackに通知したい

Question

前提・実現したいこと

下記サイトにある raspberry pi とpicamera を使って人物検知をしslackに投稿するプログラムを
USBカメラで実行したいです。

発生している問題・エラーメッセージ

USBカメラでは動作してくれない。
picameraでの人体検知は成功した。
また、USBカメラでのストリーミングは成功している。
そこで、人体検知のプログラムを組み込んでみたが、エラーが出てしまう。

192.168.33.114 - - [07/Feb/2019 13:09:26] \"GET / HTTP/1.1\" 500 -
Traceback (most recent call last):
Error on request:
  File \"/usr/lib/python3/dist-packages/werkzeug/serving.py\", line 205, in run_wsgi
  File \"/usr/lib/python3/dist-packages/werkzeug/wrappers.py\", line 81, in _iter_encoded
  File \"/usr/lib/python3/dist-packages/werkzeug/wsgi.py\", line 703, in __next__
    execute(self.server.app)
  File \"/usr/lib/python3/dist-packages/werkzeug/serving.py\", line 195, in execute
    for data in application_iter:
    frame = camera.get_frame()
    return self._next()
    for item in iterable:
  File \"/var/isaax/project/camera/main.py\", line 19, in gen
  File \"/var/isaax/project/camera/processor/person_detector.py\", line 38, in get_frame
AttributeError: 'PersonDetector' object has no attribute 'get_output_image'
    ret, image = self.get_output_image(frame)

該当のソースコード

picameraでのサンプルプログラム
https://github.com/isaaxug/study-picamera-examples

USBカメラを用いたサンプルプログラム
https://github.com/aquariumsap/an98b/blob/master/libs/simple_streamer.py?fbclid=IwAR16Ivv4sgLSsRi6sNIrQgcFsAup6ZP86CAX9iTDNg-TXRfyo5SMWgCfTZ4

試したこと

USBカメラ用のサンプルプログラムを参照し実行してみました。
下記URLのようにプログラムを編集してみましたが、エラーが発生し、実行できませんでした。
https://github.com/yaasann/study-picamera-examples
添付した写真のようなエラーが出ました。

補足情報（FW/ツールのバージョンなど）

AIカメラを使ってカウントした人数をSlackに通知しよう – Isaax Camp
https://camp.isaax.io/ja/examples/ai-camera-slack#i-3

Raspberry Pi + Picamera でisaax をはじめよう – Isaax Camp
https://camp.isaax.io/ja/examples/getting_startet_isaax_with_raspicam#1

raspberry piのセットアップ
sudo apt-get update && sudo apt-get upgrade
sudo apt-get install build-essential cmake pkg-config
sudo apt-get install libjpeg-dev libtiff5-dev libjasper-dev libpng12-dev
sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev
sudo apt-get install libxvidcore-dev libx264-dev
sudo apt-get install libgtk2.0-dev libgtk-3-dev
sudo apt-get install libatlas-base-dev gfortran
sudo apt-get install python3-dev python3-pip
sudo pip3 install numpy opencv-python picamera[array] imutils flask pyzbar
sudo apt install libqtgui4 libqt4-test
sudo apt install libilmbase12 libopenexr22 libgstreamer1.0-dev

画像処理に必要なニューラルネットワーク
下記をダウンロードし、Raspberry pi上のhome/pi/modelsディレクトリ以下に配置
https://drive.google.com/file/d/0B3gersZ2cHIxZi13UWF0OXBsZzA/view
https://drive.google.com/file/d/0B3gersZ2cHIxWGEzbG5nSXpNQzA/view

Comments

[firedfly]

やりたいことだけ書いて丸投げしても答えてもらえません。
該当のソースコードを具体的に書きましょう。

また、訊く範囲はできるだけ小さくし、どこまでできているかを明確にしましょう。
たとえば「USBカメラを認識しない」と「人物検知されない」と「Slackに投稿されない」は別の問題です。

[m_g52]

現在成功していることを記入し、ソースコードを載せておきました。

[can110]

ソースコードが見当たりません。参考ページだけではなく、あなたの書いたコードを記載ください。

[m_g52]

GitのURLを添付しておきました。

[can110]

ざっとgetting started読みましたが、「Enable PiCamera sudo raspi-config nonint do_camera 0」という記載と質問の「USBカメラ用のサンプルプログラムを参照し実行」が合っていないように思えるのですが？

[m_g52]

picameraでの動作プログラム中の
study-picamera-examples/camera/main.py　と
study-picamera-examples/camera/processor/simple_streamer.pyを
下記URLにある
main.py とsimple_streamer.pyに置き換えました。

[m_g52]

getting startedはpicameraですが
上記の様にプログラムを変更すると同様のやり方で動画のストリーミングは実行できました。

[m_g52]

また、sudo raspi-config nonint do_camera 0はUSBカメラの場合使用しないので省いています

[mittyan]

部外から失礼します。もしUSBカメラで設定するのであれば、sudo raspi-config nonint do_camera 0をどのようにしたらいいか教えてあげてはどうですか？

Answer 1

8ヶ月目の質問なので既に解決しているかも知れませんが、同じように躓いた人が居たら困るので回答を書き残しておきます。

---

USBカメラから画像データを取り出すプログラムは私の作ったサンプルコードを参考にしたのですね。

私も元のコードを参考にしてこちらを作りました。
https://github.com/aquariumsap/an98b/blob/master/libs/simple_streamer.py

エラーメッセージを見る限り、私の予想ですがコードの中身を理解せずに2つのコードを合体させたのではないでしょうか。

なので、ここではどのような手順で後者のコードを作成したのか作業手順を紹介します。
※ 作成したのが1年以上前なのでうる覚えの記憶で回答します。もし間違っていたらごめんなさい。

PiCameraモジュールをUSBカメラに変更する

self.vs = PiVideoStream(resolution=(800, 608)).start()

PiVideoStreamはPiCamera用のモジュールなので、USBカメラから画像を取り出すモジュールに差し替えが必要でした。

self.vs = cv2.VideoCapture(0)

それがこの部分です。

フレームのflipの仕方が異なるので変換作業が必要

    def get_frame(self):
        frame = self.flip_if_needed(self.vs.read())
        frame = self.process_image(frame)
        ret, jpeg = cv2.imencode('.jpg', frame)
        return jpeg.tobytes()

オリジナルはflip_if_needed()メソッドでflip（画像の反転処理）が出来たのですが、私の記憶ではcv2.VideoCapture(0)で取り出した画像をnpモジュールで反転することが出来ませんでした。（記憶違いでしたらすみません）
なので、新たにget_output_image()メソッドを作り、cv2のflip処理を行いました。

    def get_output_image(self, frame):
        if self.flip:
            flipped_frame = cv2.flip(frame, 0)
            return cv2.imencode('.jpg', flipped_frame)
        return cv2.imencode('.jpg', frame)

ついでにJPEG画像への変換もget_output_image()メソッド側に移動しました。なぜ移動したのかは覚えてませんでしたが、そのときは私にとって都合が良かったんだと思います。（覚えて無くてすみません）

その後元々あったget_frame()メソッドの中身を書き換えました。

    def get_frame(self):
        ret, frame = self.vc.read()
        ret, image = self.get_output_image(frame)
        return image.tobytes()

以上で仕様を変更せずにUSBカメラに対応させました。

結局、画像処理はどうしたら良いのか

オリジナルのコードではself.process_image(frame)の実行はJPEG画像への変換前なので、私の書いたコードをベースに開発するならget_output_image()メソッドを呼び出す前に処理してあげるのが良いでしょう。

ただ、process_image()メソッド内の処理がエラーを起こさないかどうかはやってみないとわからないので、トライしてみてください。

オチ

当時は私もPythonの知識が乏しく、苦労してコードを作ったのですが後に、PiCameraモジュールにもUSBカメラにも対応した便利なライブラリがあることを知りました。

VideoStream

from imutils.video.pivideostream import PiVideoStream

インポートするライブラリを以下のように変更してあげればよかったのです。

from imutils.video.videostream import VideoStream

ヤレヤレですね。

Answer 2

こんにちは。

エラーメッセージの末尾に注目しましょう。

  File \"/var/isaax/project/camera/main.py\", line 19, in gen
  File \"/var/isaax/project/camera/processor/person_detector.py\", line 38, in get_frame
AttributeError: 'PersonDetector' object has no attribute 'get_output_image'
    ret, image = self.get_output_image(frame)

　（main.py 19行目の）genメソッドから呼んでいる
（person_detector.py 38行目の）get_frameメソッド内で
AttributeError：「'PersonDetector'オブジェクトは'get_output_image'という属性を持っていません」が
ret, image = self.get_output_image(frame) の行で発生している

解決策としては PersonDetectorクラスに get_output_image() というメソッドを定義すればよいです。

Comments

[m_g52]

ご指摘ありがとうございます。
エラーメッセージをコードブロックにて添付いたしました。
エラーメッセージですがプログラム初学者でして、読み方やエラーの内容がわかりません。
どのような原因でエラーが起こっているのか教えていただけますでしょうか。

[firedfly]

よく見ると思ったより複雑ですね……。
ひとまず main.py で VideoCamera の import が重複してるので
下のどちらかをコメントアウトしましょう。

from processor.simple_streamer import SimpleStreamer as VideoCamera
from processor.person_detector import PersonDetector as VideoCamera

[m_g52]

返信ありがとうございます。
from processor.simple_streamer import SimpleStreamer as VideoCamera
の方をコメントアウトしました。
上記のエラーコードを更新しましたので、ご確認おねがいします。

[firedfly]

見てみます。
ところで、どのコードを実行した結果なのかわかりにくいので、
わかりやすく書きつつ、URL記法にしてもらえるとありがたいです。 [Title](URL) みたいな。