Python3で取得したH264フレームをOpenCVフレームに読み込みたい

Question

とあるカメラの映像をPython3で読み込みOpenCVで処理を行いたいと考えて試しています
Bufferに読んだ映像フレーム分をOpenCVのFrameに変換する方法がないかを模索しております。
知識不足で恐縮ですが、お分かりになる方がいらっしゃいましたらお願いいたします。

やりたいこと

    picture = tcp_client.recv(DataLen)

上記で読み取ったpictureの変数の中身をOpenCVに1フレームとして取り込みたい

やったこと

以下のコードを含むPythonコードで取得したデータを標準出力に書き出しmplayerにリダイレクト
→　映像を表示することができました

    picture = tcp_client.recv(DataLen)
    sys.stdout.buffer.write(picture)

python3 camera-receiver-mplayer.py 192.168.137.11 | mplayer -fps 10 -nosound -vc ffh264 -noidx -mc 0 -

試したこと

raw_image = picture
image = np.frombuffer(raw_image, dtype=np.uint8)
decoded = image
cv2.VideoWriter_fourcc('H','2','6','4')
cv2.namedWindow("recv",cv2.WINDOW_NORMAL)
frame = cv2.imdecode(decoded, cv2.IMREAD_COLOR)
cv2.imshow("recv", frame)

結果:失敗

OpenCVにフレームが渡せずサイズ認識ができていないように見える

OpenCV Error: Assertion failed (ssize.width > 0 && ssize.height > 0) in resize, file /build/opencv-XDqSFW/opencv-3.2.0+dfsg/modules/imgproc/src/imgwarp.cpp, line 3492

Comments

[退会済みユーザー]

"cv2.VideoWriter_fourcc"は保存する時の道具なので、表示する時には別の方法でないといけないと思います。
http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_gui/py_video_display/py_video_display.html

print(type(image ))
print(image.shape)
の結果を教えてもらえますか？
もしNumpy arrayかつ、(320,240,3)のような回答であれば、
cv2.imshow("recv", image )
cv2.waitKey(0)
でそのまま表示できるはずです。

[jbpb0]

> とあるカメラの映像をPython3で読み込みOpenCVで処理を行いたい

そのカメラには、URLでアクセスできないのでしょうか？

参考
https://qiita.com/haseshin/items/59aed8bae8a1fa88fa21
https://www.yasutomo57jp.com/2010/09/12/opencv%E3%81%8B%E3%82%89%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF%E3%82%AB%E3%83%A1%E3%83%A9%E3%81%AEvideoapi%E3%82%92%E5%88%A9%E7%94%A8/

[jbpb0]

カメラにURLでアクセスできず、

> picture = tcp_client.recv(DataLen)

のデータを使う場合ですが、そのデータがh264でエンコードされてるのなら、たとえば
https://stackoverflow.com/questions/59998641/decode-and-show-h-264-chucked-video-sequence-with-python-from-pi-camera
みたいな方法でデコードしないといけないような

[SSaka]

コメントありがとうございます

fourteenlengthさん

print(type(image ))
<class 'numpy.ndarray'>

print(image.shape)
(22660,)

となっています。

jbpb0さん
カメラはURLアクセス不可のため、ある一定周期でフレームのみを取得する仕様になっています。
フレーム自体はH264エンコードされています。

[jbpb0]

> フレーム自体はH264エンコードされています。

それならやはり、デコードして生動画データにしてからOpenCVに渡すのだと思います

私が前のコメントで紹介した方法以外にも、ググったらPythonでh264のデコードができるものがいくつか見つかるので、そういうもののどれかを使って

[SSaka]

ありがとうございます。

ありがとうございます。
HWがJetsonなので、ここでH264decodeをさせてからOpenCVに渡す方法を検討しようと
現在H264decodeをチャレンジ中です。

まだコマンドがうまく扱えて居なくチャレンジ継続しています。

Answer 1

OpenCV公式によれば、GSTREAMERを使え、とあるので、

リンク先の最佳答案のようなコードが必要かもしれません。

追補

ちょっと調べるとcv2.VideoCapture(URL)というやり方もあるらしく、ソケットを使わず直でやったら動く、はあり得るかもしれません。

以下自力で勝手に思ったことです。参考にならないかもしれません。

print(image.shape)
(22660,)

これだと元の解像度が220*103というヘンテコグレースケールになるのでたぶん圧縮されていると思います。ですので、22660の一次元データを何らかの形で解像度に合致するデータに解凍しないといけなさそうです。

さらに、たぶん、ですが最低でも以下の２つが必要と思います。

• np.frombufferかnp.fromstringバッファをイメージに書き戻す
• 元の解像度に.reshapeする必要がある

Comments

[jbpb0]

> cv2.VideoCapture(URL)というやり方

fourteenlengthさん

> カメラはURLアクセス不可

だそうです
(「質問への追記・修正の依頼」より)

[jbpb0]

https://qiita.com/stnk20/items/242e400853579d511ea3
を見ると、OpenCV公式配布バイナリではgstreamerは有効化されてないので、自前でビルドすれば使えるみたいです

[退会済みユーザー]

補足ありがとうございます。

> カメラはURLアクセス不可
困ったちゃんなカメラですね…。ソケット通信ができるならIPアドレスはありそうなものですが…

> 自前でビルド
PCによりますが10－30はかかりますね。質問者さんのほかの手段がダメだった時の最後の手段的な方法かもしれません。

[SSaka]

fourteenlengthさん、jbpb0さん

ありがとうございます。
jetsonなので、ビルドされたgstreamerが使えそうなのでここにかけてチャレンジしようとしています。
IPアドレスはあるけれど直接敵にRTSPのようなものは使えないので
ストリームを１個１個拾って加工が必要です

Answer 2

元のデータがないので確証はありませんが、以下の方法で出来るかもしれません。

picture = tcp_client.recv(DataLen)

video = []
cap = cv2.VideoCapture(io.BytesIO(picture))
while(cap.isOpened()):
    ret, frame = cap.read()
    if ret:
        video.append(frame)
    else:
        break

Python＋OpenCVで動画を扱うを参考にしました。
「FFmpegがないと読み込むことができません」と注意に書かれているので気を付けてください。

Comments

[SSaka]

ありがとうございます。試してみました。

cap = cv2.VideoCapture(io.BytesIO(pitcure))
TypeError: an integer is required (got type _io.BytesIO)

となりcv2.VideoCaptureで読み込めないという状況でした。
pictureにはH264フレームが1フレームずつ入っていてwhile trueで抜け出すまで
1フレームごとデータが入る形になります。