OpenCvのVideoCaptureについて

Question

windowsでOpenCVのVideoCaptureでrtspのストリームをひらこうとして苦戦しています
[rtsp @ 035d8320] method SETUP failed: 461 Client error
のようなエラーが出ます。
C++とpythonと両方だめでした。opencvのバージョンはC++が3.3.0（Pythonは4.1.0)です
バージョンが違うのはpythonはPIPで取ってきたからです。

コードは

import cv2
import numpy as np
 
# Create a VideoCapture object and read from input file
# If the input is the camera, pass 0 instead of the video file name
cap = cv2.VideoCapture("rtsp://192.168.100.142:8554/in.mp4")
 
# Check if camera opened successfully
if (cap.isOpened()== False): 
  print("Error opening video stream or file")
 
# Read until video is completed
while(cap.isOpened()):
  # Capture frame-by-frame
  ret, frame = cap.read()
  if ret == True:
 
    # Display the resulting frame
    cv2.imshow('Frame',frame)
 
    # Press Q on keyboard to  exit
    if cv2.waitKey(25) & 0xFF == ord('q'):
      break
 
  # Break the loop
  else: 
    break
 
# When everything done, release the video capture object
cap.release()
 
# Closes all the frames
cv2.destroyAllWindows()

#include "opencv2/opencv.hpp"
#include <iostream>

using namespace std;
using namespace cv;

int main(){

  // Create a VideoCapture object and open the input file
  // If the input is the web camera, pass 0 instead of the video file name
  VideoCapture cap("rtsp://192.168.100.142:8554/in.mp4");

  // Check if camera opened successfully
  if(!cap.isOpened()){
    cout << "Error opening video stream or file" << endl;
    return -1;
  }

  while(1){

    Mat frame;
    // Capture frame-by-frame
    cap >> frame;

    // If the frame is empty, break immediately
    if (frame.empty())
      break;

    // Display the resulting frame
    imshow( "Frame", frame );

    // Press  ESC on keyboard to exit
    char c=(char)waitKey(25);
    if(c==27)
      break;
  }

  // When everything done, release the video capture object
  cap.release();

  // Closes all the frames
  destroyAllWindows();

  return 0;
}

のような感じです。
エラーはC++のときは
[rtsp @ 035d8320] method SETUP failed: 461 Client error
warning: Error opening file (/build/opencv/modules/videoio/src/cap_ffmpeg_impl.h
pp:792)
warning: rtsp://192.168.100.142:8554/in.mp4 (/build/opencv/modules/videoio/src/c
ap_ffmpeg_impl.hpp:793)

(testiii.exe:8152): GLib-GObject-CRITICAL **: 08:19:30.750: g_object_set: assert
ion 'G_IS_OBJECT (object)' failed
Error opening video stream or file

pythonのときは
[rtsp @ 000000000044a740] method SETUP failed: 461 Client error
warning: Error opening file (/build/opencv/modules/videoio/src/cap_ffmpeg_impl.h
pp:901)
warning: rtsp://192.168.100.142:8554/in.mp4 (/build/opencv/modules/videoio/src/c
ap_ffmpeg_impl.hpp:902)
Error opening video stream or file

となります。
C++については１日かけてopencvをgstreamer付きでビルドして見ましたが変わりませんでした。
これから見るにやはりffmpegがキーらしいですが、OpenCV3.3.0のビルドに今使っているffmpegはビルドインで最初からあったものです。（cmake完了時ffmpegの表示がでるが、ON（prebuild binaries)とでる）
たぶんC++でそうだってことはPythonもおなじようなFFMPEGを使ってるのでしょう。最初からONなので考えていませんでしたがこのデフォルトのFFMPEGが今は怪しいと考えております。

で自前でダウンロードしたffmpegを入れるべきか？と考えていますが、（そのffmpegについてきたffplayだとrtspが出せるのは見ている）まずやり方がよくわかりません。LINUXならpkgconfigとかの話だったとおもいますがWINDOWSでもそうなのでしょうか？

そしてなにか全体的に他の案をしっている人はいませんか？

Answer 1

method SETUP failed: 461 Client error

RFC2326 Real Time Streaming Protocol (RTSP) によると、エラーコード 461 は "Unsupported Transport" つまりクライアント(OpenCV/FFmpeg)が要求するネットワークトランスポートが利用できないことを表します。（RTSPでは下層トランスポートにUDP or TCPを選択できます。デフォルトはUDP）

https://github.com/opencv/opencv/issues/8478 でも同様事象が報告されていますが、RTSPサーバ側の設定を変更するか、クライアント側の変更・リビルドが必要になる気がします。

To prevent network glitches / video stream disconnection / etc OpenCV forces TCP transport protocol. You should reconfigure your rstp server for TCP support or use non-FFmpeg OpenCV backend (Gstreamer?).

Comments

[kokawa2003]

だからopencvの中のFFMPEGを更新すればと考えておりまする

[yohhoy]

どうでしょうね。下記コードを見る限りは、OpenCV側コードのFFmpegモジュール操作コードを直接編集しないとダメっぽい気がします。
https://github.com/opencv/opencv/blob/3.1.0/modules/videoio/src/cap_ffmpeg_impl.hpp#L581

[kokawa2003]

むかしANDROID用のOpenCVをクロスコンパルしたことがあったけど、そのときはLINUXでpkgconfigでffmpegを外から入れられた。

[yohhoy]

FFmpegライブラリ自身のデフォルト動作は RTSP/UDP ですが、OpenCV側からFFmpegに対して明示的に RTSP/TCP で動作するようにオプション指定しています。
ですので、FFmpegライブラリだけををいくら差し替えても(おそらく)無駄だと思いますよ。

[kokawa2003]

ありがとうございます。じゃサーバーをTCPに変更、もしくはFFMPEGで動画を受信してからOpenCVにわたす。のどっちかで行きます。ＡＩ関係のからみがありＰＹＴＨＯＮで

[kokawa2003]

でもSTREAMINGでTCPってのは今どき当たり前なのかな？

[yohhoy]

https://github.com/opencv/opencv/blob/4.1.0/modules/videoio/src/cap_ffmpeg_impl.hpp#L872-L885
OpenCV 4.1であれば環境変数OPENCV_FFMPEG_CAPTURE_OPTIONS経由でFFmpegオプションを制御できるようです。

[kokawa2003]

今日C＋＋からpytonをよんでMatを渡せるようににしましたが、このやりかたもかんがえます。

[kokawa2003]

https://qiita.com/kokawa2003/items/bd6dccd7c2d5f1bf2773

[kokawa2003]

set OPENCV_FFMPEG_CAPTURE_OPTIONS=rtsp_transport;udp
のあとでvideocaptureでOKなのを確認しました。
ありがとうございました