OpenCVのcv::VideoCapture::VideoCaptureというメソッドのソースのある場所が知りたい。

Question

###デスクトップの映像をキャプチャしてOpenCVで解析することを目的としています。
そこで、cv::VideoCapture::VideoCaptureという関数を使うのですが、デバイスやUSBで認識されたカメラの映像に対しては反応するのですが、DirectShowで作られているPushSourceDesktopFilterというデスクトップの映像をプッシュするライブラリを用いてウィンドウに表示させたいと考えており、どうやったら実装できるのか現在ソースコードを調べている最中です。

###cv::VideoCapture::VideoCapture関数のありかが分からない
どこかに関数として定義されているのだと思うのですが、どこにあるのか見つかりません。
includeファイルがcv.hとhighgui.hとなっているのでこのどちらかにはあるとは思うのですが、
見つかりません。

もし、関数が定義されているファイルが分かる方いれば教えて下さい。

初心者で何も分かっていなくて申し訳ありませんが、教えてくださる方、調べ方のアドバイスをくれる方いらっしゃいましたら、よろしくお願いします。

Comments

[yohhoy]

「DirectShowで作られているPushSourceDesktopFilterというデスクトップの映像をプッシュするライブラリ」は自前で作られたDirectShow Filterでしょうか？映像ソースフィルタとして正しく登録されていれば、通常のUSBカメラと同じようにOpenCVからアクセスできるはずです。

[watarusugimoto]

WindowsSDKのサンプルソースなので、自前と言うことになると思います。レジストリに登録し、動くかどうかの確認もGraphEditを用いて行ったのですが、GraphEditを使うと動きます。ただ、OpenCVのVideoCaptuer関数は認識してくれませんでした。どのようにすれば良いのでしょうか？includeファイルを間違っているかもしれないと今思ったんですが、定かではないです。
そこから、VideoCaptuerがどうなっているのか気になって調べています。

Answer 1

一般に、OpenCVライブラリはC/C++ヘッダファイル＋ライブラリ(バイナリ)形式で提供されます。内部実装コードまで参照したい場合は、OpenCVソースコード一式を取得してください。

VideoCaptureクラス内部実装は modules/videoio/src/cap.cpp にあります(OpenCV 3.1の場合）。DirectShowの場合、実際の処理はさらに modules/videoio/src/cap_dshow.cpp に委譲されます。

---

WindowsSDKのサンプルソースなので、自前と言うことになると思います。

Windows SDK付属サンプル Push Source Filters Sample でしょうか？同DSF(DirectShow Filter)のDllRegisterServer関数を見ると、単にAMovieDllRegisterServer2に処理委譲しているだけですね。この関数は"普通のDSF"としてレジストリに登録するだけです。

一方、OpenCVのDSFサポート実装ではビデオキャプチャデバイスCLSID_VideoInputDeviceCategoryの列挙を行います。この関数で列挙されるようにレジストリ登録する必要があります。

DSF登録については カテゴリを指定してフィルタを登録する を参考にください。

---

デスクトップの映像をキャプチャしてOpenCVで解析することを目的としています。

上記にごちゃごちゃ書きましたが、「デスクトップキャプチャをOpenCVで解析したい」という目的であれば、DSF経由ではなくWin32APIを使ってデスクトップキャプチャを行い、得られたビットマップデータをcv::Matに変換して扱う方式をお勧めします。

Windows OS環境依存という点ではDSF利用もネイティブAPIも変わりませんし、何より正しく動作するDSFを作るのは結構難しいです。（技術的難易度よりも信頼できる資料があまりにも少ないのです。Microsoft提供のサンプルコードやドキュメントにも結構嘘があり、実際に他モジュールと組み合わせて動かすと障害が出たりします。）

---

（コメントに対する回答追記）

「"普通のDSF"としてレジストリに登録するだけ」とありますが、レジストリに登録すれば関数を使えるのでそれを使ってプログラムを組んだ方が良いという意味でしょうか？

いいえ。Direct ShowはCOM(Component Object Model)技術を利用して作られており、COMではクラスやインターフェイスをWindowsレジストリに予め登録しておく必要があります。言い換えると、DSF（DirectShowフィルタ）をレジストリに登録しておかないと、プログラムから部品として使うことができません。DirectShowを利用しなければ、レジストリ云々は気にしなくて良くなります。

Win32APIを用いたデスクトップキャプチャの方をお勧めするとありますが、GetDesktopWindow関数を用いたキャプチャを行うということでしょうか？Win32apiを用いたデスクトップキャプチャというのがどういうことなのか気になります。

仰る通り、GetDesktopWindow関数を利用したデスクトップキャプチャを意図していました。同関数はWin32API（もしくは単にWindows API）の一種です。

まだ調べている最中ですが、元のモニターの動画とのタイムラグがあると困るので、動画を滑らかにタイムラグがなくキャプチャすることは可能なのかが気がかりです。

Direct Showはマルチメディア処理フレームワークの一種です。PushSourceFiltersSampleを用いてDirectShow経由でOpenCVにキャプチャ映像を取り込む方式でもよいのですが、DirectShowという一般化されたフレームワークを経由する分、確実に処理オーバーヘッドが存在します。同じ処理を行うならば、そのようなフレームワークを経由しない方が処理負荷がずっと小さくなります。

「デスクトップキャプチャをOpenCVで解析したい」という目的に対して、実装も大変で処理オーバーヘッドが増えるDirectShowを無理に使うのは得策ではないという意見です。

Comments

[watarusugimoto]

cap.cppにopen(int index)とありますが、このopen関数をたどっていけば、どの様な処理になっているのか突き止められそうです。下の方にさらにOpenの定義も書いてありますね。ここから読んで行けそうです。ありがとうございます。

[watarusugimoto]

詳しい解答ありがとうございます。自前と書きましたが違ったようです。Windows SDK付属サンプル Push Source Filters Sampleのことでした。
アドバイスいただいた内容について知識不足で色々分からない部分があります。
「"普通のDSF"としてレジストリに登録するだけ」とありますが、レジストリに登録すれば関数を使えるのでそれを使ってプログラムを組んだ方が良いという意味でしょうか？
Win32APIを用いたデスクトップキャプチャの方をお勧めするとありますが、GetDesktopWindow関数を用いたキャプチャを行うということでしょうか？Win32apiを用いたデスクトップキャプチャというのがどういうことなのか気になります。
まだ調べている最中ですが、元のモニターの動画とのタイムラグがあると困るので、動画を滑らかにタイムラグがなくキャプチャすることは可能なのかが気がかりです。
詳しい回答をありがとうございます。

[yohhoy]

"自前"と書いたのは、単にソースコードにアクセスできるか／ブラックボックスの部品かという区分の意でしたので、このケースでは前者（ソースコード有り）ですね。
他コメントについては回答本文をアップデートしました。

Answer 2

そのまま素直に#include <opencv2/opencv.hpp>と#include <opencv2/core>です。ただし、インクルードパスをちゃんと通しておきましょう。

Comments

[watarusugimoto]

それがその場所を見ても関数の定義が書かれていないのでどうやってたどって行ったら良いのか分からずにいます。

[MasahikoHirata]

今、検索したら’videoio.hpp’の中で定義されていました。（opencv 3.1だけど）

[MasahikoHirata]

ついでに各モジュールの関係の参考は、　http://www.buildinsider.net/small/opencv/006

[watarusugimoto]

フォルダのパスを教えてもらっても宜しいでしょうか？

[MasahikoHirata]

どこに'header'を入れてあるかで変わります。Windowsならばファイルの検索で出るとおもいますが。

[watarusugimoto]

class CV_EXPORTS_W VideoCapture
{
public:
/** @brief
@note In C API, when you finished working with video, release CvCapture structure with
cvReleaseCapture(), or use Ptr\<CvCapture\> that calls cvReleaseCapture() automatically in the
destructor.
*/
CV_WRAP VideoCapture();

/** @overload
@param filename name of the opened video file (eg. video.avi) or image sequence (eg.
img_%02d.jpg, which will read samples like img_00.jpg, img_01.jpg, img_02.jpg, ...)
*/
CV_WRAP VideoCapture(const String& filename);

/** @overload
@param filename name of the opened video file (eg. video.avi) or image sequence (eg.
img_%02d.jpg, which will read samples like img_00.jpg, img_01.jpg, img_02.jpg, ...)

@param apiPreference preferred Capture API to use. Can be used to enforce a specific reader
implementation if multiple are available: e.g. CAP_FFMPEG or CAP_IMAGES
*/
CV_WRAP VideoCapture(const String& filename, int apiPreference);

/** @overload
@param index = camera_id + domain_offset (CAP_*). id of the video capturing device to open. If there is a single
camera connected, just pass 0. Advanced Usage: to open Camera 1 using the MS Media Foundation API: index = 1 + CAP_MSMF
*/
CV_WRAP VideoCapture(int index);
…
というところでしょうか？
このVideoCaptureの定義がみたいのですが・・・何故書いていないんだろう？

[MasahikoHirata]

このページ　http://www.buildinsider.net/small/opencv/004　を見てcmakeを使ってインストールの部分を参考にソースを展開されると元ソースがあります。

[MasahikoHirata]

ソースの取得はこっち　http://www.buildinsider.net/small/opencv/003

[watarusugimoto]

ありがとうございます。OpenCV3.1.0のソースは既に持っています。