OpenCVで確実に固定のフレームレートで撮影、保存が行いたい。

Question

前提・実現したいこと

opencvで、WEBカメラでの撮影時にFPSを確実に固定なものとしたい。

発生している問題・エラーメッセージ

下に現在のソースコードをそのまま載せます。

OpenCVのバージョンは3.4.1
Visual Studio2017を使っています
OSはWindows7ですが、できあがったプログラムは今後Windows10でも動かしたいです。
WebカメラのデフォルトのFPSは30だと思います。

やりたいのは、20FPSで撮影したい。
ということなのですが、
何が何でも秒間20枚間隔で撮影し、保存されるようにしたいのです。

cap.setで設定したFPSでは、微妙に遅延が入るのか、ずれているようです。
CPUのクロックを取得して正確にフレームレートを20に固定し撮影、保存し続けるにはどうしたらいいのでしょうか。

該当のソースコード

#include "main.h"


int main(void) {
	int key;
	int i;
	char captureWindowName[] = "Capture";
	char captureWindowName2[] = "Capture2";
	char name[256];
	cv::Mat frame;
	cv::Mat frame2;

	cv::VideoCapture cap(0);
	cap.set(CV_CAP_PROP_FPS, 20);
	cap.set(CV_CAP_PROP_FRAME_WIDTH, 640);
	cap.set(CV_CAP_PROP_FRAME_HEIGHT, 480);

	cv::VideoCapture cap2(1);
	cap2.set(CV_CAP_PROP_FPS, 20);
	cap2.set(CV_CAP_PROP_FRAME_WIDTH, 640);
	cap2.set(CV_CAP_PROP_FRAME_HEIGHT, 480);


	if (!cap.isOpened()) {
		return -1;
	}
	if (!cap2.isOpened()) {
		return -1;
	}


	cv::namedWindow(captureWindowName, CV_WINDOW_AUTOSIZE);
	cv::namedWindow(captureWindowName2, CV_WINDOW_AUTOSIZE);

	i = 0;
	while (1) {
		cap >> frame;
		cap2 >> frame2;

　　　　　　　　　//ここに保存のプログラムを書きます。　いずれ。
		//sprintf(name, "img-%d.png", i++);
		//cv::imwrite(name, frame);

		cv::imshow(captureWindowName, frame);
		cv::imshow(captureWindowName2, frame2);

		key = cv::waitKey(1);
		if (key == 0x1b)
			break;
	}


	return 0;
}

Comments

[Wind]

正確に20fps（50ms間隔）で録画したいとのことですが、要求精度は具体的に何±msでしょうか？なお安いWEBカメラは性能が低くあまり精度は出ないと思います。精度が必要な場合は正確な撮影トリガーのあるカメラか、ハイスピードカメラを使用する必要があります。

[nuiri1343]

使用しているWEBカメラは回路から自作したものなのでそんなに性能は良くありません……　ご指摘ありがとうございます。　できるだけ精度良くしたいのですが、なにぶんOpenCVを触るのも初めてなのでどれぐらいまで精度を求められるのかわからないのです。　安めのWEBカメラですと、どれぐらいまで精度を上げられるのでしょうか？

Answer 1

まずFPSが安定しない理由として画像フォーマットへの変換（エンコード）による消費時間のばらつきが通常のUSBカメラでは発生します。質問者への質問の中に’カメラは回路から自作’とあったので実現方法としてドライバーを専用に作成する事とOpenCV側も取りこぼさない、また50ｍS毎に取り込む事が必須条件と考えます。具体的にはOpenCVからのキャプチャーをトリガーにして可能ならBMP形式でカメラから映像を出力。通常のWebカメラは１フレーム撮影ー＞エンコードー＞１フレーム撮影ー＞エンコードと繰り返しています。従ってFPSはカメラの最大速度で画像のエンコードの処理時間が変化しますが、前述の方法ではトリガーー＞１フレーム撮影ー＞転送の形になりますので。またPC側の処理能力の方がカメラの内部処理よりパワフルなので出来る限りカメラ側の処理を軽くする事が実現性が高いと思われます。