途上opecvでの連続撮影

Question

opencvで静止画を30fpsで連続撮影を行いたいです。

現在は、使用しているカメラ（IMAGINGSOURCE社 産業用USB3.0カメラ）のIC Capture
を使用しているのですが、PCの性能上フレーム落ち（こま落ち）がひどいため、改善したいと考えています。

そこで、opencvで30fpsで連続撮影を行い、撮った画像をハードに保存するのではなく、メモリにコピーしておき、全ての撮影終了後にハードに保存することで、フレーム落ちを減らすことができないかと考えています。

opencvでの30fpsでの連続撮影のプログラムを教えていただけたらと思います。また、約1000枚近くの画像を、メモリにコピーしておくことは可能でしょうか？
もし可能であれば、その部分のプログラムも含めて教えていただけたらと思います。

opencv2.4.9を使用しています。よろしくお願いします。

リンク内容

以上のページを参考しています。

使用用途上、動画から静止画切り出しは実行しにくいです。
撮影時に、フレーム落ちを減らす方法があれば教えてほしいです。

Comments

[MasahikoHirata]

まずマシンのスペックとかも開示された方が良いのでは？またカメラの解像度なども。それは平均的な１画面の容量を知る為に必要なのでは。参考までに私の環境ではLマイクロソフトのLife-CAMを1920x1080で使用して33fpsで一画面が約2.3Mです。yamataさんは1000枚と仰ってるので単純に計算しても2.3Gi以上のメモリーを必要としますね。手っ取り早くSSDで高速なドライブを実現された方が良いのでは？（PCのメモリーは今後何かのアプリで占有される可能性も否定できませんし）

[can110]

カメラ付属ツール・SDKやフリーツールで動画保存→静止画切り出しも検討してはいかがでしょうか？

[yamata]

私も、メモリーが不足することを考えていませんでした。高速ドライブを実現とはどのような意味でしょうか？

[yamata]

なるほど。検討してみたいと思います。フレーム落ちの可能性を減らすことが出来るのでしょうか？

[can110]

マシンスペックや動画コーデックによるので断言できません。まずは試してみては？

[yamata]

試したいと思います。やり方を調べているのですが、opencvでないと出来ないのでしょうか？フリーソフトなどもあるのでしょうか？

[can110]

回答欄に記載します。

Answer 1

カメラ付属ツール・SDKなりを利用して、動画保存→静止画切り出しを検討してはいかがでしょうか？

提示されている製品名などから、以下のツール・SDKが利用できるかと思います。
The Imaging Source ダウンロードサイト

Comments

[yamata]

IC Imaging Controlは私自身、使いこなせていません。その他で、行う方法はないでしょうか？

[can110]

私なら、まずは付属・公式のツール・SDKを調査し利用できないか努力しますが。
目的に沿わないようであれば、これ以上回答できることは私にはありません。

[yamata]

すいません。ありがとうございました。

Answer 2

ともかくまずはフリーラン：表示やキー入力待ち等を一切行わず、ひたすらframeをカメラから読み出すコード書いて走らせました? それで毎秒30frame回せなかったらどう頑張っても無理やし。

それと、1-frameでどれだけのメモリを必要としますか? 1-frameで1MBとすると1000枚で1GBのメモリが必要、
それだけのメモリをあらかじめ確保できますか?

Comments

[yamata]

ICCaptureというソフトで30fpsでまわせることが分かっているのですが、やってみます。
なにも処理を行わずに、ひたすらフレーム数を呼び出すということでしょうか？一応、opencvでも、使用するカメラが30fpsで撮影可能なことは確認しあります。

確かに、考えていませんでした、、、
他にフレーム落ちを減らす方法はありますか？

[yamata]

一応、30fpsのフレームレートを得られることをopencvで確認はしてあります。ですが、ひたすら走らせることはやっていないのでやってみたいと思います。なにも処理を行わずに、30fpsの撮影するプログラムがわかりません。

すいません。そこまで考えていませんでした。なにか方法はありますか？

Answer 3

’フリーソフトなどもあるのでしょうか？’
私が普段使っていてopencvのvideo libraryより速いのがフリーのソフト（というか面白いことにheaderファイルとして存在している）のがewclibと同じ作者のesplib。ベクターなんかにあるますよ。しかしopencvのバージョンによってはBGRAとBGRの変換がうまくいかなかったりで自分で変換の関数つくったりしました。一度ページを見ると面白いでしょうね。
実際にはewcの関数使ってカメラからの映像を一旦bmpで保存（保存先はSSDのドライブ）で、その後、opencvでゆっくり処理してます。

ESCを押すか1000枚撮影まで撮影のサンプル

        int i;
        char OUTBIN[50];
        i = 0;
	//画像入力＆表示
	for (;;) {
		if (ESP_STOP) break;
		if (EWC_IsCaptured(0)) {
			EWC_GetImage(0, ESP_VramPtr[0]);
			ESP_Update_(0);
                        sprintf(OUTBIN,"%d.bin",i++);
			fileerror = fopen_s(&fp, OUTBIN, "wb");
			fwrite(ESP_VramPtr[0],EWC_GetBufferSize(0) , 1, fp);
			fclose(fp);
			remove(CRFILE);
			ESP_Locate(0, -1);
			ESP_Printf("FPS:%f", 1.0 / ewc_s[0].ftime);
		}
		if (ESP_GetButtonBox(0)) EWC_PropertyPage(0);
                if( i > 1000 )
                    break;
	}

	r = EWC_Close(0);                //カメラ終了
	ESP_Printf("\nEWC_Close(0)=%d\n\n", r);
	ESP_DestroyImage(0);    //ウィンドウ終了

```

![イメージ説明](6b768b4542ff7ee328dd150ca54f46ec.png)
下が正解。

Comments

[yamata]

使い方がよくわかっていないのですが、このソフトをopencvで動かすということでしょうか？
また、そのためのプログラムも全てopencvで行うということでしょうか？

[MasahikoHirata]

私は単体で動かしました。一応、opencvとの連携の例もページで示されています。

[yamata]

非常に興味深い物でした。30fpsでの画像の連続撮影だけをesplibで行いその後の、テンプレートマッチングなどは、opencvで行うことも可能とあったのですが、
30fpsでの静止画の連続撮影を教えてはいただけないでしょうか？

[MasahikoHirata]

良いですよ。後にこの回答欄を修正してサンプルソースを載せます。ちょっと作成するので待ってください。またewclibならカメラの輝度や彩度、フォーカスなどの設定もopencvなどと比べれば格段に使いやすいです。また'.h'の形なので必要な部分だけ無駄なく実装できますし。

[yamata]

ありがとうございます。よろしくお願いします。

[yamata]

ありがとうございます。
現在、
http://www.geocities.jp/in_subaru/esplib/help/part1.html
のページを参考に環境を整えているのですが、書いてあることをやっても
esplib.hのソースファイルが開けませんというエラーが出ます。
私のミスだとは分かっていますが、どこに原因があることが多いでしょうか？

[MasahikoHirata]

ヘッダーでしょ？プロジェクトのソースのディレクトリにESPLIB.Hは置いてありますか？

[MasahikoHirata]

参照のページを見ると'#include <esplib.h>'。コンパイラのC++の’追加のインクルードパス’に'ESPLIB.H'を格納しているパスを追加してください。

[yamata]

追加したのですが、#include "stdafx.h"を追加しろとエラーが出て、追加したのですが、未解決の外部シンボル_mainが関数_tmainCRTStartupで参照されました。とエラーが出ます。
esplib.hはディレクトリに置いてあります。

[MasahikoHirata]

’未解決の外部シンボル_mainが関数_tmainCRTStartupで参照されました。’プロジェクトを作成する’時に’回答’の画像を参考に選んでください。

[yamata]

作り直したところ、
COFF への変換中に障害が発生しました: ファイルが無効であるか、または壊れています。
というエラーがでるようになりました。

[MasahikoHirata]

それはリンカーのエラーです。設定をもう一度、EWCLIB及びESPLIBのヘルプをよく読んで確認されてください。（私も初めに引っかかりました）

[yamata]

インクリメンタルを有効にするを、いいえに変更したところ実行できました。
ありがとうございます！
プログラムについていくつか教えていただきたいのですが、画像の撮影保存はどの箇所になるのでしょうか？また、30fpsで撮影という数値を変更することも可能でしょうか？

[MasahikoHirata]

EWCLIBのヘルプの中の’フォーマット情報を取得してからカメラを使用する例’を試してみてください。この中でfpsなどの設定がカメラ情報から選択できます。映像保存は回答の例の中’ fileerror = fopen_s(&fp, OUTBIN, "wb");’で’OUTBIN’にファイル名、その後、’ fwrite(ESP_VramPtr[0],EWC_GetBufferSize(0) , 1, fp);’でファイルに出力しています。

[yamata]

すいません。EWCLIBのヘルプの中に’フォーマット情報を取得してからカメラを使用する例’という項目がないのですが、
OUTBINにファイル名とありますが、ファイル名をImage0001のように連番に順番をつけることも可能でしょうか？

[yamata]

すいません、ありました。

[MasahikoHirata]

’Image0001のように連番に順番をつけることも可能’です。’フォーマット情報を取得してからカメラを使用する’は　http://www.geocities.jp/in_subaru/ewclib/help/ewclib24_help.html　の中、’//対応フォーマットの一覧を表示し，フォーマットとFPSを指定して画像入力’で検索してみてください。

[MasahikoHirata]

先ずは例を動作させて、内容を確認されると以後使えるライブラリ？（ヘッダーだけど）で役に立つと思いますので。

[yamata]

ありがとうございます。
'qedit.h': No such file or directoryというエラーが出て調べているのですが、Windows SDKが必要であり、私は、v7を使っており、7からだと使えないと見たのですが、6をダウンロードする必要があるのでしょうか？

[MasahikoHirata]

いえいえ。'qedit.h'を入れるだけ。ありかは続いてコメントします。

[MasahikoHirata]

qedit.hの参考サイト。　http://www.independence-sys.com/weblog/item/209　この記載を参考に用意してください。

[yamata]

6からコピーしないといけないみたいなので、ダウンロードしたいと思います。
また、後でわからないことがあれば教えていただけたらと思います。

[yamata]

すいません。環境を整えることが出来ませんでした。v7をダウンロードし、v6にある'qedit.h'をコピーしようとしています。
しかし、VC++で、プラットフォームツールをv100からWindows7SDKに変更しようとしているのですが、選択できません。
もう少し時間がかかりそうです。

[MasahikoHirata]

頑張って下さい。きっと後々に役立つモジュールですので。逆に手間を掛けさせ申し訳ない。これを超えるとvc++で容易にアプリが作れます。（opencv込みで。ただしnamespaceのバッティングに注意）

[yamata]

大変、遅くなりました。無事に使用できるようになりました。

また、わからないことがあれば質問させていただきます。
ありがとうございます。

[yamata]

http://www.geocities.jp/in_subaru/ewclib/help/ewclib24_help.html#e16
上のページの ’フォーマット情報を取得してからカメラを使用する例’
を現在参考にしています。
30fpsで画像の撮影を行い、Cドライブに連番で保存するにはどのようにしたらいいのでしょうか？

[MasahikoHirata]

ファイル名を連番で作製して保存すれば出来ると思いますが。