openframeworksでのofxOpencvとofxBox2dの組み合わせプログラムの実行において

前提・実現したいこと

openframeworksでのofxOpencvとofxBox2dの組み合わせプログラムの実行したい。
visual studio 2017使用

発生している問題・エラーメッセージ

コマンドプロンプトにおいて以下のように表示されました。実行してカメラで映した映像が画面に表示されるのですが、すぐに固まって消えてしまい、プログラムが終了してしまいます。以下のSETUPの下から4行目の文が関係しているように思うのですが、いまいちよく分かりません。

SETUP: Setting up device 0
SETUP: Microsoft Camera Front
SETUP: Default Format is set to 1920 by 1080
SETUP: trying requested format RGB24 @ 320 by 240
SETUP: trying format RGB24 @ 320 by 240
SETUP: trying format RGB32 @ 320 by 240
SETUP: trying format RGB555 @ 320 by 240
SETUP: trying format RGB565 @ 320 by 240
SETUP: trying format YUY2 @ 320 by 240
SETUP: trying format YVYU @ 320 by 240
SETUP: trying format YUYV @ 320 by 240
SETUP: trying format IYUV @ 320 by 240
SETUP: trying format UYVY @ 320 by 240
SETUP: trying format YV12 @ 320 by 240
SETUP: trying format YVU9 @ 320 by 240
SETUP: trying format Y411 @ 320 by 240
SETUP: trying format Y41P @ 320 by 240
SETUP: trying format Y211 @ 320 by 240
SETUP: trying format AYUV @ 320 by 240
SETUP: trying format Y800 @ 320 by 240
SETUP: trying format Y8 @ 320 by 240
SETUP: trying format GREY @ 320 by 240
SETUP: trying format OTHER @ 320 by 240
SETUP: couldn't find requested size - searching for closest matching size
SETUP: closest supported size is YUY2 @ 640 360
SETUP: Capture callback set
SETUP: Device is setup and ready to capture.

[notice ] ofxBox2d:: - world created -
[notice ] particleIterations 1
[notice ] particleIterations 1

該当のソースコード

以下がofApp.cppのコードです。

C++
1#include "ofApp.h"
2
3//--------------------------------------------------------------
4void ofApp::setup() {
5	ofBackground(0, 0, 0);
6	ofSetFrameRate(60);
7
8	//vidGrabber.listDevices();//デバイスリスト
9	//vidGrabber.setDeviceID(2);//デバイスのID選択
10
11	//幅320pixel、高さ240pixelでビデオ取り込み初期化
12	vidGrabber.initGrabber(320, 240);
13	//OpenCVで解析する320pixel x 240pixelのカラー画像の領域を確保
14	colorImg.allocate(320, 240);
15	//OpenCVで解析する320pixel x 240pixelのグレースケール画像の領域を確保
16	grayImage.allocate(320, 240);
17	//背景画像として320pixel x 240pixelのグレースケール画像の領域を確保
18	grayBg.allocate(320, 240);
19	//背景との差分画像として320pixel x 240pixelのグレースケール画像の領域を確保
20	grayDiff.allocate(320, 240);
21	//背景の学習モードを真に
22	bLearnBakground = true;
23	//閾値を100に
24	threshold = 100;
25
26	//Box2D初期設定
27	box2d.init(); //Box2Dの世界を初期化
28	box2d.setGravity(0, 1); //重力を設定、下に5の力
29	box2d.createBounds(0, 0, colorImg.width, colorImg.height); //画面を壁で囲む
30	box2d.setFPS(30); //30fpsで表示
31	box2d.checkBounds(true);
32
33	//CustomCircleを1コ配置
34	static const int NUM = 1;
35	for (int i = 0; i < NUM; i++) {
36		Customcircle circle;
37		//ofPtr<ofxBox2dCircle> circle = ofPtr<ofxBox2dCircle>(new ofxBox2dCircle);
38		circle.setPhysics(1.0, 0.8, 0.0);
39		circle.setup(box2d.getWorld(), ofRandom(colorImg.width), ofRandom(colorImg.height), 3);
40		circles.push_back(circle);
41	}
42}
43
44
45//--------------------------------------------------------------
46void ofApp::update() {
47	//box2d更新
48	box2d.update();
49
50	//新規にフレームを取り込んだかを判定する変数
51	bool bNewFrame = false;
52	//最後に取り込んだフレームから変化があったかを判定
53	vidGrabber.update();
54	bNewFrame = vidGrabber.isFrameNew();
55	//新規のフレームの場合とりこみ実行
56	if (bNewFrame) {
57		//OpenCVで解析するカラー画像領域に取得した映像を格納
58		colorImg.setFromPixels(vidGrabber.getPixels());
59		//取り込んだカラー映像をグレースケールに変換
60		grayImage = colorImg;
61		//新規に背景を記録する場合
62		if (bLearnBakground == true) {
63			//現在の取り込んだグレースケールイメージを記憶
64			grayBg = grayImage;
65			//背景の記録をしないモードに戻す
66			bLearnBakground = false;
67		}
68		//背景画像と現在の画像の差分の絶対値を取得
69		grayDiff.absDiff(grayBg, grayImage);
70		//差分画像を設定した閾値を境に二値化
71		grayDiff.threshold(threshold);
72		//二値化した差分画像から、輪郭を抽出する
73		contourFinder.findContours(grayDiff, 20, (340 * 240) / 3, 10, false);
74		//境界線の円をクリア
75		for (int i = 0; i < contourCircles.size(); i++) {
76			contourCircles[i].get()->destroy();
77		}
78		contourCircles.clear();
79		//検出された物体(Blobs)の数だけ分析
80		for (int i = 0; i < contourFinder.nBlobs; i++) {
81			for (int j = 0; j < contourFinder.blobs[i].pts.size(); j += 4) {
82				//輪郭線にそって等間隔に座標を抽出
83				ofPoint pos = contourFinder.blobs[i].pts[j];
84				//輪郭線に並べるofxBox2dCircleを追加
85				ofPtr<ofxBox2dCircle> circle;
86				circle->setup(box2d.getWorld(), pos.x, pos.y, 4);
87				//Vector配列contourCirclesに追加
88				contourCircles.push_back(circle);
89			}
90		}
91	}
92}
93
94//--------------------------------------------------------------
95void ofApp::draw() {
96	//画面に対する映像の比率を計算
97	float ratioX = ofGetWidth() / 320;
98	float ratioY = ofGetHeight() / 240;
99
100	//検出した解析結果を表示
101	ofPushMatrix();
102	//画面サイズいっぱいに表示されるようリスケール
103	ofScale((float)ofGetWidth() / (float)grayDiff.width, (float)ofGetHeight() / (float)grayDiff.height);
104	//ソースの映像を描画
105	ofSetColor(255, 255, 255);
106	colorImg.draw(0, 0);
107	//解析結果を描画
108	contourFinder.draw();
109	//境界線の円を描画
110	ofNoFill();
111	ofSetColor(255, 0, 0);
112	//for (int i = 0; i < contourCircles.size(); i++) {
113		 //contourCircles[i].draw();
114	for (int i = 0; i < contourFinder.nBlobs; i++) {
115		contourFinder.blobs[i].draw(360, 540);
116	}
117	//CustomCircle描画
118	for (int i = 0; i < circles.size(); i++) {
119		circles[i].draw();
120	}
121	ofPopMatrix();
122}
123

以下がmain.cppです

C++
1#include "ofMain.h"
2#include "ofApp.h"
3
4//========================================================================
5int main( ){
6	ofSetupOpenGL(1024, 768,OF_WINDOW);
7
8	ofRunApp(new ofApp());
9
10}
11

試したこと

発生している問題・エラーメッセージで記した、SETUPの下から4行目の文が関係しているように思うのですが、いまいちよく分かりません。ただ、外部にカメラを接続して(Webカメラ)やると、この表示は出てきませんでした。しかし、同じように画面がすぐに消えてしまいます。

SETUP: couldn't find requested size - searching for closest matching size

補足情報（FW/ツールのバージョンなど）

ボールは１つだけ表示されていますが、画面はすぐに消えます。

###追記
的確なアドバイス本当にありがとうございます。見づらいのでこちらに書かせていただきました。
逐次動作確認をしながら調べた結果、おそらく輪郭線に並べるofxBox2dCircleを追加の2文目(circle->setupから始まる)のところが関係しているように思います。その文を入れないと動くのですが、入れると動かずに画面が消えます。また、境界線の円を描画のところで以下のコードを入れると、drawのところに以下のように出ました。ただ、ofxBox2dCircle.hを見たところdrawがあると思うのですが違うのでしょうか。また、円が重力で落ちたりするはずなのですがそれも動いていないです。

C++
1//検出された物体(Blobs)の数だけ分析
2		for (int i = 0; i < contourFinder.nBlobs; i++) {
3			for (int j = 0; j < contourFinder.blobs[i].pts.size(); j += 4) {
4				//輪郭線にそって等間隔に座標を抽出320 * 240
5				ofPoint pos = contourFinder.blobs[i].pts[j];
6				//輪郭線に並べるofxBox2dCircleを追加
7				ofPtr<ofxBox2dCircle> circle;
8				circle->setup(box2d.getWorld(), pos.x, pos.y, 4);
9				//Vector配列contourCirclesに追加
10				contourCircles.push_back(circle);
11			}
12		}

境界線の円を描画のところ

E0135 class "std::shared_ptr<ofxBox2dCircle>" にメンバー "draw" がありません

行動規範の内容に同意します

回答1件

ベストアンサー

今回はちょっと意地悪に（笑）エラーメッセージのこの部分をみて何か気づくことはありませんか？
しかもWebカメラを変えればエラーは発生しないという現象も確認できていますね。
英語が苦手であればGoogle翻訳に任せるだけでもある程度意味は拾えるかと思います。

SETUP: couldn't find requested size - searching for closest matching size
SETUP: closest supported size is YUY2 @ 640 360
SETUP: Capture callback set
SETUP: Device is setup and ready to capture.

対象のWebカメラでサポートされている最も近いサイズが640x360で、自動的にそれが選択されているようですが、コード内で定義している画像サイズ（確保しているメモリ等）は 320x240 なので、プログラム的には「え！？うそ？話と違う！！」ということになっています。
※もしかするとこれ以外にも原因がある可能性がありますが、まずはこの問題を解決してみてください。

投稿2019/10/18 07:38

Kapustin

総合スコア1186

nggn64

2019/10/18 11:39

Webカメラでサポートされている最も近いサイズとコード内で定義している画像サイズを同じに設定したところ、先ほどのエラーは解消できましたが、Couldn't find preview pin using SmartTeeというようなエラーが表示され、実行してもすぐに消えてしまいます。内蔵のカメラで実行するとこのエラーは出ないときがありますが、やはりすぐに画面が消えてしまします。vidGrabber.setDeviceIDによってカメラのIDを変えながら試しましたがうまくいきませんでした。

Kapustin

2019/10/18 12:09 編集

ひとまず解像度のエラーが解消されたようでよかったです。現状の問題に関しては、そちらのエラーで検索すると同じ問題を抱えた人の投稿がいくつかヒットします。それらの記事を参考にしてみてください。 https://answers.opencv.org/question/145521/opencv-32-and-videocapture-not-work/ https://github.com/opencv/opencv/issues/8677

nggn64

2019/10/18 13:07

ありがとうございました。すでに両方の記事は読んでいました。Windowsの更新プログラムを確認したり、パソコンを再起動させてみたりしましたがなかなか直りません。

Kapustin

2019/10/18 13:11

こちらは試しましたか？ My case, open Settings -> Privacy -> Camera Camera On -> Off -> On and then it works. But, I don't know whether it is exact solution or not.

nggn64

2019/10/18 13:42

はい、試してみましたが直りませんでした。

Kapustin

2019/10/18 13:51

うーん、残念です。ちなみに、Couldn't find preview pin using SmartTee以外のログは出力されていませんか？

nggn64

2019/10/18 14:34

見にくいですが、こんな感じです。 ***** VIDEOINPUT LIBRARY - 0.2000 - TFW2013 ***** [notice ] --- VIDEOINPUT SPY MODE! SETUP: Looking For Capture Devices SETUP: 0) BUFFALO BSW32KM03 USB PC Camera SETUP: 1) Microsoft Camera Front SETUP: 2) Microsoft Camera Rear SETUP: 3 Device(s) found [notice ] --- [notice ] ofDirectShowGrabber: initGrabber(): choosing 0 SETUP: Setting up device 0 SETUP: BUFFALO BSW32KM03 USB PC Camera SETUP: Couldn't find preview pin using SmartTee SETUP: Default Format is set to 640 by 480 SETUP: trying requested format RGB24 @ 640 by 480 SETUP: trying format RGB24 @ 640 by 480 SETUP: trying format RGB32 @ 640 by 480 SETUP: trying format RGB555 @ 640 by 480 SETUP: trying format RGB565 @ 640 by 480 SETUP: trying format YUY2 @ 640 by 480 SETUP: trying format YVYU @ 640 by 480 SETUP: trying format YUYV @ 640 by 480 SETUP: trying format IYUV @ 640 by 480 SETUP: trying format UYVY @ 640 by 480 SETUP: trying format YV12 @ 640 by 480 SETUP: trying format YVU9 @ 640 by 480 SETUP: trying format Y411 @ 640 by 480 SETUP: trying format Y41P @ 640 by 480 SETUP: trying format Y211 @ 640 by 480 SETUP: trying format AYUV @ 640 by 480 SETUP: trying format Y800 @ 640 by 480 SETUP: trying format Y8 @ 640 by 480 SETUP: trying format GREY @ 640 by 480 SETUP: trying format OTHER @ 640 by 480 SETUP: Capture callback set SETUP: Device is setup and ready to capture. [notice ] ofxBox2d:: - world created - [notice ] particleIterations 1 [notice ] particleIterations 1

Kapustin

2019/10/18 14:59

下記のコードでカメラの表示機能だけ試してみてください。 //-------------------------------------------------------------- void ofApp::setup(){ ofBackground(0, 0, 0); ofSetFrameRate(60); //vidGrabber.listDevices();//デバイスリスト //vidGrabber.setDeviceID(2);//デバイスのID選択 //幅640pixel、高さ360pixelでビデオ取り込み初期化 vidGrabber.initGrabber(640, 360); //OpenCVで解析する640pixel x 360pixelのカラー画像の領域を確保 // colorImg.allocate(640, 360); colorImg.allocate(640, 360, OF_IMAGE_COLOR); } //-------------------------------------------------------------- void ofApp::update(){ //新規にフレームを取り込んだかを判定する変数 bool bNewFrame = false; //最後に取り込んだフレームから変化があったかを判定 vidGrabber.update(); bNewFrame = vidGrabber.isFrameNew(); //新規のフレームの場合とりこみ実行 if (bNewFrame) { //OpenCVで解析するカラー画像領域に取得した映像を格納 colorImg.setFromPixels(vidGrabber.getPixels()); } } //-------------------------------------------------------------- void ofApp::draw(){ //検出した解析結果を表示 ofPushMatrix(); //ソースの映像を描画 ofSetColor(255, 255, 255); colorImg.draw(0, 0); ofPopMatrix(); } //-------------------------------------------------------------- コードを記載する中で気になったのですが、colorImgはofImageクラスですか？（初期化の時にイメージフォーマットを指定する必要がありそうですが、、）また、念の為実行環境などについて下記を質問文に追加してください。・実行OS（mac?widows?バージョン？）・openframeworksのバージョン・ofApp.hファイル万が一上記のコードで実行できない場合、もし他のwebカメラがあればそちらでも試してみてください。

nggn64

2019/10/19 01:18

上記のコードでカメラの表示機能だけ試してみた結果、内蔵カメラ、Webカメラともに動きました。WebカメラではCouldn't find preview pin using SmartTeeの表記が出ましたが動きました。colorImgはofxCvColorImageクラスです。実行OSはWindows10で、openframeworksのバージョンは0.10.1です。以下にofApp.hファイルを示します。 #pragma once #include "ofMain.h" #include "ofxOpenCv.h" #include "ofxBox2d.h" #include "../Customcircle.h" class ofApp : public ofBaseApp { public: void setup(); void update(); void draw(); void keyPressed(int key); void keyReleased(int key); void mouseMoved(int x, int y); void mouseDragged(int x, int y, int button); void mousePressed(int x, int y, int button); void mouseReleased(int x, int y, int button); void mouseEntered(int x, int y); void mouseExited(int x, int y); void windowResized(int w, int h); void dragEvent(ofDragInfo dragInfo); void gotMessage(ofMessage msg); // ofxBox2dに関連する変数 ofxBox2d box2d;// vector <Customcircle> circles; //浮遊する円のVector配列 vector < ofPtr<ofxBox2dCircle> > contourCircles; //境界線に配置する円のVector配列 // ofxOpenCvに関連する変数 ofVideoGrabber vidGrabber; //ビデオ入力 ofxCvColorImage colorImg; //OpenCVで扱うカラーイメージ ofxCvGrayscaleImage grayImage; //OpenCVで扱うグレースケールイメージ ofxCvGrayscaleImage grayBg; //背景のグレースケールイメージ ofxCvGrayscaleImage grayDiff; //背景との差分のグレースケールイメージ ofxCvContourFinder contourFinder; //輪郭抽出のためのインスタンス bool bLearnBakground; //背景を記録したかどうか int threshold; //背景の差分の閾値 };

Kapustin

2019/10/19 01:39 編集

補足情報ありがとうございます。 ※質問文は修正できるので、できればコメントではなく、そちらに追記した方が見やすくなります！カメラのキャプチャ〜表示は特に問題なく動いたということなので、元のコードと上のコードの差分に不具合が発生しうるバグが含まれていることになります。逐次動作確認をしながら、現状のコード（上のコード）に質問文のコードの機能を少しづつ足していき、問題になっている部分を推定してみてください。（一例ですが、大まかに）・カメラから取得した画像を処理する部分のコードを少しずつ追加し、動作確認・box2Dに関するコードを少しずつ追加し、動作確認

nggn64

2019/10/19 03:58

追記させていただきました。

Kapustin

2019/10/19 04:27 編集

現状のソースコード全体が把握できないため、推測ですが・・ circle->setup(box2d.getWorld(), pos.x, pos.y, 4); で落ちる件について・box2d.getWorld()関数を呼び出していますが、box2dインスタンスはきちんと初期化されていますか？・pos.x, pos.y, の値は適切ですか？円が重力で落ちたりするはずなのですがそれも動いていないです。・box2dを更新する関数を呼び出していますか？ class "std::shared_ptr<ofxBox2dCircle>" にメンバー "draw" がありません・ドット演算子とアロー演算子を混同していませんか？・関数の呼び出し方は適切ですか？おそらく参考サイトのプログラムをコピペしている部分もあると思いますが、あまり急がずに一つ一つの関数や変数の作用・役割きちんと理解していくと、問題解決が早くなるかと思います。合わせてC++言語の基礎も復習してみてください！

nggn64

2019/10/28 03:18

お返事遅くなってしまって申し訳ありません。時間はかかってしまいましたが、何とかプログラムを完成させて動かすことができました。まだ少しおかしなところがあるので直しています。的確なアドバイスをしてくださり本当にありがとうございます。

Kapustin

2019/10/29 02:37

問題解決できたようでよかったです！openFrameworks面白いですよね。上のアドバイスだけで解決できたようなので、コードの挙動についてそれなりに理解が深まっているとお見受けします。ぜひ残りの不具合も頑張ってみてください！

行動規範の内容に同意します