デジタル空間への物理的な干渉の実現方法について

Question

前提・実現したいこと

openFrameworksにより物理的な障害物(もしくは手)とデジタルの球体(ボール)の物理演算を行い、デジタル空間への物理的な干渉を実現したいです。イメージとしてはこの動画のようなものを実現したいと考えています。

試したこと

openframeworksでOpenCVとBox2Dのアドオンを追加して以下のようなものを作った。
ボールがペンの輪郭に触れると跳ね返る。(背景はカメラの映像で、白い壁を撮った)

発生している問題・エラーメッセージ

ボールが動いているウィンドウをスクリーン(ホワイトボードなど)に映して動画のようにスクリーン(ホワイトボードなど)の近くに寄って障害物を設置したいが、現在のプログラムの場合、スクリーンに映すウィンドウの背景はカメラ映像が背景になるので結局スクリーンに見えるものは合わせ鏡の無限ループのような映像になってしまいます。しかし、スクリーンをカメラで映さないとなるとボールと障害物の物理演算ができないので困っております。

相談内容のまとめ

①スクリーンに投影するボールが動いているウィンドウの背景を、カメラ映像ではなく、元々白色の背景に設定して映した場合に、その動くボールと障害物との間で動画のような物理的な干渉を起こすにはどのようにしたらよいか。

②　①に関連して、同じウィンドウ内にないもの同士でも、物理演算を使うことは可能かどうか
(今回の場合だと背景を白色に設定した動くボールのウィンドウと、スクリーンと障害物を撮っているカメラ映像のウィンドウ）

補足情報（FW/ツールのバージョンなど）

visual studio 2017使用
openframeworks0.10.1使用　アドオンはofxBox2DとofxOpenCVを使用

Answer 1

動画を見ると、

1. ボールをプロジェクターでスクリーン上に描画する。
2. スクリーンをカメラで撮影して、その情報を元にボールの位置を決める。

となっており、カメラで撮影した映像をそのままスクリーンで写してるわけではないので、合わせ鏡にはなっていません。
カメラで撮影した映像は、ボールの位置を決めるのに使うだけであり、その映像をそのままスクリーンに投影する必要はないと思います。

Comments

[nggn64]

カメラで撮影した映像をそのままスクリーンに投影する必要がないというのは理解できたのですが、その場合は動画の例で言うと、ボールと物理的な四角い枠はどのようにしてリンクさせているのでしょうか。
おそらくopenframeworks内でBox2Dを使っていて、そこで生成されたボールをスクリーンに描画していると思うのですが、それとは関係のない物理的な四角い枠がどのようにしてリンクしているのかが分かりません。そこのプログラムのプロセスが知りたいです。

[tiitoi]

具体的な方法はその動画の人に聞くしかありませんが、投影している座標とカメラで撮影した画像座標の対応関係をまず求める必要があります。
以下のリンクが参考になるのではないでしょうか。
http://labs.1-10.com/blog/projection-mapping-calibration.html

[nggn64]

動画の方に聞くことができました。tiitoiさんがおっしゃる通り、座標の対応関係が重要になってくるみたいです。リンクも参考にさせていただきます。