逆透視投影による座標変換について

Question

画像処理によって画像上のある座標(x,y)(単位：pixel)を求めました．
求めた画像上の座標(x,y)が，実空間上のどこの座標(X,Y,Z)(単位：cm)なのかを求めたいです．
しかし，どのような計算をすればよいのかわかりません．
逆透視投影をつかうことで変換ができるようなのですが，理解できずに困っています．

どなたか計算の仕方や，逆透視投影についてなんでもいいのでご教授いただけると助かります．
よろしくお願いします．

Answer 1

透視図法を仮定したとして、視点Eから投影面上(この場合は画像と考えましょう)の点Pが見えているとき、そのPが「実空間上のどの点にあるか？」しか条件がないと該当する点は無限にあります。ゆえに「実空間上に存在する特定の物体を表す点である」という条件を加えないと一意な解が出ません。

Pが実空間上にある物体(仮に平面の組み合わせで構成されたものとします)の平面L上の点Aを投影したものであるとすると、Aを求めるにはEと投影面の距離とPの関係から求まる3D空間上の直線と平面Lの交点を求めることで得られます。（直線の方程式と平面の方程式の連立方程式を解く問題になります）

こうした計算は例えば「直線 平面 方程式」といったキーワードでヒットする解説サイトなどで考え方を学ぶことで予備知識と計算式が得られると思います。

実際に解く際には座標系をどう設定するかなど前提知識を必要とすると思いますので最小限の基礎も含めて学んでおくといいのではないでしょうか。それを怠ると公式に素朴に座標値を適用したら前提とする座標系と違ったため答えがおかしいといったことになりかねないので。

Answer 2

3Dモデルを画面上に表示、クリックしたモデルの座標を調べる、ということでしたらRay(光線)当たり判定というものがあります。ray intersect等で検索をするといろいろ資料が出てきます。ちなみにレイと読みます。レイ判定とかでも日本語の資料が出てくるでしょう。

Answer 3

もしかしたらご質問の意図に沿っていないかもしれませんが、、
奥行きをほとんど考えなくて良い場合（地面を真上から撮影して、人がどこに立っているのか等）は、単純に画像の四隅の座標(x,y,0)と実空間の座標(x,y,0)を変換するだけで実現できるかと思います。

奥行きを考えなければならない場合は、1枚の写真から三次元情報を正確に取得するのは一般的には不可能かと思います。一枚の写真だけで実現する場合は、ARマーカのように、それ自体から位置情報等を取れる目印をあらかじめ実空間の対象物に配置しておく必要があるかと思います。
（ARToolKitやArUcoなどのオープンソースライブラリがあります）

また、複数枚の写真から3次元の位置を推定する技術もあります。ここに挙げられている研究論文などが参考になるのではないでしょうか？
https://blog.negativemind.com/2015/08/22/opengv/