2次元の画像座標をカメラ座標に変換する方法

Question

2次元の画像の座標をカメラ座標に変換する方法がわからなくて困ってます

環境、ツール

python3.10.4、opencv-python4.5.5.64、numpy1.22.3

内容

pythonで2次元画像のある座標のカメラ座標を算出したいのですが、
どのように与えられてる情報を使えば算出できるかわからず困っております。

与えられている情報は、画像を撮影したカメラのcalibrationの内部パラメータ、外部パラメータ、歪み係数です。

検討内容

https://jp.mathworks.com/help/vision/ug/camera-calibration.htmlを参照すると、
画像座標を内部パラメータで逆変換すると、もしかしたら算出できるかもしれないと思ったのですが、
pythonで逆変換のコードの書き方がわかってないです。

どなたか、詳しい方、アドバイスいただけないでしょうか？

Comments

[matsuda2]

https://jp.mathworks.com/help/vision/ug/camera-calibration.htmlを参照すると、
画像座標を内部パラメータで逆変換すると、もしかしたら算出できるかもしれないと思ったのですが、
pythonで逆変換のコードの書き方がわかってないです。

[fana]

いまさら，且つ，余計なお世話かもですが，
何を やってる/やりたい のか（実際のところ何が必要なのか/何があれば事足りるのか）？
…っていうような話次第で採用し得る手段も変わると思いますから，問う際にそういう情報をもっと出していった方がよかったんじゃないかな？とか．（何なら「本当に測距も必要なのか？」っていうところから）

用いる手段や装置次第で弱点が違ってくる（データにクセがあって扱いに難儀する要素があるとか）可能性もありますから，やりたいことを鑑みて選ぶ必要があるかもしれません．
（ステレオ法はテクスチャ無いところが苦手，TOFは物性次第でデータ取れない，etc）

Answer 1

pythonで2次元画像のある座標のカメラ座標を算出したい

まず、普通のカメラそのものだと距離は割り出せません。

普通のカメラを使って対象座標までの処理を割り出すには、

• カメラを二台並べて視差から距離を割り出す…カメラ同士の距離がカギ
• 対象物にマーカを張り付けて距離割り出す…マーカの見え方がカギ

のどちらかです。
理由は、カメラ単体では画像しかなく、画像に距離を示す情報が一切ないため、カメラの位置関係なのかマーカの見え方から距離の基準が必要なためです。

---

正確でなくてもいい、というのであれば、

• 深層学習による力業で距離感を割り出す

もあります。ただ、先のカメラ側で工夫する方が労力的には簡単です。

いやいや、もっとカメラで工夫しようぜ、ということであれば、

• LiDAR

を検討ください。精度重視であればレーザーを使ったToFタイプ、値段重視であれば赤外線を使うタイプが良いと思います。WEBカメラよりは高いですが、今であれば五万円前後で買えるはずです。

Comments

[matsuda2]

fourteenlengthさん
情報ありがとうございます。
やはり普通のカメラ１台では不可能なのですね。
lidarを検討してみます。

[fana]

質問文の雰囲気から，十中八九そういう話ではないだろうと思いますが，
別に静止画１枚からじゃなくてもOKとかいう話であれば Structure from Motion 的な方向もあり得るかも．

[退会済みユーザー]

fanaさんに+1ですね！SfM(SLAM含む）で、（単位なのか絶対値なのかが抜けてしまいますが）ちゃんと座標まで起こせますね。