ステレオ法を用いて距離計測を行いたいです！！

Question

前提・実現したいこと

最終的には２台のWEBカメラでステレオ法を用いて対象物の３次元位置を求めたいです。

発生している問題・エラーメッセージ

まず、２つのカメラの視差（カメラ間距離）が求められなくて困っています。
カメラキャリブレーションで内部パラメータを求めることはできたのですが、視差の求め方(数値)が調べても視差マップなどのみで見つけられませんでした。
また、WEBカメラの焦点距離がサイトに記載されていない場合の求め方もわかりません。

該当のソースコード

	float T = 〇;      //カメラ間距離
	float F = 〇;    //焦点距離
	//float Z = 〇;    //物体距離

	//ピクセル誤差
	float D = pt1.x - pt2.x;
	//焦点距離
	//float f = Z*D/T;
	//推定距離
	float z = F * T / D;

試したこと

上記コードはあるサイトから拝借したものですが、未知数だらけでどうしようもなくなってます。

補足情報（FW/ツールのバージョンなど）

OpenCV4.5.2
C++

Answer 1

カメラキャリブレーションで内部パラメータを求めることはできた

と，

WEBカメラの焦点距離がサイトに記載されていない場合

が，もう矛盾してませんかね．
（焦点距離は内部パラメータの１つでは？）

---

２つのカメラ｛A，B｝でステレオカメラを構成するならば，前処理として，

• カメラAの内部パラメータを得る　（内部パラメータの校正）
• カメラBの〃
• ２カメラ間の相対外部パラメータを得る　（相対外部パラメータの校正）

という作業が必要でしょう．

実際にそのステレオカメラを用いてステレオ視の処理をする際には，
マッチング対応の探索が容易になるように「平行化(rectification)」と呼ばれる処理によって，ステレオ処理対象画像を作るのが普通(?)でしょう．
で，その画像上でのマッチング探索によって各画素の視差[pixel]を求め，その視差[pixel]から奥行を推定する，という話になります．

視差[pixel]を求める処理にはいろんな方法がある様子．
最も単純なのは，エピポーラ線上を走査して各位置での画像相関を調べて最も似てる場所を探すような処理．（「ブロックマッチング」とか呼ぶのかな）．

---

…と，とりあえず最低限必要そうな言葉を羅列しましたので，個々について調査されると良いでしょう．
（OpenCV にも相応の実装が存在するように見えますが，私はそれらを使ったことがなく詳細を知らないのでここでは挙げません）

Comments

[fana]

> 未知数だらけで…

って言うけど，「それらの値を求めること」があなたの行うべき事柄でしょう．
（既知なわけがない）

[fana]

> ２つのカメラの視差（カメラ間距離）が求められなくて困っています

言葉があやしいようにも見えます．

「視差」といったら，ふつーは，「左右の画像上で対象が写っている位置の差」を指すでしょう．（単位は[pixel]）

「カメラ間距離」というのは，あなたが２つのカメラをどれだけ離して設置したか？　という距離であり，単位は[mm]とか[cm]とかでしょう．
ステレオ法では「基線長」とか呼びます．英語っぽく(?)呼ぶ場合は「ベースライン長」とかですかね．

[fana]

※補足：「校正」＝「キャリブレーション」です．

[fana]

> ２台のWEBカメラでステレオ法

どんなWEBカメラをどう使う想定をされているのかわかりませんが……

内部/外部 パラメータのキャリブレーション作業というのは結構なめんどくせぇ作業になり得ますので，
その校正結果がすぐに使えなくなるようだと，ステレオカメラとしての運用は「死ぬほどめんどくせぇ」ことになります．

（ソフトウェア側を用意するよりも前に，まずは運用がめんどくさくないハードウェアの用意方法を考えた方が良い可能性も？？　そうじゃないとソフトウェアのテストをするのも一苦労みたいな…）

[amay]

ご回答いただきありがとうございます。
自分がいろいろ理解出ていないことがよくわかりました...。
カメラはLogicoolのQカムを使用しています。
内部パラメータと焦点距離に関しては求めることができましたが、
視差を求めるために外部パラメータが必要で、それを求めることに苦戦しています。
求めたいのは、カメラ間距離ではなく視差です。これらを一緒だと勘違いしていたためいろいろ可笑しくなっていました。

[fana]

カメラ間の相対外部パラメタの校正は，
「カメラＡの映像でここに写っている点が，カメラＢの映像ではここに写っている」みたいな対応関係を複数個（たくさん）用いて，
「これら全ての写り方を総合してみると…カメラＡとＢの位置関係はこうなってるとしか」っていう推定をする感じですね．

もちろん，用いる複数個の点が互いに全く無関係だと定まりませんので，何かしらの拘束条件になり得る性質をもった点群を用います．

[fana]

個々のカメラの内部パラメータ側の校正作業をどのように行われたのかわかりませんが，
大抵の方法では既知のパターン（有名なのはチェスボードパターンとか）みたいなのを写したデータを使うはずです．

外部側でもまぁ同じような作業をやることになるでしょう．
２カメラの共通視野にパターンを写して…みたいな．