3次元画像復元のコードについて

Question

2枚の画像(左画像と右画像)からステレオ法により，物体の3次元情報を抽出しようとしています.画像内容は図形（三角錐，直方体など）が重なって配置してあるものです．
カメラパラメータは未知であるが，平行ステレオで撮影されており，カメラ中心間の距離，直方体のある一つの頂点の奥行き（撮影者からの距離）はわかっている状態です．
この状態から，画像内の図形の頂点座標を抽出，さらには撮影位置以外の地点から撮影したらどのような画像になるかを知りたいです

精度は悪いですが，一枚の画像から頂点を抽出しプロットすることには以下のコードで成功しました．
しかし，カメラ中心間の距離，直方体のある一つの頂点の奥行き（撮影者からの距離）を用いずopenCVを用い実装したため，2枚の画像を組み合わせて，3次元の座標を抽出できていません．
解決方法を教えていただきたいです．また，さらに，別方面からの撮影画像の生成の方法を教えていただきたいです．

import cv2
import numpy as np

filename = 'left.jpg'
img = cv2.imread(filename)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

# find Harris corners
gray = np.float32(gray)
dst = cv2.cornerHarris(gray,2,3,0.04)
dst = cv2.dilate(dst,None)
ret, dst = cv2.threshold(dst,0.01*dst.max(),255,0)
dst = np.uint8(dst)

# find centroids
ret, labels, stats, centroids = cv2.connectedComponentsWithStats(dst)

# define the criteria to stop and refine the corners
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 100, 0.001)
corners = cv2.cornerSubPix(gray,np.float32(centroids),(5,5),(-1,-1),criteria)

# Now draw them
res = np.hstack((centroids,corners))
res = np.int0(res)
img[res[:,1],res[:,0]]=[0,0,255]
img[res[:,3],res[:,2]] = [0,255,0]

cv2.imwrite('subpixel5.png',img)

Answer 1

幾何計算にカメラを用いるんだけども，カメラの内部パラメータの校正は行わない（面倒だから？）という状況なのでしょうか？

とりあえず，与えられている既知の条件から，
【２カメラの画像上での特徴点の座標から，その特徴点の３次元座標を復元するための数式に必要なカメラパラメータの値】
は推定する必要があるのではないでしょうか．

---

わりと投げやりな話(?)になりますが…

カメラパラメータは未知

とのことですが，カメラモデルには何か仮定を置けるのでしょうか？
例えば，「歪はほとんどないから，とりあえずピンホールカメラモデルで考えてＯＫ」とか．

　↓

仮に，とりあえず２カメラ共にピンホールカメラモデルで考えてよくて，
且つ，光軸点位置も，まぁ，画像中心と見なしてもいいや(!)的な状態で考えて良いとしたら…
未知のカメラパラメータは２つのカメラのfになるでしょう．これをf1とf2と書くとき，

平行ステレオで撮影されており，カメラ中心間の距離，直方体のある一つの頂点の奥行き（撮影者からの距離）はわかっている

という既知の条件から式を立てて，f1とf2を解くことができればよいわけです．
当方，数学が弱いので，１点の奥行情報だけからこの２つを求められるのか？に関してちょっと自信ないですけど，
もし無理なら

• 奥行が既知の点の個数を増やす方向に条件を緩和できないか？
• より乱暴に，f1=f2 と見なしてしまってもよいか？

等の方向を考えることになるのかもしれません．