Zhangのキャリブレーションを行った後、外部パラメータを求める方法

Question

前提・実現したいこと、試したこと

Zhangのキャリブレーションを行うプログラム（下記のプログラム）で
内部パラメータ、外部パラメータ、レンズのゆがみ係数を求めることはできました。

しかし、ここで求められた外部パラメータとは、プログラムに与えた1枚目のチェスボードパターンを
撮影した時の外部パラメータです。

例えば、事前にZhangのキャリブレーションで内部パラメータとゆがみ係数を求めておき、
実験する時にその都度、その状態の外部パラメータを算出するというようなことをやりたい場合
どうしたらいいのでしょうか。

その時もまたZhangのキャリブレーションを行わなければならないのでしょうか。

Webで調べたところ、openCVにはsolvePnPという関数があるようなのですが、
これは前述したような状況の時に使うものでしょうか？
しかし、これを使用する場合、どういう値をどういう形で与え、使用すればいいのかわかりませんでした。
もしよろしければ、使い方を詳しく教えていただけないでしょうか。

該当のソースコード

#include"main.h"


int main(void) {

	const std::string win_src = "Source";
	const std::string win_und = "Undistorted Image";
	const std::string file_cam_param = "cam_param.xml";

	std::vector<Mat> img;
	const int NUM_IMG = 10;
	const Size PAT_SIZE(5, 4);
	float CHESS_SIZE = 1.56;

	std::vector<std::vector<Point3f>> obj_pos(NUM_IMG);
	std::vector<std::vector<Point2f>> img_pos(NUM_IMG);

	TermCriteria criteria(TermCriteria::MAX_ITER | TermCriteria::EPS, 20, 0.001);

	Mat inner;
	Mat distort;
	std::vector<Mat> r_vec;
	std::vector<Mat> t_vec;

	for (int i = 0; i < NUM_IMG; i++) {
		std::string fileName = "./calib_img" + std::to_string(i + 1) + ".jpg";
		img.push_back(imread(fileName));
	}

	for (int i = 0; i < NUM_IMG; i++) {
		for (int j = 0; j < PAT_SIZE.area(); j++) {
			obj_pos[i].push_back(Point3f(static_cast<float>(j%PAT_SIZE.width*CHESS_SIZE), static_cast<float>(j / PAT_SIZE.width*CHESS_SIZE), 0.0));
		}
	}

	for (int i = 0; i < NUM_IMG; i++) {
		std::cout << "calib_img" << i + 1 << ".jpg";
		imshow(win_src, img[i]);
		if (findChessboardCorners(img[i], PAT_SIZE, img_pos[i])) {
			drawChessboardCorners(img[i], PAT_SIZE, img_pos[i], true);
			imshow(win_src, img[i]);
			std::cout << " - siccess" << std::endl;
			waitKey(0);
		}
		else {
			std::cout << " - fail" << std::endl;
			waitKey(0);
			return -1;
		}
	}

	calibrateCamera(obj_pos, img_pos, img[0].size(), inner, distort, r_vec, t_vec);



	Mat extr(4, 4, CV_64F);
	setIdentity(extr);
	Rodrigues(r_vec[0], extr(Rect(0, 0, 3, 3)));
	t_vec[0].copyTo(extr(Rect(3, 0, 1, 3)));

	FileStorage fswrite(file_cam_param, FileStorage::WRITE);
	if (fswrite.isOpened()) {
		fswrite << "extrinsic" << extr;
		fswrite << "intrinsic" << inner;
		fswrite << "distortion" << distort;
	}
	fswrite.release();

	Mat img_undist;
	for (int i = 0; i < NUM_IMG; i++) {
		undistort(img[i], img_undist, inner, distort);
		imshow(win_src, img[i]);
		imshow(win_und, img_undist);
		waitKey(0);
	}

	return 0;



}

補足情報（FW/ツールのバージョンなど）

Windows10
VisualStudio2017
OpenCV-3.4.2

Answer 1

Webで調べたところ、openCVにはsolvePnPという関数があるようなのですが、

これは前述したような状況の時に使うものでしょうか？

外部パラメータのみ推定する場合は、solvePnP() でよいです。
使い方は 公式リファレンス を参照してください。

• objectPoints: 3次元上の点一覧
• imagePoints: キャリブレーションボードで検出した画像座標の点一覧
• cameraMatrix: すでに求めてあるカメラ行列
• distCoeffs: すでに求めてある歪み係数
• rvec: 回転ベクトル
• tvec: 平行移動ベクトル

cv::Mat rvec;
cv::Mat tvec;
cv::solvePnP(
    objectPoints,
    imagePoints,
    cameraMatrix,
    distCoeffs,
    rvec,
    tvec);

回転 rvec は回転ベクトルなので、、回転行列の形式でほしければ、cv::Rodrigues() で変換できます。

Comments

[nuiri1343]

回答ありがとうございます。
solvePnPについてなのですが、
cameraMatrix, distCoeffs, rvec, tvecは
それぞれZhangのキャリブレーションにて導出済みなので
それを利用すればいいとわかるのですが
objectPointsとimagePointsに関しては、
自分で物差しで測ったり等をして変数を用意する必要が
あるのでしょうか？

solvePnPの使い方について使用例等と同時に説明しているサイトを
探したのですが見つけることができませんでした。

[tiitoi]

ご提示のソースコード内で findChessboardCorners() で imagePoints を求めていて、それに対応した objectPoints も作成していますよね。それと同じやり方で作って渡せばいいです。
rvec, tvec が外部パラメータなので、これは導出したものを渡すのではなく、結果を受け取るための引数を参照渡しするものです。

[nuiri1343]

imagePointsを求めるfindChessboardCorners()は、openCVに元からある関数を利用しているのですが
ということは、チェスボードパターンがないとsolvePnPもできないのでしょうか？

[tiitoi]

他に方法はないのかはわかりませんが、基本的にはチェスボードを使って imagePoints は作ります。

[nuiri1343]

チェスボードパターンを画像に写してのsolvePnPの利用が出来ない時、

何かしらの目印となるものを撮影した画像の、目印が写っている画素を手動で計測し、

cv::Point2dの変数のxとyにdouble型の値を代入、
これをimagePointsにpush_backする

というやり方ではsolvePnPを実行できませんでしょうか？

[fana]

必要なのはobjectPointsとimagePointsとの対応データなのだから，好きなものを使えば良い．

[tiitoi]

fana さんがおっしゃるように面倒ですが手動でやってもできると思います。

[fana]

リファレンス見てたら，solvePnPRansac というのもあるみたいですね．
（「目印」から得られるデータの個数と「手動で計測」の精度次第ではこっちを使ってみるという手もありそう）
あと，solvePnPはrvec,tvecを初期値として使えるみたいなので，何か(ある程度良い)近似値が存在するような場面であれば，初期値指定を試してみても良いかも．

[nuiri1343]

ありがとうございます。
できそうな気がします。
助かりました！