OpenCVで２点のピクセル座標の差を求めるプログラムが分かりません。

OpenCVのテンプレートマッチングで２点ABのピクセル座標（ｘ、ｙ）のそれぞれの値の差を求めるコードを書いています。
２点の座標をテキストに表示するところまではできたのですが、
B-Aの座標が（0,0）と表示されてしまいます。
個人的にmax_pt.xやmax_pt.yが変数だと思い、xaやyaに代入しているのですがそれがされていないまま表示されているのだと思います。
プログラミングは初心者なので基本的な部分が間違っていたらすいません。
ご教授頂けたら嬉しいです。よろしくお願いします。

　　int xa = 0;
	int ya = 0;
	int xb = 0;
	int yb = 0;
	int ba_x = xb - xa;
	int ba_y = yb - ya;

	for (int j = 0; j<2; j++) {
		cv::Mat &tmp_img = tmp_imgs[j];
		cv::Mat result_img;
		// 50 個検出する
		for (int i = 0; i<50; i++) {
			// テンプレートマッチング
			// cv::matchTemplate(search_img, tmp_img, result_img, CV_TM_SQDIFF_NORMED);
			cv::matchTemplate(search_img, tmp_img, result_img, CV_TM_CCOEFF_NORMED);
			// 最大のスコアの場所を探す
			cv::Rect roi_rect(0, 0, tmp_img.cols, tmp_img.rows);
			cv::Point max_pt;
			double maxVal;
			cv::minMaxLoc(result_img, NULL, &maxVal, NULL, &max_pt);
			// 一定スコア以下の場合は処理終了
			if (maxVal < 0.58) break;

			roi_rect.x = max_pt.x;
			roi_rect.y = max_pt.y;

			if (j == 0) {
				std::cout << "A" << std::endl;
				writing_file << "A " << "(" << max_pt.x << ", " << max_pt.y << ")\n";
				xa = max_pt.x;
				ya = max_pt.y;
			}
			else if (j == 1) {
				std::cout << "B" << std::endl;
				writing_file << "B " << "(" << max_pt.x << ", " << max_pt.y << ")\n";
				xb = max_pt.x;
				yb = max_pt.y;
				
			}

			std::cout << "B-A" << std::endl;
			writing_file << "B-A " << "(" << ba_x << ", " << ba_y << ")\n";
		}
		printf("%d\n", j);
	}

	cv::imshow("search image", search_img0);