OpenCV2 C++ オセロの画像の白と黒を文字にして出力

Question

黒と白の数を数えてどちらの方が多いかまではできたのですが一つ一つ白黒を出力していく方法がわかりません。

入力画像

出力例

このように出力したいです

//略

int main(int argc, const char * argv[]){
    //画像変数の宣言
    cv::Mat src_img, gray_img, dst_img, bin_img, bin_img2, tmp_img;
    //変数宣言
    int ku, si;
    
    std::vector<std::vector<cv::Point>> contours;
    std::vector<std::vector<cv::Point>> contours2;

    //1. 入力画像をカラーで入力
    src_img = cv::imread(FILE_NAME, cv::IMREAD_COLOR);
    if (src_img.empty()) {//入力失敗の場合
        fprintf(stderr, "Cannot read image file: %s.\n", FILE_NAME);
        return (-1);
    }
    dst_img = cv::Mat::zeros(src_img.size(), CV_8UC1);

    //2. グレースケール画像
    cv::cvtColor(src_img, gray_img, cv::COLOR_BGR2GRAY);
    //3. 二値化
    cv::threshold(gray_img, bin_img, TH, MAX_VAL, cv::THRESH_BINARY_INV);
    cv::threshold(gray_img, bin_img2, TH2, MAX_VAL, cv::THRESH_BINARY);
    
    //4. 膨張縮小処理
    cv::dilate(bin_img, bin_img, cv::Mat(), cv::Point(-1,-1), COUNT);
    cv::erode(bin_img, bin_img, cv::Mat(), cv::Point(-1,-1), COUNT*2);
    cv::dilate(bin_img, bin_img, cv::Mat(), cv::Point(-1,-1), COUNT);
    
    cv::dilate(bin_img2, bin_img2, cv::Mat(), cv::Point(-1,-1), COUNT);
    cv::erode(bin_img2, bin_img2, cv::Mat(), cv::Point(-1,-1), COUNT*2);
    cv::dilate(bin_img2, bin_img2, cv::Mat(), cv::Point(-1,-1), COUNT);
    
    
    //5.黒のコマの数を検出
    tmp_img = bin_img.clone();
    cv::findContours(tmp_img, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_NONE);
    std::cout << "黒 = " << contours.size() << std::endl;
    
    ku = contours.size();
    
    //6.白のコマの数を検出
    tmp_img = bin_img2.clone();
    cv::findContours(tmp_img, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_NONE);
    std::cout << "白 = " << contours.size() << std::endl;
    
    si = contours.size();
    
    //7.どちらが勝ったかの測定
    if(ku>si){
        std::cout << "黒の勝ち\n";
    }else if(si<ku){
        std::cout << "白の勝ち\n";
    }else{
        std::cout << "引き分け\n";
    }
    
    return 0;
}

Answer 1

まず，その絵だけを見ると，何故に findContours なんて方法をとっているのか？　というあたりから疑問です．
（何らかの意図や前提条件的な理由等があるのであれば，質問文内に明記してください）

---

（入力画像に対する相応の事前知識を用いて良いならば，ですが，）
示されているような入力画像においては
「画像上での各マスの中央位置」というのは簡単に求めることができる（≒「既知」と言える）のではないのでしょうか？
あとは単にそれぞれの場所の色を相応に見てやればよいだけでしょう．

---

以下の例では，マスの中央っぽい場所の1pixelだけを見ていますが，必要に応じて少し広い範囲を見て判断する等すれば良いでしょう．
（ShowImg は単に見ている場所を視覚化するための物で，処理には無関係）

int main()
{
	cv::Mat SrcImg = cv::imread( "Othello.png", cv::IMREAD_GRAYSCALE );
	if( SrcImg.empty() )return 0;
	
	cv::Mat ShowImg = cv::Mat::zeros( SrcImg.size(), CV_8UC3 );
	cv::cvtColor( SrcImg, ShowImg, cv::COLOR_GRAY2BGR );

	cv::threshold( SrcImg, SrcImg, 127, 255, cv::THRESH_BINARY );
	const double UnitW = SrcImg.cols / 8.0;
	const double UnitH = SrcImg.rows / 8.0;
	for( int y=0; y<8; ++y )
	{
		int PosY = cvRound( (y+0.5)*UnitH );
		for( int x=0; x<8; ++x )
		{
			int PosX = cvRound( (x+0.5)*UnitW );
			bool IsWhite =( SrcImg.at<unsigned char>(PosY,PosX) > 127 );
			std::cout << ( IsWhite ? "白" : "黒" );
			cv::circle( ShowImg, cv::Point(PosX,PosY), 3, cv::Scalar(0,0,255), -1 );
		}
		std::cout << std::endl;
	}
	cv::imshow( "ShowImg", ShowImg );
	cv::waitKey();
	return 0;
}

Answer 2

オセロ盤の各マス（正方形）を検出することから出発すれば，
既存の「投稿 2021/08/18 17:25」の回答とは異なり，
回転具合だけでなく「マスの辺の長さ ≒ 隣接するコマの中心間距離の理想値」も同時に推定できる．
（→その推定結果情報の用途としては該回答と同じ）

背景にある程度ゴミがある画像

…を入力とした結果がコレ↓
（画像中央に，｛推定した長さで，推定した方向を向いた｝線分を黄色で描画してある）

int main()
{
	cv::Mat ColorImg = cv::imread( "Othello_with_Noise.png" );
	if( ColorImg.empty() )return 0;

	//contour検出
	std::vector<std::vector<cv::Point>> Contours;
	{
		cv::Mat GrayImg;
		cv::cvtColor( ColorImg, GrayImg, cv::COLOR_BGR2GRAY );
		cv::threshold( GrayImg, GrayImg, 80, 255, cv::THRESH_BINARY );
		cv::findContours(GrayImg, Contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_NONE);
	}
	//※ColorImgを以降，結果描画用途に使いまわす
	ColorImg *= 0.4;
	cv::drawContours( ColorImg, Contours, -1, cv::Scalar(0,0,255) );	//検出されたcontour群を赤で描画

	//マスのサイズと回転角度の推定
	int Angle_Deg;
	int GridSize;
	{
		cv::Mat VotingSpace = cv::Mat::zeros( 90, std::min( ColorImg.rows, ColorImg.cols )/8, CV_8UC1 );
		const double SizeRateThresh = 0.9;
		for( int i=0; i<Contours.size(); /*NOP*/ )
		{
			auto rect = cv::minAreaRect( Contours[i] );
			if( (rect.size.width < rect.size.height*SizeRateThresh) || (rect.size.height < rect.size.width*SizeRateThresh) )
			{	Contours.erase( Contours.begin()+i );	continue;	}
		
			int iSize = cvRound( (rect.size.width + rect.size.height)*0.5f );
			int iAngle = cvRound( rect.angle );
			if( iAngle<0 )iAngle+=360;
			if( iAngle>=360 )iAngle-=360;
			iAngle = iAngle % 90;
			VotingSpace.at<unsigned char>( iAngle, iSize )++;
			++i;
		}
		cv::drawContours( ColorImg, Contours, -1, cv::Scalar(0,255,0) );	//投票に参加したcontourを緑で描画

		cv::Point maxIdx;
		cv::GaussianBlur( VotingSpace, VotingSpace, cv::Size(3,3), 0 );
		cv::minMaxLoc( VotingSpace, NULL, NULL, NULL, &maxIdx );
		Angle_Deg = maxIdx.y;
		GridSize = maxIdx.x;
	}
	//結果表示
	std::cout << "Estimated Grid Size = " << GridSize << std::endl;
	std::cout << "Estimated Rotation[deg] = " << Angle_Deg << std::endl;
	{	//推定結果（マスのサイズと回転角度）を可視化する方法として，画像のど真ん中に線分として引いてみる
		int cx = ColorImg.cols/2;
		int cy = ColorImg.rows/2;
		double Angle_Rad = RadFromDeg( Angle_Deg );
		cv::line( ColorImg, cv::Point(cx,cy), cv::Point( cx+cvRound(GridSize*cos(Angle_Rad)), cy+cvRound(GridSize*sin(Angle_Rad)) ), cv::Scalar(0,255,255), 3 );
	}
	cv::imshow( "ColorImg", ColorImg );
	cv::waitKey();
	return 0;
}

Comments

[fana]

既存の「投稿 2021/08/18 17:25」の回答
と比較して，ゴミに対する耐性がちょっとだけあるかな，と．

示した簡素な実装は，大多数のコマがマスの内側に収まっていることを前提としている．
（結果例で緑で囲まれていないマスのように）コマがグリッド線をちょっと隠しているような場所も扱えるようにするなら，ちょっとだけcontour検出を工夫すればよい．
例えば，前処理にモルフォロジを入れるだけでもちょっとした切れ目は塞げるだろうし，
コマと盤の下地との間に境界ができるように二値化するのでもよいだろう．

Answer 3

質問コードの状況（findContoursでcontour群を見つけたけど，ここからどうするか？）から出発する形で方法を考えるならば……

検出した各contourの間の相対的な位置関係に着目すれば，
（方向の近さと距離の近さをパラメタとする適当な評価関数をでっちあげて用いる等することで）
「このcontourの右隣はこのcontourで…」といった隣接関係を推定することができ，8x8 のグリッド状の並びを推定できるはずだ．
→それができたら後は白黒を表示すればいい．

「隣接contourがあるハズの方向」については，画像が無回転なのだという前提を用いてよいならば自明であるし，
下図のように単純な回転がある程度の話ならば，輝度勾配の主たる方向から回転量を推定できる（オセロのコマは丸いから^^）．

てきとーに回転させた画像から実際に簡素な処理で輝度勾配から推定した方向を赤線で重畳した．
この程度の推定精度でも「隣はどれだろう？」に用いるには十分であろう．

Comments

[fana]

* とりあえずこのような話にすれば，マスのサイズは既知情報でなくてもよい．

* 回転を考慮する場合，最終的に白黒の並びを表示する際に左上のマスってどれだよ？って話が出てくるだろうから，無回転前提なのだと思うが．

---

OpenCVタグのこれ系の質問は全く応答なしで放置される率が妙に高いように感じるな．

[fana]

輝度勾配を使うとなると「背景部分が邪魔になるじゃん」とかなんとかいう話も考えるべきだろうけども，
本件はどう見ても人工的な綺麗な画像を相手にしている話だろうから，そういう話は考慮しないものとした．