png画像の解析処理「文字認識とその位置、画像の認識とその位置」を知りたい

Question

以下のような画像があります。

」

認定済みか、申請中のどちらかに〇がついているのですが、どちらに〇がついているのか判別する実装方法はありますでしょうか？形式は「png」です。
C#で実装しているのですが、Pythonで実装して結果をC#に読み込んだりするやり方でも構いません。

C#で「Tesseract.Net SDK」使って文字読み取って認識する。ところまでは調べたのですが、〇がついているかまで解析するやり方ってあるんでしょうか？

C#やPythonで使用できるライブラリーなどはあったりしますでしょうか？

追記：
「認定済み」および「申請中」という文字の認識とその位置、〇の画像の認識とその位置がわかれば、組めるかもしれません。
今、Pythonの「OpenCV、pyocr／Tesseract-OCR」あたりで出来るのではないかと調べています。質問の内容も曖昧だったようで失礼しました。

Comments

[Yamamin]

かしこまりました。もう少し編集します。

[fana]

相手にする画像がどんなものか？という話の前提がどこまでなのか？　を示す必要があるかと思います．

例えば，
【「認定済」と「申請中」は四角い枠で囲まれていて，前者は枠内の左側に，後者は枠内の右側に位置する】といった前提を設けて良いならば，文字を認識する必要は無く，丸が左右のどっち側にあるかだけから判断すればよいかもしれません．

[Yamamin]

ご回答ありがとうございます。紙をスキャンしたデータで、他の情報も入っているので位置だけでは心もとないかもしれません。「認定済み」および「申請中」という文字の認識とその位置、〇の画像の認識とその位置がわかれば、組めるかもしれません。
今、Pythonの「OpenCV、pyocr／Tesseract-OCR」あたりで出来るのではないかと調べています。質問の内容も曖昧だったようで失礼しました。

[hoshi-takanori]

認定済と申請中の文字は印刷で、⚪︎は手書きか判子で、紙をスキャンしたものを認識したいということでしょうか？
印刷なら文字の場所を探すのは何とかなりそうな気もしますが、スキャンの時に傾いたり上下が逆だったり濃さが違ったり、いろいろあるのでしょうね…。

[Yamamin]

ご回答ありがとうございます。

>⚪︎は手書きか判子で、紙をスキャンしたものを認識したいということでしょうか？
その通りです。今、Pythonで出来ないか試しています。

[fana]

利用可能ないくつかの前提知識を用いて
最終的な判断処理（どっちに〇がついているかを判断する）をシンプルにするための前処理を用意できないか？を考えてみてはどうでしょう．

例えば，
特定のフォーマットの用紙をスキャンする状況で，「認定済」のような文字が手書きではなく印刷なのであれば，
前述した「丸が左右のどっち側にあるかだけから判断」といったようなシンプルな形に持っていくことは不可能ではないように思えます．
用紙のフォーマットが既知であれば，見るべき箇所が画像のどのあたりにあるハズなのかはわかっています．
用紙にある程度の罫線が存在するならば，それを利用することで，スキャン時の用紙の傾きを補正することもできるでしょう．
「認定済」「申請中」が印刷されたものであるならば，OCRを持ち出して文字を認識せずとも，画像パターンの探索で済むように思えます．

[fana]

…といったことが可能であれば，最終的には，「質問に提示されたような画像から〇がどこについているかを判断する」という話に持っていけるでしょう．
（着目範囲が絞り込めている＝用紙の他の部分は見なくて良く，スキャンの傾きは概ね解消されており，範囲内の「認証済」「申請中」の位置も概ね分かっている状況）

この段では，〇がハンコ（サイズや形のブレが少ないと期待できる）なのか手書き（サイズや形のブレが大きいかもしれない）なのか，どちらの場合もあり得るのか，といった前提によって，考えるべきことは変わるかもしれません．

[YAmaGNZ]

なんらかの印のついているものを検出するのであれば、印の付いていない画像と比較してその差異の量で判断できたりしませんかね？

Answer 1

とりあえず，質問に提示された画像から，その〇の位置を探すとしたら，
下記に示すような，あきれるほど単純な処理でも十分であろうと思います．

（下記コードはOpenCVを使用しており，C#でOpenCVを使ったことが無いのでC++で書いていますが）

int main()
{
    //（ここは画像の読み込み処理です）
    cv::Mat Img = cv::imread( "Check.png", cv::IMREAD_GRAYSCALE );
    if( Img.empty() )return 0;

    //円の半径[pixel]（太いので２種類）
    const int r1 = 30;
    const int r2 = 33;
    //↑の２乗値
    const int Sq_r1 = r1*r1;
    const int Sq_r2 = r2*r2;

    //画像内を走査し，
    //各着目画素位置(cx,cy)において，(cx,cy)からの距離が r1～r2 である画素の色を調べて，
    //黒い画素の個数をカウントする．
    //最もカウント数が多い箇所を〇の中心だと判定する．
    int BestCx = -1;
    int BestCy = -1;
    int BestScore = 0;

    for( int cy=r2; cy+r2<Img.rows; ++cy )
    {
        for( int cx=r2; cx+r2<Img.cols; ++cx )
        {
            int score = 0;  //黒い画素個数カウンタ
            for( int dy=-r2; dy<=r2; ++dy )
            {
                const int Sq_dy = dy*dy;
                const int y = cy + dy;
                const unsigned char *pI = Img.ptr<unsigned char>( y );
                for( int dx=-r2; dx<=r2; ++dx )
                {
                    const int Sq_dx = dx*dx;
                    const int Sq_r = Sq_dx + Sq_dy;
                    if( Sq_r < Sq_r1  ||  Sq_r2 < Sq_r )continue;

                    if( pI[ cx+dx ]<128 ){  ++score;    }  //画素(x,y)が黒いかどうか
                }
            }

            if( score > BestScore )
            {
                BestScore = score;
                BestCx = cx;
                BestCy = cy;
            }
        }
    }

    {//結果表示：赤〇を描画して示す
        cv::Mat ShowImg( Img.size(), CV_8UC3 );
        cv::cvtColor( Img, ShowImg, CV_GRAY2BGR );

        cv::circle( ShowImg, cv::Point(BestCx,BestCy), (r1+r2)/2, cv::Scalar(0,0,255), 2 );
        cv::imshow( "Result", ShowImg );
        if( cv::waitKey() == 's' )
        {   cv::imwrite( "Result.png", ShowImg );   }
    }

    return 0;
}

結果：

Comments

[Yamamin]

ご回答ありがとうございます。上記の方法でPythonのOpenCVがあったので出来ました。文字は同じくPythonを使って「tesseract + pyocr」の組み合わせで文字認識と、文字を位置を取得することが出来ました。