２値画像の形状を強調する方法

Question

目的

２値画像の形状を強調したいです．

入力２値画像(図1左上)を適当なサイズのガウシアンフィルタでぼかして(図1右上)から
(白と黒の中間値を閾値として)２値化すれば「形状が丸く」なります(図1右下)．
とがっていた部分は丸く，輪郭部における白と黒のせめぎ合い具合が弱くなります．

やりたいことはこれとは逆方向の処理です．
つまり，白と黒が互いにより浸食し合うような形状を生成する方法を得たいです．
結果形状のイメージを図2に赤線で示します（これはイメージを手で描いたものです）．

処理方法をご教示願いたく，宜しくお願い申し上げます．

図1

左上：入力，右上：ガウシアンフィルタでぼかしたもの
左下：後述のやってみた方法の結果，右下：形状が丸くなる処理の結果

図2：欲しい処理結果のイメージ

自身でやったこと

輪郭の座標値をオフセットする方法を思いつき，試したのですが，処理結果(図1左下)は思わしくありません．

• 輪郭形状が変．
  全体的に細かくギザギザしているし，先端部はふにゃふにゃな形になっている．
• 図内左上の円形が大きくなってしまうのが所望の結果と異なる．

また，できればこのような方法ではなくて，
「丸く」する側の処理のような，輪郭座標値を陽に扱わない方法が希望です．
（ぼかした結果に対して画素毎に異なる閾値を与えて２値化すれば所望の形状が得られるのではないか？と考えているのですが，
肝心の妥当な閾値を決める処理をどうすればよいのか？というところで行き詰っております．）

//思いつきでやってみた形状強調処理(結果は思わしくない)
//
//処理概要：
//  入力Contour[k]に関する，結果Result[k]は，
//  近隣（Contour[k-Wnd]～Contour[k+Wnd]）の座標平均GとContour[k]との差deltaを用いて，
//      Result[k] = Contour[k] + Rate*delta
//          where delta = Contour[k] - G
//  ただし，deltaが閾値以下の場合は
//      Result[k] = Contour[k]
//  とする．
//[Args]
//  Contour : 入力形状（外周画素群の座標）
//  WndR : 参照する近隣範囲
//  Rate : 強調率
//  IgnoreDeltaThresh : ごく小さい変化を強調しない用の閾値
//[Ret]
//  結果形状（外周画素群の座標）
std::vector<cv::Point> EnhanceShape( const std::vector< cv::Point > &Contour, int WndR, float Rate, float IgnoreDeltaThresh=1.0f )
{
    WndR = std::max( 1, WndR );
    const int WndSize = 2*WndR + 1;
    const float SqThresh = IgnoreDeltaThresh * IgnoreDeltaThresh;

    const int N = (int)Contour.size();
    std::vector< cv::Point > Result = Contour;

    for( int i=0; i<N; ++i )
    {
        //近隣重心G
        int SumX=0;
        int SumY=0;
        for( int k=-WndR; k<=WndR; k++ )
        {
            int kk = i+k;
            if( kk>=N )kk-=N;
            if( kk<0 )kk+=N;

            SumX += Contour[kk].x;
            SumY += Contour[kk].y;
        }
        float GX = (float)SumX / WndSize;
        float GY = (float)SumY / WndSize;
        //delta
        float dx = Contour[i].x - GX;
        float dy = Contour[i].y - GY;
        //Result
        if( dx*dx + dy*dy > SqThresh )
        {
            Result[i].x += cvRound( Rate*dx );
            Result[i].y += cvRound( Rate*dy );
        }
    }
    return Result;
}

int main()
{
    //原画(2値画像とする)
    cv::Mat Src = cv::imread( "Blobs.png", cv::IMREAD_GRAYSCALE );
    cv::imshow( "Src", Src );

    {//形状が丸くなる処理
        cv::Mat Blurred;
        const int KernelSize = 41;
        cv::GaussianBlur( Src, Blurred, cv::Size(KernelSize,KernelSize), 0 );
        cv::imshow( "Blurred", Blurred );

        cv::Mat Rounded;
        cv::threshold( Blurred, Rounded, 128, 255, cv::THRESH_BINARY );
        cv::imshow( "Rounded(Thresh128)", Rounded );
    }

    {//形状を強調したい
        //外周画素座標をいじくってみるテスト
        std::vector< std::vector< cv::Point > > Contours;
        cv::findContours( Src, Contours, cv::RETR_LIST, cv::CHAIN_APPROX_NONE );
        for( auto &Cont : Contours )
        {   Cont = EnhanceShape( Cont, 15, 4 ); }

        {//結果表示
            cv::Mat Show( Src.rows, Src.cols, CV_8UC3 );
            Show = cv::Scalar(255,0,0);
            Show.setTo( cv::Scalar(0,96,0), Src );
            for( int i=0; i<(int)Contours.size(); ++i )
            {   cv::drawContours( Show, Contours, i, cv::Scalar(0,0,255) ); }
            cv::imshow( "TestResult", Show );
        }
    }

    cv::waitKey();
    return 0;
}

---

やったことの追記

ぼかした結果に対して画素毎に異なる閾値を与えて２値化

に関して，質問後に試行した内容を追記しておきます．（もちろん，解決していません．）

各位置の閾値を高くすべきか低くすべきか？のヒントは，元画像と形状を丸めた画像との差分から得られるであろう，と考えました．
（元画像で白だった部分が丸めた結果黒になったならば，その逆処理を行うにはその付近の閾値を小さく与えれば良く，元画像で黒だった部分が白に変わった箇所の付近では閾値を大きく与えればよい）
問題は，「付近」にその情報をどのようにして伝達すればよいか？という部分で，ここがまだ未解決です．

図3は，とりあえず簡単に試せる伝達手段として，モルフォロジとガウシアンフィルタを用いてみた結果です．
図3左が閾値マップで，図3右がそれを用いて図1右上のぼかし画像を２値化した結果です．
大まかな形はなんとなく図2の方向に向かっているようにも見えますが，
元の形状でとがっていた部分が残念な形になっています→これは閾値マップ生成時の「付近への伝達」手段に点広がり的な方法を用いたためであると思います．
何か指向性のある(?)伝達手段を用意できれば，改善するのかもしれません．

図3：変動閾値試行結果

Answer 1

次の2通りの方法があると思います。

1. 輪郭抽出後、輪郭に対して処理を行い理想の形にする。
2. 2値画像を理想の形にしてから輪郭抽出する。

2の方法で少し考えてみました。
図2として記載されている形には現状できなかったのですが、distanceTransform() で距離画像を作成した後、うまく処理をして抽出したい輪郭の形の2値画像を作成できないかと考えました。

結局、いいアイデアが思いつかずうまくいっていないのですが、現状の結果を載せておきます。
なにか考えが浮かんだら追記します。

OpenCV - distanceTransform() で距離変換を行う

import cv2
import numpy as np
import matplotlib.pyplot as plt

binary = cv2.imread("sample.png", cv2.IMREAD_GRAYSCALE)

# NOT 演算を適用する。
binary = cv2.bitwise_not(binary)

# 輪郭抽出する。
contours, hierarchy = cv2.findContours(
    binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
)

dst = np.zeros_like(binary)  # 結果の2値画像

# 輪郭ごとに処理する。
for cnt in contours:
    # マスク画像を作成する。
    mask = np.zeros_like(binary)
    cv2.drawContours(mask, [cnt], -1, color=255, thickness=-1)

    # 距離画像を作成する。
    dist = cv2.distanceTransform(mask, cv2.DIST_L2, 3)

    # 距離画像の値が一定以上かどうかで2値化する。
    ret, thresh = cv2.threshold(dist, dist.max() * 0.3, 255, cv2.THRESH_BINARY)

    # 結果の2値画像に追加する。
    dst = cv2.bitwise_or(dst, thresh.astype(np.uint8))

    # 可視化する。
    fig = plt.figure(figsize=(10, 5))

    ax1 = fig.add_subplot(1, 2, 1)
    ax1.set_title("mask")
    ax1.imshow(mask, cmap="gray")

    ax2 = fig.add_subplot(1, 2, 2)
    ax2.set_title("distance image")
    ax2.imshow(dist)

# 輪郭抽出する。
contours, hierarchy = cv2.findContours(dst, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# 輪郭を描画する。
copy = cv2.cvtColor(dst, cv2.COLOR_GRAY2BGR)
cv2.drawContours(copy, contours, -1, color=(0, 255, 0), thickness=2)

# 可視化する。
fig, ax = plt.subplots()
ax.imshow(copy)
plt.show()

3つのオブジェクトのうちの1つの距離画像

結果

追記

他に試したこと

輪郭抽出したあと、重心を求めて、凹んでる部分は重心側に、凸の部分は重心と反対側に引っ張ってみましたが、あまりうまくいきませんでした。

Comments

[fana]

検討いただき感謝です．
目的の処理を「丸くする」処理の逆変換だと考えれば，閾値処理とガウシアンの畳み込みの逆処理を書ければ何かできそうかな？とか思っていたのですが，
>距離画像
を使えば閾値処理の逆の処理を疑似的に書けそうですね．輪郭からの距離に応じたガウス関数値を画素値とする絵を作る感じで．
（ガウシアン畳み込みの逆は…ウィナーフィルタ？とか何とかで周波数の世界で戦う話になりそうですが，無学ゆえに難易度高い…）

[tiitoi]

力になれず、すみません。自分も信号解析等は詳しくないのです。

今回の課題は図1左上 → 図2ですが、その逆の図2 → 図1左上もどういう処理をかけたらそのような形になるのかというのが見えないです。
(図2をガウシアンフィルタ等でぼかしても図1左上の形にはならなそう)

他のアイデアとして、もし図2 → 図1左上の処理がわかれば、変換前と変換後のペアの画像は作れるので、CNN 使えばその逆の変換も学習できるだろうと思いました。
(できれば画像処理で方法を見つけたいですが。。。)

また追記のように輪郭の位置情報を使ったやり方なども試してみましたが、うまくいきませんでした。

[fana]

お力添えいただき感謝しております．

輪郭形状をオフセットする系の方法を考える際，その支点的なもの(?)として図形の重心を用いるのだと，適用できる図形形状に大きな制約が生じてしまうのが悩みどころですよね．
（着目輪郭点の周辺だけを使ったローカルな重心を使えばそのあたりの制約が緩和できそうですが，そうすると私が最初にやったことと極めて近くなるので悩ましいという…）

ひょっとしたら，出力輪郭形状というのは，入力図形の輪郭形状を生成するためのベジェの制御点群みたいなのが近いのかも？とか思ったりもしましたが…それも自力で試行できず…^^;

[fana]

このサイトで言うところの「解決」はしていない状態ではありますが（そもそも解があるかどうかもわからない話ですし），このまま放置しとくのもいかんと思いますし，他の方から回答いただけるような気配も感じませんので（母集団のサイズが１な中での「ベストなアンサー」という意味で）ベストアンサーとさせて頂きます．
また，distanceTransformを用いる方法の可能性を示して頂いたことに関して，今後の検討に大いに参考になりそうですので高評価とさせて頂きます．感謝．