python openCV 等間隔な輪郭線の抽出

Question

前提

python独学で学習し始めの初心者です。
openCVを用いて輪郭の大まかな抽出(等間隔かつ特徴点を拾う)方法を模索しています。
現時点では輪郭の近似が終わり、そのうえでの点間の距離が等間隔とは程遠いため、考えている方法として、各点間の距離を測り一番距離が短いものの決定、かつその距離を基準に点間の距離が長い部分に点を置きたいと思っているのですが可能であるのか、もし可能ならば、考え方を教えていただきたいです。

実現したいこと

• 輪郭の近似をしつつ点間の距離をほぼ等しくしたい

該当のソースコード

import cv2
import numpy as np
from IPython import display
from matplotlib import pyplot as plt
from matplotlib import patches


def imshow(img, format=".jpg", **kwargs):
    """ndarray 配列をインラインで Notebook 上に表示する。
    """
    img = cv2.imencode(format, img)[1]
    img = display.Image(img, **kwargs)
    display.display(img)


def draw_contours(img, contours, ax):
    """輪郭の点及び線を画像上に描画する。
    """
    ax.imshow(img)
    ax.set_axis_off()

    for i, cnt in enumerate(contours):
        # 形状を変更する。(NumPoints, 1, 2) -> (NumPoints, 2)
        cnt = cnt.squeeze(axis=1)
        # 輪郭の点同士を結ぶ線を描画する。
        ax.add_patch(plt.Polygon(cnt, color="b", fill=None, lw=2))
        # 輪郭の点を描画する。
        ax.plot(cnt[:, 0], cnt[:, 1], "ro", mew=3, ms=4)
        # 輪郭の番号を描画する。
        #ax.text(cnt[0][0], cnt[0][1], i, color="r", size="20", bbox=dict(fc="w"))
        
# 画像を読み込む。
img = cv2.imread("dog.jpg")
converted = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)

# グレースケールに変換する。
gray = cv2.cvtColor(converted, cv2.COLOR_BGR2GRAY)

#ネガポジ変換で反転
gray2 = cv2.bitwise_not(gray)


# 2値化する
ret, bin_img = cv2.threshold(gray2, 150, 255, cv2.THRESH_BINARY)

# 輪郭を抽出する。
contours, hierarchy = cv2.findContours(
    bin_img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
)


approx_contours = []
for i, cnt in enumerate(contours):
    # 輪郭の周囲の長さを計算する。
    arclen = cv2.arcLength(cnt, True)
    # 輪郭を近似する。
    approx_cnt = cv2.approxPolyDP(cnt, epsilon=10, closed=True)
    approx_contours.append(approx_cnt)
    # 元の輪郭及び近似した輪郭の点の数を表示する。
    print(f"contour {i}: before: {len(cnt)}, after: {len(approx_cnt)}")
    print(approx_cnt)
    
   
    
fig, ax = plt.subplots(figsize=(8, 8))
draw_contours(converted, approx_contours, ax)
plt.show()

試したこと

approx_cntで座標が取れているのでユークリッド距離を用いたら、、と思ったのですが座標をどう表すか考え方が足りず断念しました。
現状の画像はこのような感じです。

補足情報（FW/ツールのバージョンなど）

バージョン：python3.10

Comments

[insecticide]

面白い質問ですね。
逆質問で申し訳ございませんが、
気になる事として😺輪郭上の『特徴点』がどうやって取得したのでしょうか。
人間の目からすれば、ローカル的な画像特徴がまったく同じなのに、『特徴点』として選ばれたり、選ばれなかったりしていますね。

[ps_aux_grep]

findContoursのオプションでcv2.CHAIN_APPROX_SIMPLEではなくcv2.CHAIN_APPROX_NONEにしてから，等間隔になるよう枝切りをするのは考えたりしてますでしょうか

[hamutarosan]

insecticide様
特徴点についてですがapproxpolyを用いて第2引数であるepsilonを変更すると、大まかな点が捉えられました。
https://siguniang.wordpress.com/2012/07/16/ramer-douglas-peucker-algorithm/
こちらが参考資料です

[hamutarosan]

ps_aux_grep様
その発想は思いつきませんでした。
この場合特徴点も取り入れての等間隔抽出は可能なのですか？

Answer 1

点間の距離が長い部分に点を置きたいと思っている

その置くべき点とはどこになるのか？　というのが問題であるということですよね．

cv2.approxPolyDP(cnt, epsilon=10, closed=True)

と同じことを，epsilon の値を小さくして実施した結果というのは，epsilon=10 の結果よりもより「近似していない（＝点がたくさんある）」折れ線になっているハズなので，その結果から点を引っ張ってくるという手が考えられるかと思います．
（epsilonの値が大きいやつと小さいやつとの「いいとこどり」をしよう，みたいな）

例えば　epsilon=10 の結果上で「点間の距離が長い部分」の中点座標に最も近い epsilon=5 の結果での点を探す感じで．
（そういう点が無い場合は…　より小さい epsilon での結果を参照するとか，大元の近似しない輪郭データから座標を引っ張ってくるとか）

Comments

[hamutarosan]

回答ありがとうございます。epsilonの違いを利用しての取得は考えてなかったので実行してみようと思います。

[insecticide]

fanaさん
アイディアは素晴らしいですが、それは検出された輪郭の『連続的な座標セット』をOpenCVから取得できるのを前提とするのではないでしょうか。
私の記憶ではOpenCVが輪郭の連続的な座標セットそのものを提供してくれないですけれども。。。
違うのでしょうか。

[fana]

> 連続的な座標セット

というのが，どういう意味かイマイチ掴みかねますが…
少なくとも　findContours　では引数指定次第で輪郭の全画素の位置を得られるので，「大元の近似しない輪郭データ」としては十分ではないかな，と思います．

[fana]

> findContours　では引数

「質問へのコメント」欄の方で少し触れられているようです．
※CHAIN_APPROX_SIMPLE　を用いても情報が落ちるわけではなくデータの表現方法が変わるだけなハズなので，（ちょっと面倒でしょうけども）全画素の位置は得られるハズです．

[fana]

他の話としては，

approxPolyDP によって得られた頂点群によって元の輪郭線がいくつかの「区間」に分割された
↓
元の輪郭線のそれら各区間について２次曲線でも当てはめてどうのこうの…

みたいな方向も思いついたりしましたが，無意味に面倒すぎるからダメかな．

[insecticide]

fana さん
ご教授ありがとうございます。

＞２次曲線でも当てはめてどう
これも一つの手ですね。場合によって非常に有力な手法かもしれません。

２～３次ベジエ曲線, B-spline 曲線, NURBS

Answer 2

openCVを用いて輪郭の大まかな抽出(等間隔かつ特徴点を拾う)方法を模索しています。

まず厳密に「等間隔」としたければ、輪郭を構成する各線分長の最大公約数が間隔長となります。
しかし線分長は実数なのでそのまま求めるととても小さな値になってしまいます。
そこで近似的に間隔長を求める（完全に等間隔になるわけではない）方向で考えました。
いったん間隔長が求まれば、あとはnp.linspaceで２点間を等間隔に分割する点群を簡単に求めることができます。
結果として以下のようなコードで実現できそうです。

なお、何をもって近似的な間隔長とするかは

• 最短線分の長さ
• 全体の輪郭長をN分割する長さ

などいろいろ考えられると思います。

もっとも、findContours、approxPolyDPのパラメータ次第でどうにかできそうな気もしますが。

import cv2
import numpy as np
from matplotlib import pyplot as plt
from matplotlib import patches

def draw(img, cnt, ax):
    ax.imshow(img)
    ax.set_axis_off()
    ax.add_patch(plt.Polygon(cnt, color="b", fill=None, lw=2))
    ax.plot(cnt[:, 0], cnt[:, 1], "ro", mew=3, ms=4)


fig, ax = plt.subplots()

# 画像から特徴点を得る
img = cv2.imread("test.png")
converted = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
gray = cv2.cvtColor(converted, cv2.COLOR_BGR2GRAY)
gray2 = cv2.bitwise_not(gray)
ret, bin_img = cv2.threshold(gray2, 150, 255, cv2.THRESH_BINARY)
contours, hierarchy = cv2.findContours(bin_img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# とりあえず１輪郭のみで
cnt = contours[0]
arclen = cv2.arcLength(cnt, True)
cnt = cv2.approxPolyDP(cnt, epsilon=10, closed=True)
cnt = cnt.squeeze(axis=1)

# 特徴点のみ
draw(converted, cnt, ax)
plt.savefig('ret1.png')


# 輪郭から各線分の始点と終点を得る
pts = cnt
pts_st = pts
pts_ed = np.vstack( [pts[1:,:], pts[0,:]])

# 各線分長を算出
dists = np.linalg.norm( pts_st - pts_ed, axis=1)

# 分割区間（単位）長を決定
step_len = min(dists)  # とりあえず最短線分を採用
#step_len = arclen / 50 # 全体で50分割

# 各線分の分割数（四捨五入して整数に）を算出
divs = np.round(dists / step_len).astype(int)

# 各線分を分割
line_pts = []
for pt_st, pt_ed, div_cnt in zip(pts_st, pts_ed, divs):
    pts = np.linspace(pt_st, pt_ed,div_cnt, endpoint=False)
    line_pts.append(pts)
line_pts = np.vstack(line_pts)

draw(converted, line_pts, ax)
plt.savefig('ret2.png')

元画像

分割前

分割後：最短区間

分割後：N分割

Comments

[hamutarosan]

findContours、approxPolyDPのパラメータだけに集中してしまいそれ以外に焦点を当てておりませんでしたがこのような考え方もあるのですね。ありがとうございます、ぜひ参考にさせていただます。