輪郭の座標を決めて射影変換したい

Question

import cv2
import numpy as np

from IPython.display import display, Image


img = cv2.imread("rinkaku.png")

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 二値化                                                                                                                                                                                                  
ret,th1 = cv2.threshold(gray,200,255,cv2.THRESH_BINARY)


cv2.imwrite("rinkaku1.png", th1)



contours, hierarchy = cv2.findContours(th1, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)



# 面積の大きいもののみ選別                                                                                                                                                                                
areas = []
for cnt in contours:
    area = cv2.contourArea(cnt)
    if area > 10000:
        epsilon = 0.1*cv2.arcLength(cnt,True)
        approx = cv2.approxPolyDP(cnt,epsilon,True)
        areas.append(approx)

cv2.drawContours(img,areas,-1,(0,255,0),3)

cv2.imwrite("rinkaku2.png", img)

この画像の黒枠の輪郭部分の４つの座標を決めて自動で射影変換したいです。

上のプログラムではコンパイルは通りますが紙自体を選別しているのか画面が真っ暗になって何も選別できませんでした。
何が原因でしょうか？

ちなみにこれを選別するために黒の枠だけを抽出する方法も考えました。

dst1 = cv2.inRange(img, (0,0,0), (50,50,50))

コードとしてはこれです。

これらをうまく利用して枠無い部分だけを自動で表示するやり方はないでしょうか？

調べたところ

pts1 = np.float32(areas[0])
pts2 = np.float32([[600,300],[600,0],[0,0],[0,300]])

M = cv2.getPerspectiveTransform(pts1,pts2)
dst = cv2.warpPerspective(img,M,(600,300))

このコードで射影変換できるようですが、自ら座標を決めなければなりません、座標を自動で編み出す方法などないでしょうか？？？

Answer 1

射影変換を求める際に変換前、変換後の点の4点を渡す必要がありますが、変換前の4点は輪郭抽出で抽出した輪郭を使用すればよいです。
変換後の4点はユーザーが定義する必要があります。
正方形の場合は以下のようにします。

import cv2
import numpy as np

# 画像を読み込む。
img = cv2.imread("sample.jpg")

# 色空間をグレースケールに変換する。
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 二値化する。
ret, binary = cv2.threshold(gray, 100, 255, cv2.THRESH_BINARY_INV)

# 輪郭抽出する。
contours, hierarchy = cv2.findContours(
    binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
)

# 面積が最大の輪郭を取得する。
contour = max(contours, key=lambda x: cv2.contourArea(x))

# 輪郭を近似する。
arclen = cv2.arcLength(contour, True)
approx_contour = cv2.approxPolyDP(contour, epsilon=0.005 * arclen, closed=True)
assert len(approx_contour) == 4, "以下の処理は抽出された輪郭は4点で構成されていることが前提"

cv2.circle(img, tuple(approx_contour[1][0]), 3, (255, 0, 0), -1)
cv2.imwrite("img.png", img)

w, h = 500, 690  # 長方形の大きさ
points1 = approx_contour.astype(np.float32)
points2 = np.float32([[0, h], [0, 0], [w, 0], [w, h]])

# points1 から points2 へ写す射影変換行列を計算する。
H = cv2.getPerspectiveTransform(points1, points2)

# 射影変換を画像に適用する。
dst = cv2.warpPerspective(img, H, (w, h))

# 結果を保存する。
cv2.imwrite("result.png", dst)

Comments

[0126tami]

回答ありがとうございます。
元々この黒枠の画像は正方形ではなく長方形なのですが、このプログラムでは実際の黒枠の縦と横の比率の再現などはできないのでしょうか

ちなみに実際の黒の線の横が14.5cmで縦が20だったので長方形のサイズを各部分で６００と６００を500と690でしてみましたがやはり黒枠通りになりませんでした。
これをどのように改良したらよいでしょうか？？

[tiitoi]

コードを修正しました。これでどうでしょうか。

Answer 2

ぱっと見，シンプルにハフ変換とかで辺が取れそうに見えますし，
パターンの４つ角は直線群の交点として求めればどうでしょう．

（しかし角を使いたいにしては随分と角部分が雑な絵…）