python 回転した外接矩形の取得

Question

import cv2

# 画像を読み込む。
img = cv2.imread("p.jpg")

# グレースケールに変換する。
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 2値化する。
ret, binary = cv2.threshold(gray, 40, 255, cv2.THRESH_BINARY)

# 膨張処理
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))
binary = cv2.dilate(binary, kernel)

# 輪郭抽出する。
contours, hierarchy = cv2.findContours(
    binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
)

rects = []
for cnt in contours:
    if cv2.contourArea(cnt) < 100:
        continue  # 小さい輪郭は無視する。

    # 回転した外接矩形をとる。
    rect = cv2.minAreaRect(cnt)
    rects.append(rect)


def crop_rect(img, rect):
    center, size, angle = rect
    center = tuple(map(int, center))  # float -> int
    size = tuple(map(int, size))  # float -> int
    h, w = img.shape[:2]  # 画像の高さ、幅

    # 画像を回転する。
    M = cv2.getRotationMatrix2D(center, angle, 1)
    rotated = cv2.warpAffine(img, M, (w, h))

    # 切り抜く。
    cropped = cv2.getRectSubPix(rotated, size, center)

    return cropped


# 保存するディレクトリを作成する。
output_dir = Path("output")
output_dir.mkdir(exist_ok=True)

for i, rect in enumerate(rects):
    # 切り抜く。
    cropped = crop_rect(img, rect)
    # 保存する。
    save_path = output_dir / f"contour{i}.png"
    cv2.imwrite(str(save_path), cropped)
コード

回転させた外接矩形を取得したいのですが，
上記コードでプログラムを実行させると，

上の画像が

このようにファイルに保存されてしまいます。

私としては，

このような図形（ここから回転もさせたい）を取得したいのですが，
膨張処理やフィルター処理などでなんとかできないでしょうか。

Answer 1

2値化がうまくいっていないため、そのあとの処理も意図どおり動いていません。

ret, binary = cv2.threshold(gray, 40, 255, cv2.THRESH_BINARY)

この関数を呼び出して2値化した結果 binary を cv2.imwrite() で保存して確認すると、以下のようにうまくいっていないことがわかります。

この今40となっている閾値は処理したい画像によって調整する必要があります。
大津の手法を使うとこのパラメータを自動で決められます。(必ずうまくいくとは限りません。うまくいかない場合は手動でこの値は決める必要があります。)

ret, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
print(ret)  # 161

サンプルコード

from pathlib import Path
import cv2
import shutil

# 画像を読み込む。
img = cv2.imread("test.jpg")

# グレースケールに変換する。
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 2値化する。
ret, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)

# 膨張処理
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))
binary = cv2.dilate(binary, kernel)

# 輪郭抽出する。
contours, hierarchy = cv2.findContours(
    binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
)

rects = []
for cnt in contours:
    if cv2.contourArea(cnt) < 500:  # ★ ここの無視する面積も要調整
        continue  # 小さい輪郭は無視する。 

    # 回転した外接矩形をとる。
    rect = cv2.minAreaRect(cnt)
    rects.append(rect)


def crop_rect(img, rect):
    center, size, angle = rect
    center = tuple(map(int, center))  # float -> int
    size = tuple(map(int, size))  # float -> int
    h, w = img.shape[:2]  # 画像の高さ、幅

    # 画像を回転する。
    M = cv2.getRotationMatrix2D(center, angle, 1)
    rotated = cv2.warpAffine(img, M, (w, h))

    # 切り抜く。
    cropped = cv2.getRectSubPix(rotated, size, center)

    return cropped


# 保存するディレクトリを作成する。
output_dir = Path("output")
if output_dir.exists():
    shutil.rmtree(output_dir)
output_dir.mkdir()

for i, rect in enumerate(rects):
    # 切り抜く。
    cropped = crop_rect(img, rect)
    # 保存する。
    save_path = output_dir / f"contour{i}.png"
    cv2.imwrite(str(save_path), cropped)

切り出し後

Comments

[reonald]

二値化が上手くいってなかったんですね。

添付画像の赤で輪郭を出しているのと，青の矩形の画像はどんなプログラムで出力しているのでしょうか。

[tiitoi]

デバッグ用に matplotlib を使ってます。以下のコードを参考にしています。
https://www.pynote.info/entry/opencv-find-contoures-recipe

[reonald]

参考にしたらできました。ありがとうございます。

[reonald]

また質問がでてきてしまいました。
見てもらえると助かります。