OpenCVで表の認識で意図しないものが認識される

Question

以前の質問をもとに表の認識の実験をしております
https://teratail.com/questions/151317

そこで以下のソースで表の枠を認識してみました。

```python
import cv2
import numpy as np

img = cv2.imread('no300.jpg')

# BGR -> グレースケール
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# エッジ抽出 (Canny)
edges = cv2.Canny(gray, 1, 100, apertureSize=3)
cv2.imwrite('edges.png', edges)
# 膨張処理
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
edges = cv2.dilate(edges, kernel)
cv2.imwrite('edges2.png', edges)
# 輪郭抽出
contours,hierarchy = cv2.findContours(edges, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
# 面積でフィルタリング
rects = []
for cnt, hrchy in zip(contours, hierarchy[0]):
    if cv2.contourArea(cnt) < 2000:
        continue  # 面積が小さいものは除く
    if hrchy[3] == -1:
       continue  # ルートノードは除く
    # 輪郭を囲む長方形を計算する。
    rect = cv2.minAreaRect(cnt)
    rect_points = cv2.boxPoints(rect).astype(int)
    rects.append(rect_points)

# x-y 順でソート
rects = sorted(rects, key=lambda x: (x[0][1], x[0][0]))

# 描画する。
for i, rect in enumerate(rects):
    cv2.drawContours(img, rects, i, (0,0,255), 2)

cv2.imwrite('img.png', img)
```

###入力画像
![イメージ説明](6561899797a6d25551b2a385d9bd80b9.jpeg)

###結果画像
![イメージ説明](bc3f5be8d382e6104ecae34fbf246921.jpeg)

###解決したいこと
住所、氏名、生年月日のあたりに意図しない斜めになった四角の枠が認識されています。
これを認識しない方法はございませんでしょうか。

### 試したこと
cv2.contourArea(cnt) < 2000:
の部分を調整してみますが、大きくしすぎると欲しいデータまで消えてしまいます。


よろしくお願いします。

Accepted Answer

「追記・修正の依頼」の側にいろいろ書きましたが，
それはそれとして，現状の結果に対してすぐにやれそうなこととしては…

> rect = cv2.minAreaRect(cnt)

* cntの面積とrectの面積

あるいは

* cntの周長とrectの周長

あたりの差とか比率あたりを見てみたらどうでしょうか．
上手くいっているやつとダメなやつとの間で優位に値の差があるならば，それを利用してダメなやつを棄却できるでしょう．

Answer

Cannyを使わない方法の方が綺麗にできそうだという仮定のもと進めていきました。
２値化する際のしきい値を調整し、枠線が切れないようにしました。
膨張を大きくしすぎると文字が連続して大きな図形に見えているようでしたので、あまり膨張しないようにしました。
以下のコードにて意図したものになりましたので報告いたします。
本当にありがとうございました。

```python
import cv2
import numpy as np

im = cv2.imread('no300.jpg')
im_gray = cv2.cvtColor(im,cv2.COLOR_BGR2GRAY)
retval, im_bw = cv2.threshold(im_gray, 220, 255, cv2.THRESH_BINARY_INV)
cv2.imwrite('result1.png', im_bw)

kernel = np.ones((2,2),np.uint8)
im_bw = cv2.dilate(im_bw,kernel,iterations = 1)
cv2.imwrite('result2.png', im_bw)

contours, hierarchy = cv2.findContours(im_bw, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)

rects = []
#繰り返し処理で面積の小さいものは除外する
for cnt, hrchy in zip(contours, hierarchy[0]):
    if cv2.contourArea(cnt) < 2000:
        continue  # 面積が小さいものは除く
    if hrchy[3] == -1:
       continue  # ルートノードは除く
    rect = cv2.minAreaRect(cnt)
    rect_points = cv2.boxPoints(rect).astype(int)
    rects.append(rect_points)

im_con = im.copy()
cv2.drawContours(im_con, rects, -1, (0,0,255), 1)
cv2.imwrite('result3.png', im_con)
```

試したこと

関連した質問