OpenCVで表の認識で意図しないものが認識される

Question

以前の質問をもとに表の認識の実験をしております
https://teratail.com/questions/151317

そこで以下のソースで表の枠を認識してみました。

import cv2
import numpy as np

img = cv2.imread('no300.jpg')

# BGR -> グレースケール
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# エッジ抽出 (Canny)
edges = cv2.Canny(gray, 1, 100, apertureSize=3)
cv2.imwrite('edges.png', edges)
# 膨張処理
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
edges = cv2.dilate(edges, kernel)
cv2.imwrite('edges2.png', edges)
# 輪郭抽出
contours,hierarchy = cv2.findContours(edges, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
# 面積でフィルタリング
rects = []
for cnt, hrchy in zip(contours, hierarchy[0]):
    if cv2.contourArea(cnt) < 2000:
        continue  # 面積が小さいものは除く
    if hrchy[3] == -1:
       continue  # ルートノードは除く
    # 輪郭を囲む長方形を計算する。
    rect = cv2.minAreaRect(cnt)
    rect_points = cv2.boxPoints(rect).astype(int)
    rects.append(rect_points)

# x-y 順でソート
rects = sorted(rects, key=lambda x: (x[0][1], x[0][0]))

# 描画する。
for i, rect in enumerate(rects):
    cv2.drawContours(img, rects, i, (0,0,255), 2)

cv2.imwrite('img.png', img)

###入力画像

###結果画像

###解決したいこと
住所、氏名、生年月日のあたりに意図しない斜めになった四角の枠が認識されています。
これを認識しない方法はございませんでしょうか。

試したこと

cv2.contourArea(cnt) < 2000:
の部分を調整してみますが、大きくしすぎると欲しいデータまで消えてしまいます。

よろしくお願いします。

Comments

[fana]

斜めの物が出てくる原因の確認くらいはご自身でされるべきではないでしょうか．
（やっているならその情報を書いた方が良いし．）

特にこれ系の処理方法の検討中なのであれば，各処理（このコードで言えば，エッジ検出や膨張処理，輪郭抽出等）の結果を可視化しておくくらいのことは必須でしょう．
最終結果だけを見て場当たり的に面積閾値でどうこうするのではなく，まずは各段階の結果が想定と異っていないか等を見るべきです．

[softhonda]

ご指摘ありがとうございます。
各工程、edges.png、edges2.pngで確認し、膨張処理のgetStructuringElementのパラメーターなど変えて試していました。
その結果を受けて面積でフィルタリングしております。
その部分の試したことは記入漏れでした。
途中の工程のpng画像を見ても、その周辺に私の目では輪郭となるような部分があるように思えませんでした。
そこで質問させていただいた次第です。
よろしくお願いします。

[fana]

輪郭形状に対してminAreaRectを使ったら，斜めのやつが出てくるという現象になっている
→では，該当の輪郭形状とは一体どうなっているのか？　欲しい枠の形をしているのかいないのか．
　→もし，枠の形をしているのにminAreaRectの結果が斜めになるという話なら，minAreaRectはあなたの目的に対しては使えないという話になる．
　→変な形の輪郭になっているのなら，その原因は何か？という話になる．
　　findContoursへの入力画像を見て，その要因を探る．
　　→本当に変な形が存在するならばそれ→その形ができる原因は…？
　　→変な形は無いのに何故か変な形のcontourが得られるという話なら，相応のことを考えねばならない．

[fana]

minAreaRectの結果矩形の４つの辺は与えた輪郭の一部に重なっているハズなので，例えばその結果例の斜めになっている結果群のうちの一番右上に位置している横方向にでかいやつ(左側が「殿」を含んでいるやつ)とかは，輪郭自体が変な形に取れてしまっているのでは？と思える．

[tiitoi]

斜めの長方形が抽出された原因はわかりませんが、抽出結果から斜めの輪郭を弾くなら、cv2.minAreaRect() で輪郭に外接する回転した長方形が得られるので、その回転角度で判定すればよいと思います。

[softhonda]

fana様
おそらく輪郭と認識する情報が入っているからと思われますので、エッジ抽出のあたりから考え直す必要があると考えております。

tiitoi様
フィルタリング対象に角度も追加することで少なくとも今回のパターンでの誤認識が減ると思います。
ご回答ありがとうございます。

[fana]

cannyフィルタの後でdilateを入れているのは，
(1)単純に短距離のエッジの途切れを埋める目的
の他に，
(2)絵の上での太い線に対して（その線の両側に）２重にエッジが出るようなものをくっつける（太い１本にする：＝ → ━）という役割
があるのかな？等と勝手に推測しますが，このとき，結果としてくっつく部分とくっつかない（隙間がある状態になる）部分とが存在すると，変な輪郭形状が生まれるような気もします．

これ，cannyとか必要なんですかね？
（この例だけもしれませんが，割と綺麗な絵ですし）２値化して即輪郭抽出とかの方が，やりたいことに対して正直な実装だったりしませんか？

[softhonda]

私が初心者ということもあり、以下をそのまま使わせていただいています
https://teratail.com/questions/151317

ただ、２値化しての実験もしてみましたが、
im = cv2.imread('no300.jpg')
im_gray = cv2.cvtColor(im,cv2.COLOR_BGR2GRAY)
retval, im_bw = cv2.threshold(im_gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)
contours, hierarchy = cv2.findContours(im_bw, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)

個人番号部分の線が繋がらなかったりしました。
そこで以前の質問があったものを見て、やってみたらうまくつながった次第です。

[softhonda]

2値化したものの線が途切れていました。
やり方次第で線が繋がるかもしれません。
線を太くするなどの工夫が必要です。

>>２値化して即輪郭抽出とかの方が，やりたいことに対して正直な実装だったりしませんか？
そのように思います。
ありがとうございました。

[fana]

> 2値化したものの線が途切れていました。
２値化の閾値を自分で与えるとか，閾値決定方法を変えるとか．adaptiveThresholdをブロックサイズでかめで(例えば，画像サイズの半分とか1/4とかそういうレベルで)かけてみるとか．
あとは（cannyのときと同様に）途切れがちょびっとだけならモルフォロジで塞ぐとか．

Answer 1

「追記・修正の依頼」の側にいろいろ書きましたが，
それはそれとして，現状の結果に対してすぐにやれそうなこととしては…

rect = cv2.minAreaRect(cnt)

• cntの面積とrectの面積

あるいは

• cntの周長とrectの周長

あたりの差とか比率あたりを見てみたらどうでしょうか．
上手くいっているやつとダメなやつとの間で優位に値の差があるならば，それを利用してダメなやつを棄却できるでしょう．

Comments

[softhonda]

もう少し、私の方で前段階のやり方を考える必要があると思います。
色々と考えをいただきましたので、ベストアンサーとさせていただきます。

[fana]

一応，回答内容の補足：
輪郭形状が四角形（欲しいデータ）のときには，そこから求めたminAreaRectの結果はその輪郭とほぼ重なるような結果になるのだから，周長や面積といった値はほぼ同一になることが期待でき，
何かぐちゃくちゃっとした輪郭（要らないデータ）の場合には，大きく異なる値になると期待できる，
…んじゃない？　という話．

[fana]

あと，これ系は経験上，前処理次第では，例えば紙の縁のところとかに，めちゃくちゃ細長い領域とかが出てくるとかもあり得ると思う．
そういう領域はこの回答の内容を突破してくることもあるし，面積自体も相応の値だったりもするので，そういう場合はまた別の棄却ルールが必要かもしれない（minAreaRectの結果矩形の長軸の長さに最大値制限を設けるとか，縦横比を見るとか）．

Answer 2

Cannyを使わない方法の方が綺麗にできそうだという仮定のもと進めていきました。
２値化する際のしきい値を調整し、枠線が切れないようにしました。
膨張を大きくしすぎると文字が連続して大きな図形に見えているようでしたので、あまり膨張しないようにしました。
以下のコードにて意図したものになりましたので報告いたします。
本当にありがとうございました。

import cv2
import numpy as np

im = cv2.imread('no300.jpg')
im_gray = cv2.cvtColor(im,cv2.COLOR_BGR2GRAY)
retval, im_bw = cv2.threshold(im_gray, 220, 255, cv2.THRESH_BINARY_INV)
cv2.imwrite('result1.png', im_bw)

kernel = np.ones((2,2),np.uint8)
im_bw = cv2.dilate(im_bw,kernel,iterations = 1)
cv2.imwrite('result2.png', im_bw)

contours, hierarchy = cv2.findContours(im_bw, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)

rects = []
#繰り返し処理で面積の小さいものは除外する
for cnt, hrchy in zip(contours, hierarchy[0]):
    if cv2.contourArea(cnt) < 2000:
        continue  # 面積が小さいものは除く
    if hrchy[3] == -1:
       continue  # ルートノードは除く
    rect = cv2.minAreaRect(cnt)
    rect_points = cv2.boxPoints(rect).astype(int)
    rects.append(rect_points)

im_con = im.copy()
cv2.drawContours(im_con, rects, -1, (0,0,255), 1)
cv2.imwrite('result3.png', im_con)