OpenCVでの表のセルの認識方法

Question

実現したいこと

画像データから、表のセルの位置(四隅の座標)を取得したいと考えています。

例えば、画像に次のような表があった場合、

A	B	C
D	E	F
G	H	I

セルAの四隅の座標
セルBの四隅の座標
・
・
・
セルIの四隅の座標

というデータを取得したいです。

いろいろなサイトで調べた結果、OpenCVでセルの輪郭を抽出すればできそうなところまでは
わかったのですが、具体的にどのような処理を行えばいいのかわからず、困っています。

OpenCV、もしくは、別の方法で、画像データからセルの座標を認識する方法をご教授
いただけないでしょうか。

Answer 1

手順

以下の方針で行うのはどうでしょうか。

1. Canny でエッジ検出する。
2. findContours() で輪郭抽出する。
3. 輪郭の面積、頂点数などいくつかの基準で対象外の輪郭をフィルタする。
4. 輪郭を囲む長方形を計算する。
5. 長方形の4点の座標を表示する。

サンプルコード

import cv2
import numpy as np

img = cv2.imread('form.png')

# BGR -> グレースケール
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# エッジ抽出 (Canny)
edges = cv2.Canny(gray, 1, 100, apertureSize=3)
cv2.imwrite('edges.png', edges)
# 膨張処理
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
edges = cv2.dilate(edges, kernel)
# 輪郭抽出
_, contours, hierarchy = cv2.findContours(edges, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
# 面積でフィルタリング
rects = []
for cnt, hrchy in zip(contours, hierarchy[0]):
    if cv2.contourArea(cnt) < 3000:
        continue  # 面積が小さいものは除く
    if hrchy[3] == -1:
       continue  # ルートノードは除く
    # 輪郭を囲む長方形を計算する。
    rect = cv2.minAreaRect(cnt)
    rect_points = cv2.boxPoints(rect).astype(int)
    rects.append(rect_points)

# x-y 順でソート
rects = sorted(rects, key=lambda x: (x[0][1], x[0][0]))

# 描画する。
for i, rect in enumerate(rects):
    color = np.random.randint(0, 255, 3).tolist()
    cv2.drawContours(img, rects, i, color, 2)
    cv2.putText(img, str(i), tuple(rect[0]), cv2.FONT_HERSHEY_SIMPLEX, 0.8, color, 3)
    
    print('rect:\n', rect)

cv2.imwrite('img.png', img)

rect:
 [[ 57 146]
 [ 57 100]
 [140 100]
 [140 146]]
rect:
 [[145 146]
 [145 100]
 [318 100]
 [318 146]]
rect:
 [[321 146]
 [321 100]
 [406 100]
 [406 146]]

結果画像

元画像

認識結果

Comments

[hizuh]

ありがとうございます！
回答いただいた内容が、まさしく実現したい内容です。
対象にしたい画像が、サンプル画像のようなきれいな表だけではないため、
サンプルコードを基にいろいろと試してみたいと思います。

本当にありがとうございました。

Answer 2

直面している問題固有の前提条件や知識があるならばそれを活用できないかを考えてみてはどうでしょうか
（というか，そういう前提条件の情報があるなら先に出した方が，活用しやすい回答が得られやすくなるかと）
例えば

1. 処理対象画像の状態はどんな？

エクセルのスクリーンショットを撮ったような「綺麗な」絵なのか，印刷物をカメラ撮影したような絵なのか，etc...
2. 表の色に関する知識は使える？
｛罫線の色，セル内の背景の色，セル内の文字等の色｝との関係性とか
3. "表"の仕様的な話は？
セル内の文字等と，セルの輪郭との間には必ず間隔があるとか

みたいな事柄は定まっていないのでしょうか？

例えば…

• 【上記3が真であって，且つ，上記2に関しては「文字と罫線は黒くて，セル内部の背景色は白や灰色だよ」】みたいな前提があるならば，理想的な話をすれば「２値化処理した後に一番大きい黒い塊を探す」だけでもう罫線だけを抽出できるかもしれませんよね．

（→すなわち，文字等の領域を全て棄却できるから，あとは単純にセルを閉領域として検出すればいい）

• 上記1がカメラ撮影側で，しかも【表をかなり斜め方向から撮影することがあります】とかいう話だと，画像上でのセルが長方形であることを常には期待できないという話になるし．
• 【tiitoi氏が提示している絵のような形で（エクセル上でセル連結したような感じの）セルが存在する「ことはなくて」質問文にあるようなシンプルな表だけ考えれば良いんです】という話なのであれば，それに特化した方法を考えられるかもしれない．（縦横の直線を先に検出してその交点座標をベースにセルを見つけるみたいな方向とか）

Comments

[hizuh]

回答ありがとうございます。
表の画像の処理に関して、どのような観点で考えればよいのか、とても参考になりました。