pythoを使った 画像認識プログラム

Question

img = cv2.imread('video/frame_109.png')

BGR -> グレースケール

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

エッジ抽出 (Canny)

edges = cv2.Canny(gray, 18, 45, apertureSize=3)
cv2.imwrite('images/aaa/edges.png', edges)

膨張処理

kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (4, 4))
edges = cv2.dilate(edges, kernel)
cv2.imwrite('images/aaa/edges2.png', edges)

輪郭抽出

contours, hierarchy = cv2.findContours(edges, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
cv2.imwrite('images/aaa/hierarchy.png', hierarchy)

面積でフィルタリング

rects = []
for cnt, hrchy in zip(contours, hierarchy[0]):
if cv2.contourArea(cnt) < 3000:
continue # 面積が小さいものは除く
if cv2.contourArea(cnt) > 15000:
continue
if hrchy[3] == -1:
continue # ルートノードは除く
# 輪郭を囲む長方形を計算する。
rect = cv2.minAreaRect(cnt)
rect_points = cv2.boxPoints(rect).astype(int)
rects.append(rect_points)

x-y 順でソート

rects = sorted(rects, key=lambda x: (x[0][1], x[0][0]))

描画する。

for i, rect in enumerate(rects):
color = np.random.randint(0, 255, 3).tolist()
cv2.drawContours(img, rects, i, color, 2)
cv2.putText(img, str(i), tuple(rect[0]), cv2.FONT_HERSHEY_SIMPLEX, 0.8, color, 3)

print('rect:\n', rect)

cv2.imwrite('images/aaa/frame_109.png', img)
コード

Answer 1

まず撮影環境を整えたほうがいいのではないでしょうか。
2値化が綺麗にいかない原因は、手で持って撮影しているため、光の当たり方にムラがあることです。画像内に明るい部分と暗い部分があったり、影ができていると、2値化はうまくいきません。
照明が十分な部屋で机の上にノートをおいて、真上からカメラで撮影したほうがよいと思います。

しかし、ブロックの輪郭が繋がっていないため

2値化した結果が少しだけ途切れている場合などは、膨張処理を行うことでつなげることができるかもしれません。

モルフォロジー変換 — OpenCV-Python Tutorials 1 documentation

Comments

[退会済みユーザー]

アドバイス有難うございます。
撮影環境を整えた方がよいという意見はごもっともですが、すでに撮影された映像をもとにプログラムを構築しなければならない状況です。
膨張処理を行いましたが、ブロック内の文字とブロックの枠組みがくっつき、正方形面積が2分割されてしまいます。

[tiitoi]

質問欄に四角が描画されていない元画像を貼ることはできますか？
ちなみに質問の画像を見ると、四角の認識はできているようなので、あとは丸印が検出できればいいということでしょうか？

Answer 2

・ブロックの認識ですが、OpenCVで切れてしまっている輪郭を抽出したいで挙げられているadaptiveThreshold()のcv2.ADAPTIVE_THRESH_GAUSSIAN_Cで処理を行うと、下の画像のようにいい感じにブロックをハッキリと表すことができました。
しかし、ブロックの輪郭が繋がっていないため、輪郭抽出することができません。また、ハフ変換により直線検出により、輪郭抽出を行い、面積の大きさによりブロック以外の面積をフィルタしようとしましたが、直線を検知しすぎて上手くいきませんでした。もしかしたら、値の設定など上手くできていなかったのかもしれませんが。。。
何か各ブロックを認識できるいい方法はございませんか。

・インデントについて学び、for文の範囲を考え、下記のプログラムに変更することで一括処理をすることができました。

for i in range(1,288):
 img = cv2.imread('images/video/frame_{0:03}.png'.format(i))

for i in range(1,288):    
    
 cv2.imwrite('images/aaa/frame_{0:03}.png'.format(i), img)