鉛筆で囲んだ部分をOpenCVでトリミングしたい（できればGoogle Colab、GASで自動化も）

Question

前提・実現したいこと

初心者です。色々検索しても糸口が見えないので質問させていただきます。
画像のうち黒い線で囲んだ部分をOpenCVを用いて切り抜きたいのですが、輪郭抽出のサンプルコードをいくつか行っても適切な結果となりません。
サンプルコード
下の画像でいえば「吾輩は猫である。名前はまだ無い。」の部分のみが残るようにしたいです。

全体像としては、Google ColabでGoogle Driveから切り抜き前の画像を取得し、OpenCVで必要な文字がある部分だけを切り取り、その画像をGoogleDriveにアップロード、Google Apps ScriptによってOCRし、そのテキストをGoogle検索、得たタイトルやスニペットをGmailで送信するという一連の動作を自動化しようと考えています。またこれによりスマートグラスで簡単に紙媒体に書かれた事柄を検索できるようにしたい。

追記

最初に挙げた画像が例としてわかりにくかったので、tiitoiさんの回答をより実際に近い画像で試させていただきました。赤鉛筆のような薄いものだと厳しいようです。

また、Google Colabという環境のためかエラーメッセージが出たので、[サイト]を参考にしたところうまくいきました。(https://amazarashi.me/archives/752)

エラーメッセージ

ValueError                                Traceback (most recent call last)
<ipython-input-70-37b431b140a1> in <module>()
     15 
     16 # 輪郭を抽出する。
---> 17 contours, hierarchy = cv2.findContours(eroded, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
     18 
     19 # 誤検出の輪郭を消す。

ValueError: too many values to unpack (expected 2)

試したこと

# 輪郭を抽出する。
image,contours, hierarchy = cv2.findContours(eroded, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

Comments

[tiitoi]

黒い線で囲むのは作成するアプリでやるのですよね？
そうであれば、マウスかなにかで囲ったときの座標を取得できますか？

[onion1]

わかりにくくて申し訳ありません。紙の一部分を実際に鉛筆の線で囲んだ写真をトリミングしたいです。

[tiitoi]

すこし考えてみましたが、黒の文字に黒の線となると、画像処理では文字を無視して、対象としたい枠線だけを検出するというのがなかなか難しそうです。
枠線は黒以外のなにか色ペンであったりすれば、もう少し可能性はあるのですが。。

[onion1]

なるほど。ありがとうございます。
色ペンでもトリミングできれば嬉しいです。

[tiitoi]

色ペンで赤など黒と区別しやすい色が好ましいです。
回答に色ペンの場合のやり方を書きました。

[fana]

提示画像みたいな絵が処理対象である場合，
https://teratail.com/questions/158121#reply-237261
のような，行の位置判定処理とかもヒントにできそうな予感．
（人手によるマーカが隣の行まで差し掛かるとか，画像処理で複数に分かれちゃうとかいう場合）

Answer 1

黒線の枠線がある場合、文字と区別するのが難しいですが、色付きのマーカーであれば、その色を目印にして以下の手順で抽出できそうです。

OpenCV でできる基本的な画像処理だけでいけそうです。

手順

「赤色のマーカーで囲われている」という前提で書きます。

• 1. 画像を読み込む。
• 1. 枠線部分のみを2値化で抽出する。
• 2.1. HSV 色空間に変換する。
• 2.2. 赤色とそれ以外を cv2.inRange() で2値化する。(赤以外の場合は要パラメータ調整)

OpenCV - inRange による範囲指定で2値化する方法について

• 2.3. ノイズをモルフォロジー変換で消す。

OpenCV - モルフォロジー演算について

• 1. 輪郭を抽出する。

• 3.1. findContours() で輪郭を抽出する。

OpenCV - findContours() による輪郭抽出

• 3.2. cv2.contourArea() で輪郭の面積を計算し、誤検出の輪郭を消す。

OpenCV - 輪郭の面積を求める方法について

• 1. 輪郭内部を白、それ以外を黒としたマスク画像を作成し、元画像の輪郭内部の領域のみを残す。

OpenCV - マスクを使用した画像の合成方法について

• 1. 画像を保存する。

サンプルコード

以下の環境で確認

• OpenCV 4
• Python 3.7

import cv2

# 画像を読み込む。
img = cv2.imread("book.png")

# HSV 色空間に変換する。
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)

# 2値化で赤の枠線を抽出する。
binary = cv2.inRange(hsv, (170, 0, 0), (180, 255, 255))

# OPENING でノイズを消す。
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
eroded = cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel)

# 輪郭を抽出する。
contours, hierarchy = cv2.findContours(eroded, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# 誤検出の輪郭を消す。
contours = list(filter(lambda x: cv2.contourArea(x) > 100, contours))

# 検出された輪郭内部を (255, 255, 255) で塗りつぶす。
mask = np.zeros_like(img)
cv2.drawContours(mask, contours, -1, color=(255, 255, 255), thickness=-1)

# 元画像でマスクの値が (255, 255, 255) の画素以外を白に置換する。
img = np.where(mask == 255, img, 255)

# 結果を保存する。
cv2.imwrite("test.png", img)

入出力

入力画像

2値化後の画像

モルフォロジー変換でノイズを消した後の画像

マスク画像

結果

funa さんのアドバイスを受けて追記

簡便な方法として，drawContoursの直前で凸包に変えてしまえば，とりあえず「一部切れたけども連続はしている（＝１つのContourではある）」的なパターンに関しては救えそうな気もしますが…

囲った線が一箇所途切れている場合は、funa さんのアドバイス通りに輪郭を cv2.convexHull() で凸包にすることで対応できたので、参考までに追記しておきます。

import cv2

# 画像を読み込む。
img = cv2.imread("sample.png")

# HSV 色空間に変換する。
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)

# 2値化で赤の枠線を抽出する。
binary = cv2.inRange(hsv, (170, 0, 0), (180, 255, 255))

# OPENING でノイズを消す。
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
eroded = cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel)

# 輪郭を抽出する。
contours, hierarchy = cv2.findContours(
    eroded, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
)

# 誤検出の輪郭を消す。
contours = list(filter(lambda x: cv2.contourArea(x) > 100, contours))

# 輪郭の凸包に置き換える。
convex_hulls = list(map(cv2.convexHull, contours))

# 検出された輪郭内部を (255, 255, 255) で塗りつぶす。
mask = np.zeros_like(img)
cv2.drawContours(mask, convex_hulls, -1, color=(255, 255, 255), thickness=-1)

# 元画像でマスクの値が (255, 255, 255) の画素以外を白に置換する。
img = np.where(mask == 255, img, 255)

# 結果を保存する。
cv2.imwrite("test.png", img)

2箇所以上途切れていたりする場合は findContours() の輪郭が分割されてしまうので、統合する処理を入れる必要がありそうです。

実際、取り組んでくうちにいろいろ課題が出てくるとは思いますが、基本的な方針については回答に記載されていると思いますので、あとは宿題とします。

追記

実際のケースに近い画像で試してみたところ、赤ペンやマッキーで囲んだ枠をしっかり認識していました。また赤鉛筆では薄いためか厳しく、

原因は以下です。

線が細いため、2値化した時点で枠線に隙間が空いてしまっています。

これに対して、 findcontours() を行うと以下のようにそれぞれ別の輪郭あると検出されてしまいます。
そのため、複数に分割されてしまっている輪郭を1つの輪郭として統合するような処理が必要となると思います。

こちらの環境のためかエラーメッセージが出る箇所もあったので追記しました。

おそらく、質問者さんの環境の OpenCV はバージョン3 なのだと思います。
findcontours() の返り値が OpenCV 3 はタプル3つだったのが、OpenCV 4 ではタプル2つに変更されました。

OpenCV - findContours() による輪郭抽出

Comments

[fana]

紙に手でマーキングしたのを撮った絵が対象とのことなので，場合によっては
人手で施したマーキングが雑できっちり閉じていないだとか，２値化関連の処理結果がちょい切れてしまう場合等への配慮が欲しいかも感．

[tiitoi]

コメントありがとうございます。
数ピクセルの隙間なら膨張処理で行けそうですが、それ以上空いていた場合になにかいい方法はありますでしょうか？

[fana]

（マーキングの形状が例示されているような形の範疇ならば）
簡便な方法として，drawContoursの直前で凸包に変えてしまえば，とりあえず「一部切れたけども連続はしている（＝１つのContourではある）」的なパターンに関しては救えそうな気もしますが…
マーキング領域が複数個に分かれてしまっても【質問への追記・修正、ベストアンサー選択の依頼】のところに少し書いたように「対象画像が文書である」ことを利用できるならば，その構造をヒントにできそうに思います．
ぱっと思いつくのは，元々存在している文字群を（縦よりも横方向に大きく）膨張させることで文字同士をくっつけて行毎の塊みたいなのにできれば，マーキングとその中の文字群の包括関係等をヒントにできるかも？とか．

[tiitoi]

> 凸包に変えてしまえば

凸包をとることは思いつきませんでした。参考になります。
アドバイスありがとうございます。

> その構造をヒントにできそうに思います．

OCR でやっていることなので、先に文字のブロックを認識してしまうのも手ですね。

[onion1]

大変親切でわかりやすい回答ありがとうございます！実際のケースに近い画像で試してみたところ、赤ペンやマッキーで囲んだ枠をしっかり認識していました。また赤鉛筆では薄いためか厳しく、こちらの環境のためかエラーメッセージが出る箇所もあったので追記しました。

[tiitoi]

原因については追記しました。コメント欄で funa さんが言及されている事です。
「キレてしまっている線をつなげる」とか「分割された輪郭を後から統合する」とかいくつか対策は考えられると思います。

画像処理は試行錯誤が必要なものなので、いろいろ試して見てください。
1つのQAで質問者さんが想定されるあらゆるケースに対応できるようなコードを提示するのは、すみませんが難しいです。

[fana]

画像の難易度が一気に上がってますねｗ

Answer 2

枠がある程度大きい場合に限定されますが
（たとえば、句点のみをギリギリ枠で囲った場合などは無理）

１：二値化する

２：白色に対してラベリングする。

３：ラベリングした結果を面積サイズでソートする。
一番大きいのは「下地」であるが、２番目は枠で囲まれた白エリアになる。

こんな感じでどうでしょうか？