輪郭抽出 openCV 初心者

Question

人物の輪郭抽出を行いたいのですが、
画像の周りを抽出されたり、よくわからないところで抽出されたりします。
以下のコードで実行しました。

import cv2
from matplotlib import pyplot as plt
 
# カラー画像の読み込み
img = cv2.imread('image5.jpg', 1)
 
# グレースケール化
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
 
# 単純二値化
ret, img_binary = cv2.threshold(img_gray,
                                60, 255,
                                cv2.THRESH_BINARY)

# 輪郭抽出
contours, hierarchy = cv2.findContours(img_binary,
                                       cv2.RETR_EXTERNAL,
                                       cv2.CHAIN_APPROX_NONE)
# 輪郭を元画像に描画
img_contour = cv2.drawContours(img, contours, -1, (0, 255, 0), 5)
 
# ここから画像描画
fig = plt.figure()
ax1 = fig.add_subplot(111)
ax1.imshow(cv2.cvtColor(img_contour, cv2.COLOR_BGR2RGB))
ax1.axis('off')
plt.show()
plt.close()

Comments

[tiitoi]

> 元画像を添付してください

輪郭抽出は2値画像の白の領域を囲むものなので、まず人の部分が白、背景部分が黒の2値画像を作成する必要があります。
img_binary を保存してみて確認してみてください。その部分がうまくいってないのではないでしょうか。

[退会済みユーザー]

img_binary を保存するにはどうすればよろしいのでしょうか。

Answer 1

img_binary を保存するにはどうすればよろしいのでしょうか。

cv2.imwrite() で保存できます。

cv2.imwrite("img_binary.png", img_binary)

これを見てみると、2値化がうまくいっていませんね。

↓イメージですが、このような感じで2値化したい対象が白、そうでない背景は黒の画像ができていないと、findContours() はうまくいきません。

追記

そうなんですね。領域抽出がよいのですが、背景を除去することが可能ならそれでも良いのですができるのでしょうか。質問とずれてしまいすいません。おわかりでしたら教えていただきたいです。

輪郭抽出のアプローチでやる場合、まず人と背景をある程度きれいに2値化することは必要です。2値化は大津の手法など使えば、もう少しきれいになります。

背景除去の場合は以下の手順になります。

1. グレースケール化
2. 2値化
3. 輪郭抽出
4. 一番大きい輪郭が人と仮定
5. 輪郭内部を255、それ以外を0としたマスク画像を作成
6. 元画像にアルファチャンネルを追加
7. マスク画像の値が0 (背景) の画素の値を255にして透過

import cv2
import numpy as np
from IPython import display


def imshow(img):
    """ndarray 配列をインラインで Notebook 上に表示する。
    """
    ret, encoded = cv2.imencode(".jpg", img)
    display.display(display.Image(encoded))


img = cv2.imread("person.jpg")

# グレースケールに変換する。
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 大津の手法で2値化する。
ret, img_binary = cv2.threshold(
    img_gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU
)
imshow(img_binary)

# 輪郭を抽出する。
contours, hierarchy = cv2.findContours(
    img_binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE
)

# 最大の輪郭を取り出す。
max_contour = max(contours, key=lambda x: cv2.contourArea(x))

# 輪郭を描画する。
img_contour = cv2.drawContours(img.copy(), [max_contour], -1, (0, 255, 0), 2)
imshow(img_contour)

mask = cv2.drawContours(
    np.zeros_like(img_binary), contours, -1, color=255, thickness=-1
)

# アルファチャンネル追加
dst = cv2.cvtColor(img, cv2.COLOR_BGR2BGRA)

# mask の値が0のピクセルは透過する。
dst[mask == 0] = 0

cv2.imwrite("dst.png", dst)

照明の影響等もあるので、多少背景も残ってしまいます。
きれいに2値化することは1つの課題であり、2値化方法は Adaptive Thresholding など他にも方法はあるので、いろいろな手法を検討してみてください。

画像のしきい値処理 — OpenCV-Python Tutorials 1 documentation

もし撮影環境が変更可能であるならば、グリーンバックの背景を使うなど、2値化しやすいように撮影環境を工夫してください。テレビや映画の背景合成はこの方法でやっています。

Amazon.co.jp : グリーンバック

グラフカットを使ったアプローチ

全自動でなく、対話式でよければ、グラフカットという方法があります。

GrabCutを使った対話的前景領域抽出 — OpenCV-Python Tutorials 1 documentation

↓ PowerPoint についてる背景削除のやつです。

ディープラーニングを使った別のアプローチ

任意背景できれいに人の部分だけ抽出したいのであれば、自分であれば、ディープラーニングのセマンティックセグメンテーションモデルを使います。
詳細な解説はここでするには余白が足りないので、Pytorch を使ったコードの提示のみにとどめておきます。

import cv2
import numpy as np
import torch
import torchvision
from PIL import Image
from torchvision import models as models
from torchvision import transforms as transforms

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
PERSON_ID = 1

# モデルを作成する。
model = models.detection.maskrcnn_resnet50_fpn(pretrained=True).to(device)
model.eval()

# 画像を読み込む。
img = Image.open("person2.jpg")
img_tensor = transforms.functional.to_tensor(img).to(device)

# 推論する。
output = model([img_tensor])[0]

# ラベル 人 のマスクを取り出す。
person_scores = output["masks"][output["labels"] == PERSON_ID, 0]
person_score = person_scores.max(dim=0)[0]

mask = person_score >= 0.7
mask = mask.cpu().detach().numpy()

# アルファチャンネル追加
dst = cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGRA)
imshow(dst)

# mask の値が0のピクセルは透過する。
dst[mask == 0] = 0
imshow(dst)

↓

Comments

[退会済みユーザー]

そうなんですね。領域抽出がよいのですが、背景を除去することが可能ならそれでも良いのですができるのでしょうか。質問とずれてしまいすいません。おわかりでしたら教えていただきたいです。

[tiitoi]

> 背景を除去することが可能ならそれでも良いのですができるのでしょうか。

どのくらいきれいに背景除去するかによりますが、輪郭抽出でもある程度は可能です。輪郭抽出でキレイに除去したいのであれば、グリーンバック背景を使うなど、撮影環境の工夫も必要です。

[退会済みユーザー]

いろいろな方法の提案ありがとうございます。Pytorch を使った方法を実際にやってみたのですが、
No module named 'torch　
このようにエラーがでてしまいインポートできないのですがどうすればよいのでしょうか。
基本的なことを聞いてしまいすいません。

[tiitoi]

モジュールのインストールが必要です。
pip install torch torchvision