回答編集履歴

3

修正

2020/07/26 10:15

投稿

tiitoi
tiitoi

スコア21956

test CHANGED
@@ -160,7 +160,7 @@
160
160
 
161
161
 
162
162
 
163
- ![イメージ説明](395d203ebc820d3275b3e4758fa4605c.png)
163
+ ![イメージ説明](c3f4b7eb45fdbcf20ded346c469aac25.jpeg)
164
164
 
165
165
 
166
166
 
@@ -182,6 +182,26 @@
182
182
 
183
183
 
184
184
 
185
+ ## グラフカットを使ったアプローチ
186
+
187
+
188
+
189
+ 全自動でなく、対話式でよければ、グラフカットという方法があります。
190
+
191
+
192
+
193
+ [GrabCutを使った対話的前景領域抽出 — OpenCV-Python Tutorials 1 documentation](http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_imgproc/py_grabcut/py_grabcut.html)
194
+
195
+
196
+
197
+ ↓ PowerPoint についてる背景削除のやつです。
198
+
199
+
200
+
201
+ ![イメージ説明](9d3d0d247a9e69b2d26214817e242cee.png)
202
+
203
+
204
+
185
205
  ## ディープラーニングを使った別のアプローチ
186
206
 
187
207
 

2

修正

2020/07/26 10:15

投稿

tiitoi
tiitoi

スコア21956

test CHANGED
@@ -182,7 +182,7 @@
182
182
 
183
183
 
184
184
 
185
- ## 別のアプローチ
185
+ ## ディープラーニングを使った別のアプローチ
186
186
 
187
187
 
188
188
 

1

修正

2020/07/26 10:10

投稿

tiitoi
tiitoi

スコア21956

test CHANGED
@@ -27,3 +27,259 @@
27
27
 
28
28
 
29
29
  ![イメージ説明](fbaf0c485b6de9e6a3f4a09f95aa4006.png)
30
+
31
+
32
+
33
+ ## 追記
34
+
35
+
36
+
37
+ > そうなんですね。領域抽出がよいのですが、背景を除去することが可能ならそれでも良いのですができるのでしょうか。質問とずれてしまいすいません。おわかりでしたら教えていただきたいです。
38
+
39
+
40
+
41
+ 輪郭抽出のアプローチでやる場合、まず人と背景をある程度きれいに2値化することは必要です。2値化は大津の手法など使えば、もう少しきれいになります。
42
+
43
+
44
+
45
+ 背景除去の場合は以下の手順になります。
46
+
47
+
48
+
49
+ 1. グレースケール化
50
+
51
+ 2. 2値化
52
+
53
+ 3. 輪郭抽出
54
+
55
+ 4. 一番大きい輪郭が人と仮定
56
+
57
+ 5. 輪郭内部を255、それ以外を0としたマスク画像を作成
58
+
59
+ 6. 元画像にアルファチャンネルを追加
60
+
61
+ 7. マスク画像の値が0 (背景) の画素の値を255にして透過
62
+
63
+
64
+
65
+ ```python
66
+
67
+ import cv2
68
+
69
+ import numpy as np
70
+
71
+ from IPython import display
72
+
73
+
74
+
75
+
76
+
77
+ def imshow(img):
78
+
79
+ """ndarray 配列をインラインで Notebook 上に表示する。
80
+
81
+ """
82
+
83
+ ret, encoded = cv2.imencode(".jpg", img)
84
+
85
+ display.display(display.Image(encoded))
86
+
87
+
88
+
89
+
90
+
91
+ img = cv2.imread("person.jpg")
92
+
93
+
94
+
95
+ # グレースケールに変換する。
96
+
97
+ img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
98
+
99
+
100
+
101
+ # 大津の手法で2値化する。
102
+
103
+ ret, img_binary = cv2.threshold(
104
+
105
+ img_gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU
106
+
107
+ )
108
+
109
+ imshow(img_binary)
110
+
111
+
112
+
113
+ # 輪郭を抽出する。
114
+
115
+ contours, hierarchy = cv2.findContours(
116
+
117
+ img_binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE
118
+
119
+ )
120
+
121
+
122
+
123
+ # 最大の輪郭を取り出す。
124
+
125
+ max_contour = max(contours, key=lambda x: cv2.contourArea(x))
126
+
127
+
128
+
129
+ # 輪郭を描画する。
130
+
131
+ img_contour = cv2.drawContours(img.copy(), [max_contour], -1, (0, 255, 0), 2)
132
+
133
+ imshow(img_contour)
134
+
135
+
136
+
137
+ mask = cv2.drawContours(
138
+
139
+ np.zeros_like(img_binary), contours, -1, color=255, thickness=-1
140
+
141
+ )
142
+
143
+
144
+
145
+ # アルファチャンネル追加
146
+
147
+ dst = cv2.cvtColor(img, cv2.COLOR_BGR2BGRA)
148
+
149
+
150
+
151
+ # mask の値が0のピクセルは透過する。
152
+
153
+ dst[mask == 0] = 0
154
+
155
+
156
+
157
+ cv2.imwrite("dst.png", dst)
158
+
159
+ ```
160
+
161
+
162
+
163
+ ![イメージ説明](395d203ebc820d3275b3e4758fa4605c.png)
164
+
165
+
166
+
167
+ 照明の影響等もあるので、多少背景も残ってしまいます。
168
+
169
+ きれいに2値化することは1つの課題であり、2値化方法は Adaptive Thresholding など他にも方法はあるので、いろいろな手法を検討してみてください。
170
+
171
+
172
+
173
+ [画像のしきい値処理 — OpenCV-Python Tutorials 1 documentation](http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_imgproc/py_thresholding/py_thresholding.html)
174
+
175
+
176
+
177
+ もし撮影環境が変更可能であるならば、グリーンバックの背景を使うなど、2値化しやすいように撮影環境を工夫してください。テレビや映画の背景合成はこの方法でやっています。
178
+
179
+
180
+
181
+ [Amazon.co.jp : グリーンバック](https://www.amazon.co.jp/%E3%82%B0%E3%83%AA%E3%83%BC%E3%83%B3%E3%83%90%E3%83%83%E3%82%AF/s?k=%E3%82%B0%E3%83%AA%E3%83%BC%E3%83%B3%E3%83%90%E3%83%83%E3%82%AF)
182
+
183
+
184
+
185
+ ## 別のアプローチ
186
+
187
+
188
+
189
+ 任意背景できれいに人の部分だけ抽出したいのであれば、自分であれば、ディープラーニングのセマンティックセグメンテーションモデルを使います。
190
+
191
+ 詳細な解説はここでするには余白が足りないので、Pytorch を使ったコードの提示のみにとどめておきます。
192
+
193
+
194
+
195
+
196
+
197
+
198
+
199
+ ```python
200
+
201
+ import cv2
202
+
203
+ import numpy as np
204
+
205
+ import torch
206
+
207
+ import torchvision
208
+
209
+ from PIL import Image
210
+
211
+ from torchvision import models as models
212
+
213
+ from torchvision import transforms as transforms
214
+
215
+
216
+
217
+ device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
218
+
219
+ PERSON_ID = 1
220
+
221
+
222
+
223
+ # モデルを作成する。
224
+
225
+ model = models.detection.maskrcnn_resnet50_fpn(pretrained=True).to(device)
226
+
227
+ model.eval()
228
+
229
+
230
+
231
+ # 画像を読み込む。
232
+
233
+ img = Image.open("person2.jpg")
234
+
235
+ img_tensor = transforms.functional.to_tensor(img).to(device)
236
+
237
+
238
+
239
+ # 推論する。
240
+
241
+ output = model([img_tensor])[0]
242
+
243
+
244
+
245
+ # ラベル 人 のマスクを取り出す。
246
+
247
+ person_scores = output["masks"][output["labels"] == PERSON_ID, 0]
248
+
249
+ person_score = person_scores.max(dim=0)[0]
250
+
251
+
252
+
253
+ mask = person_score >= 0.7
254
+
255
+ mask = mask.cpu().detach().numpy()
256
+
257
+
258
+
259
+ # アルファチャンネル追加
260
+
261
+ dst = cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGRA)
262
+
263
+ imshow(dst)
264
+
265
+
266
+
267
+ # mask の値が0のピクセルは透過する。
268
+
269
+ dst[mask == 0] = 0
270
+
271
+ imshow(dst)
272
+
273
+ ```
274
+
275
+
276
+
277
+ ![イメージ説明](ebf7ea5789e2d9d82aaf3761637fca4f.jpeg)
278
+
279
+
280
+
281
+ ![イメージ説明](b24577f80f24949871a8598fb2be976b.jpeg)
282
+
283
+
284
+
285
+ ![イメージ説明](238862306ab677c0f2c469782e486fb4.jpeg)