Python3 画像の白い部分を黒く塗りつぶしたい

Question

前提・実現したいこと

自作のデータセット（白黒画像25000枚）の中に、画像の端が見切れて白くなってしまっているものが複数枚あるため、その部分を黒く塗りつぶしたいと考えております。
以下のサイトを参考に、画像の白の領域を切り取って、黒で補完できれば良いのではと考えたのですが、以下のようなエラーが発生し、また、画像には何の変化もありませんでした。

お手数をおかけしますが、コードをどのように修正すればうまくいくかご教示いただけないでしょうか。
どうぞよろしくお願い致します。
http://sh0122.hatenadiary.jp/entry/2017/10/17/220447

発生している問題・エラーメッセージ

<ipython-input-16-1e94062ab931> in <module>()
     25 
     26 # 白の領域をカット
---> 27 masked_img = cv2.bitwise_and(img, mask_white)
     28 
     29 # 切り取った部分を黒で補完

error: OpenCV(3.4.3) /io/opencv/modules/core/src/arithm.cpp:225: error: (-209:Sizes of input arguments do not match) The operation is neither 'array op array' (where arrays have the same size and type), nor 'array op scalar', nor 'scalar op array' in function 'binary_op'

該当のソースコード

import cv2, matplotlib
import numpy as np
import matplotlib.pyplot as plt

white_min = np.array([255, 255, 255], np.uint8)# ここがよくわかりません
white_max = np.array([255, 255, 255], np.uint8)# ここがよくわかりません

img = cv2.imread('NORMAL_resize_100_1_0506/NORMAL-9615869-4_resized.jpeg')
img_hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
plt.imshow(cv2.cvtColor(img_hsv, cv2.COLOR_HSV2RGB))

# 白の領域のマスクを取得
mask_white = cv2.inRange(img, white_min, white_max)

# 白の領域をカット
masked_img = cv2.bitwise_and(img, mask_white)

# 切り取った部分を黒で補完
masked_replace_black = cv2.addWeighted(img, 1, cv2.cvtColor(mask_white, cv2.COLOR_GRAY2RGB), 1, 0)

plt.imshow(cv2.cvtColor(masked_replace_black, cv2.COLOR_BGR2RGB))

plt.show()

補足情報（FW/ツールのバージョンなど）

google colabを使っています。

Answer 1

The operation is neither 'array op array' (where arrays have the same size and type), nor 'array op scalar', nor 'scalar op array' in function 'binary_op'

bitwise_and に渡した第1引数と第2引数がおかしいというエラーです。
cv2.bitwise_and(img, mask_white) において、img, mask_white の型及び形状は一致していますか？

# これが成り立つことが前提
img.shape == mask_white.shape and img.dtype == mask_white.dtype

カラー画像のある色を置換したい場合

inRange() は画像の色がある範囲内かどうかで2値化する関数なので、白 (255, 255, 255) を黒 (0, 0, 0) にしたいだけであれば、以下のコードでよいです。

import cv2

img = cv2.imread("test.png")

# 白 (255, 255, 255) のピクセルを取得する。
white_pixels = (img == (255, 255, 255)).all(axis=-1)
# 白のピクセルを黒 (0, 0, 0) にする。
img[white_pixels] = (0, 0, 0)
cv2.imwrite("output.png", img)

---

不明な点等あればコメントしてください。

追記

ほんの少し白い部分が残ってしまったものの、

厳密に白 (255, 255, 255) でなく、白っぽい色は全部塗りつぶしたいということであれば、inRange() で色の範囲を指定してください。

周辺の色の情報を取得し、それと同じ色で画像の穴あき部分を塗りつぶす、ということができると以前何かのサイトで見かけた気がするのですが、どうしてもうまく検索できません…。

少し複雑になりますが、以下の手順でできます。

1. inRange() で白っぽい色かどうかで2値化する。

white = cv2.inRange(img, (250, 250, 250), (255, 255, 255))

(250, 250, 250) <= (b, g, r) <= (255, 255, 255) の画素は255、そうでない画素は0の2値画像を作成される。

解説: OpenCV - inRange による範囲指定で2値化する方法について

2. 白っぽい色に隣接する画素を取得する。

先程作成した2値画像を膨張処理し、膨張後 - 膨張前と差分をとることで、白っぽい色に隣接する画素を取得できる。
]

# 膨張処理を行う。
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
dilated = cv2.dilate(white, kernel)

# 膨張後 - 膨張前 = 白に隣接するピクセル
adjacent = cv2.subtract(dilated, white)

解説: OpenCV - モルフォロジー演算について

3. 隣接する画素から適当に1つ色を取得し、その色で白っぽい色の画素を塗りつぶす。

# 白に隣接するピクセルの色を取得する。
adjacent_colors = img[np.where(adjacent == 255)]
fill_color = adjacent_colors[0]  # 隣接するピクセルは沢山あるので、適当に1つピックアップ
print(fill_color)

# その色で塗りつぶす。
img[white == 255] = fill_color  # 白のピクセルを塗りつぶす。

サンプルコード

以下がコード全体

import cv2

# 画像を読み込む。
img = cv2.imread('test.png')

# 白かどうかで2値化する。
white = cv2.inRange(img, (250, 250, 250), (255, 255, 255))

# 膨張処理を行う。
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
dilated = cv2.dilate(white, kernel)

# 膨張後 - 膨張前 = 白に隣接するピクセル
adjacent = cv2.subtract(dilated, white)

# 白に隣接するピクセルの色を取得する。
adjacent_colors = img[np.where(adjacent == 255)]
fill_color = adjacent_colors[0]  # 隣接するピクセルは沢山あるので、適当に1つピックアップ
print(fill_color)

# その色で塗りつぶす。
img[white == 255] = fill_color  # 白のピクセルを塗りつぶす。

# 画像を書き込む。
cv2.imwrite('result.png', img)

Comments

[SuzuAya]

ご丁寧にありがとうございます。提案していただいた方法でやったところ、ほんの少し白い部分が残ってしまったものの、黒に置き換えることができました！！本当にありがとうございました。

ちなみに、もしご存知でしたら教えていただきたいのですが、私が使っている白黒画像の背景は、正確には真っ黒ではないため（少しグレーがかった黒）、白い部分を黒く塗りつぶす処理をすると、それはそれで周りと少し色が異なってしまいます。

周辺の色の情報を取得し、それと同じ色で画像の穴あき部分を塗りつぶす、ということができると以前何かのサイトで見かけた気がするのですが、どうしてもうまく検索できません…。
そういったやり方についてもしご存知でしたら、教えていただけないでしょうか。
ご存知なければ、このままこちらの質問はtiitoiさんのご回答をベストアンサーに選び、クローズさせていただきます。お手数をお掛けしますがご確認の程よろしくお願いいたします。

[tiitoi]

追記しました。
白色の画素取得 → 白色の画素に隣接する画素を取得 → 白色の画素を隣接する画素の色で塗りつぶす という流れで実現できます。

[SuzuAya]

早速ありがとうございます。binaryについて定義されていないとエラーが出てしまったので、お手数ですがその部分についても追記していただけますと大変助かります。

[tiitoi]

コードが一部間違っていたので修正しました。
一番下の「サンプルコード」以下がコード全体になります。
処理で不明な点があれば、コメントしてください。

[SuzuAya]

ありがとうございます！無事動きました。白黒画像なので、埋めたくない白い部分も少し黒くなってしまったり、調整が難しいものだと実感いたしました。教えていただいたコードを基に、色々と調整をしていきたいと思います。たくさんご丁寧に教えてくださり、本当にありがとうございました。