OpenCVを使った画像処理での疑問が解消できません

Question

前提

OpenCVを使った画像処理での疑問が解消できません。

実現したいこと

• 画像内の特定の色以外を暗くする

発生している問題・エラーメッセージ

下のコードを実行するとプライマルウィンドウのスクリーンショットを撮って赤青緑の内、指定した色以外を薄暗くした画像が描画されます。
私が気にしているのは11行目の記述です。

hsv_img_ori =cv2.cvtColor(frame,cv2.COLOR_RGB2HSV)

frameはBGR画像であり、この画像に対してRGBをHSVに変換するcv2.cvtColor(frame,cv2.COLOR_RGB2HSV)は明らかに正常な動作をしないと思います。
しかし、この記述をcv2.cvtColor(frame,cv2.COLOR_BGR2HSV)と直すと38行目の時点でdstはscolor ="red"の場合青の領域を、scolor ="blue"の場合赤の領域をマスクしてしまいます。
13行目の時点でhsv_img_oriとhsv_imgをcv2.imshow('hsv_img_ori', hsv_img_ori)で確認したところ外見上はどちらも全く一緒で、何故この処理で成立するのか理解できません。どなたかご解説ください。

該当のソースコード

from PIL import Image, ImageTk, ImageOps  # 画像データ用
from PIL import ImageGrab
import numpy as np
import cv2

img = ImageGrab.grab()
capture = np.array(img, dtype=np.uint8)
frame = capture

cv_img = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
hsv_img_ori =cv2.cvtColor(frame,cv2.COLOR_RGB2HSV)
hsv_img = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)

bg_saturation = 4
# 背景の明るさ
bg_value = 0.2
s_magnification = bg_saturation  # 彩度(Saturation)の倍率
v_magnification = bg_value  # 明度(Value)の倍率
hsv_img[:,:,(1)] = hsv_img[:,:,(1)]*s_magnification  # 彩度の計算
hsv_img[:,:,(2)] = hsv_img[:,:,(2)]*v_magnification  # 明度の計算
img_bgr = cv2.cvtColor(hsv_img,cv2.COLOR_HSV2RGB)

hsv_s = 10
hsv_v = 10
# 三原色抽出
red_mask = cv2.inRange(hsv_img_ori, (0, hsv_s,hsv_v), (20,255,255))+cv2.inRange(hsv_img_ori, (150, hsv_s,hsv_v), (180,255,255))
blue_mask = cv2.inRange(hsv_img_ori, (80, hsv_s,hsv_v), (130,255,255))
green_mask = cv2.inRange(hsv_img_ori, (30, hsv_s,hsv_v), (80,255,255))

scolor ="red"

if scolor =="red":
    dst = cv2.bitwise_and(cv_img, cv_img, mask=red_mask)
elif scolor =="green":
    dst = cv2.bitwise_and(cv_img, cv_img, mask=green_mask)
elif scolor =="blue":
    dst = cv2.bitwise_and(cv_img, cv_img, mask=blue_mask)

# 合成・型抜き
rows,cols,channels = dst.shape
roi = img_bgr[0:rows, 0:cols ]
img2gray = cv2.cvtColor(dst,cv2.COLOR_RGB2GRAY)
ret, mask = cv2.threshold(img2gray, 1, 255, cv2.THRESH_BINARY)
mask_inv = cv2.bitwise_not(mask)
img1_bg = cv2.bitwise_and(roi,roi,mask = mask_inv)
img2_fg = cv2.bitwise_and(dst,dst,mask = mask)

dst = cv2.add(img1_bg,img2_fg)
dst = cv2.cvtColor(dst, cv2.COLOR_RGB2BGR)
img_bgr[0:rows, 0:cols ] = dst
# NumPyのndarrayからPillowのImageへ変換
pil_image = Image.fromarray(img_bgr)
pil_image.show()

試したこと

cv2.cvtColor(dst, cv2.COLOR_RGB2BGR)等で色々変えてみましたが色がおかしくなる一方で特に成果は無し。
cv2.imshow()で見る限り、11行に問題がある様にしか見えない。

補足情報（FW/ツールのバージョンなど）

言語：Python
ツール：VScode

Comments

[bsdfan]

ImageGrab.grab() の戻り値について確認してみてはどうでしょう。BGR ではなく RGB で返ってきているということでは？

[Kasairyu]

確かにImageGrab.grab()の段階で画像はRGBでした。しかし、capture = np.array(img, dtype=np.uint8)を通すことでBGRになっています。

[bsdfan]

> capture = np.array(img, dtype=np.uint8)を通すことでBGRになっています。

そんなことは起きないと思うのですが、どうやって確認しましたか？

[Kasairyu]

配列はprint(img.mode)では確認できなかったのでcv2.imshow('capture', capture)で視覚的に確認しました。

[bsdfan]

opencvはBGRを期待しているので、cv2.imshow() で色が正しく表示されればBGR、おかしければRGBのデータです。Rだけの画像、Bだけの画像などで試してみて、print(capture) してみるのが確実です。

[Kasairyu]

pil_image = Image.fromarray()とpil_image.show()で途中途中の画像をで確認したらRGBの画像のままでした。大変失礼いたしました。その上でframeはRGB画像であるという前提の下修正するとcv_imgは色変換の必要が無く、この処理の所為で色々狂っていることが理解できました。
今まで二重に間違えて正解になっていた部分が理解できる形になり解決しました。ありがとうございます。

Answer 1

前提の認識と色変換を多重に間違えた結果何故か正しい結果が得られていました。正しくは以下の通りでした。

from PIL import Image, ImageTk, ImageOps  # 画像データ用
from PIL import ImageGrab
import numpy as np
import cv2

img = ImageGrab.grab()
capture = np.array(img, dtype=np.uint8)
frame = capture
pil_image = Image.fromarray(frame)

cv_img = frame
hsv_img_ori =cv2.cvtColor(frame,cv2.COLOR_RGB2HSV)
hsv_img = cv2.cvtColor(frame, cv2.COLOR_RGB2HSV)

bg_saturation = 1
# 背景の明るさ
bg_value = 0.2
s_magnification = bg_saturation  # 彩度(Saturation)の倍率
v_magnification = bg_value  # 明度(Value)の倍率
hsv_img[:,:,(1)] = hsv_img[:,:,(1)]*s_magnification  # 彩度の計算
hsv_img[:,:,(2)] = hsv_img[:,:,(2)]*v_magnification  # 明度の計算
img_bgr = cv2.cvtColor(hsv_img,cv2.COLOR_HSV2RGB)

hsv_s = 10
hsv_v = 10
# 三原色抽出
red_mask = cv2.inRange(hsv_img_ori, (0, hsv_s,hsv_v), (20,255,255))+cv2.inRange(hsv_img_ori, (150, hsv_s,hsv_v), (180,255,255))
blue_mask = cv2.inRange(hsv_img_ori, (80, hsv_s,hsv_v), (130,255,255))
green_mask = cv2.inRange(hsv_img_ori, (30, hsv_s,hsv_v), (80,255,255))

scolor ="red"

if scolor =="red":
    dst = cv2.bitwise_and(cv_img, cv_img, mask=red_mask)
elif scolor =="green":
    dst = cv2.bitwise_and(cv_img, cv_img, mask=green_mask)
elif scolor =="blue":
    dst = cv2.bitwise_and(cv_img, cv_img, mask=blue_mask)

# 合成・型抜き
rows,cols,channels = dst.shape
roi = img_bgr[0:rows, 0:cols ]
img2gray = cv2.cvtColor(dst,cv2.COLOR_RGB2GRAY)
ret, mask = cv2.threshold(img2gray, 1, 255, cv2.THRESH_BINARY)
mask_inv = cv2.bitwise_not(mask)
img1_bg = cv2.bitwise_and(roi,roi,mask = mask_inv)
img2_fg = cv2.bitwise_and(dst,dst,mask = mask)

dst = cv2.add(img1_bg,img2_fg)
img_bgr[0:rows, 0:cols ] = dst
# NumPyのndarrayからPillowのImageへ変換
pil_image = Image.fromarray(img_bgr)
pil_image.show(title="END")