Python:画素の置き換えの処理の違いについて

Question

import numpy as np
import cv2
import scipy.stats as sstats
import matplotlib.pyplot as plt

def func1(luv):
    l, u, v = cv2.split(luv.astype(int))
    mode_l = sstats.mode(l[l.nonzero()])[0][0]
    mode_u = sstats.mode(u[l.nonzero()])[0][0]
    mode_v = sstats.mode(v[l.nonzero()])[0][0]
    luv[(mode_u - u)**2 + (mode_v - v)**2 < 3000., :] = [0, 0, 0]
    return luv

def func2(luv):
    l, u, v = cv2.split(luv)
    mode_l = sstats.mode(l[l.nonzero()])[0][0]
    mode_u = sstats.mode(u[l.nonzero()])[0][0]
    mode_v = sstats.mode(v[l.nonzero()])[0][0]
    mode = np.array([mode_l, mode_u, mode_v], dtype=int)
    a = (mode - luv)**2
    b = a[:, :, 1] +  a[:, :, 2]
    c = (b >= 3000).astype(int)
    cs = np.stack([c] * 3, axis=2)
    luv = luv * cs
    return luv

bgr = cv2.imread('bara.jpg')
luv = cv2.cvtColor(bgr, cv2.COLOR_BGR2Luv)

luvs = func1(luv)
result_s = cv2.cvtColor(luvs, cv2.COLOR_Luv2BGR)
cv2.imwrite("result_s.jpg",result_s)
rgb = result_s[:, :, [2, 1, 0]]
plt.imshow(rgb)
plt.show()

luvk = func2(luv)
result_k = cv2.cvtColor(luvk, cv2.COLOR_Luv2BGR)
cv2.imwrite("result_k.jpg",result_k)
rgb = result_k[:, :, [2, 1, 0]]
plt.imshow(rgb)
plt.show()
```黒（輝度Lが0）以外の背景色に近い色（最頻値からの色の距離が小さいもの）を黒く塗るプログラムを作成しました。RGBについては、昨日質問させていただいて、お二人のご助言により計算速度を向上できました。今度はCIELuv空間で試みたところ、一つの方法（result_s.jpg）ではうまくいくのですが、もう一つの方法ではエラーが出てうまくいきません。result_k.jpgがきちんと出力できるよう、ご教示いただけないでしょうか？

入力画像と、成功した結果result_s.jpgはそれぞれ下画像のとおりです。

![入力画像はこれです。](90dc77d46b83fe5fb464cca373ffd2d8.jpeg)
![result_s.jpgはこれです。](46fc7a95adb46a1e4beedad029df935c.jpeg)

エラーメッセージはこれです。
Traceback (most recent call last):
  File "kirisaki3.py", line 38, in <module>
    result_k = cv2.cvtColor(luvk, cv2.COLOR_Luv2BGR)
cv2.error: OpenCV(4.2.0) /io/opencv/modules/imgproc/src/color.simd_helpers.hpp:94: error: (-2:Unspecified error) in function 'cv::impl::{anonymous}::CvtHelper<VScn, VDcn, VDepth, sizePolicy>::CvtHelper(cv::InputArray, cv::OutputArray, int) [with VScn = cv::impl::{anonymous}::Set<3>; VDcn = cv::impl::{anonymous}::Set<3, 4>; VDepth = cv::impl::{anonymous}::Set<0, 5>; cv::impl::{anonymous}::SizePolicy sizePolicy = (cv::impl::<unnamed>::SizePolicy)2u; cv::InputArray = const cv::_InputArray&; cv::OutputArray = const cv::_OutputArray&]'
> Unsupported depth of input image:
>     'VDepth::contains(depth)'
> where
>     'depth' is 4 (CV_32S)

Comments

[y_waiwai]

このままではコードが読めないので、質問を編集し、<code>ボタンを押し、出てくる’’’の枠の中にコードを貼り付けてください

[grandchild]

昨日初めて投稿した状態でコードの貼り付け方も知りませんでした。ご指摘ありがとうございました。

Answer 1

昨日のご質問に回答した（func1 を提案した）者です。
エラーの解消については既に回答がついているので、こちらは「func1 と func2 の順番を入れ替えるとうまく動作した」ということの解釈となります。
実際にはコメント相当なのですが、コメント欄が柔軟ではないので回答欄を利用しております。
（なのでこのコメントをベストアンサーにしないでください。）
あらかじめご了承ください。

昨日のご質問（https://teratail.com/questions/316337）で私が提案した処理方法 func1 は、入力 luv に対して 破壊的な操作を行っています。
したがって、ご質問者様のコメントにある
「ｂ＞＝３０００だと結果は真っ黒画像となり、同じ処理をしているつもりが、異なる結果となりました。それを解決しようとFunc1とFunc2の順番を変えてみたところ、3000でも同じ結果となりました。」
というのは、次のように解釈できます：

1. func1 を適用した時点で luv 自体の値が処理後のものに変わっている。
2. func1 で値が変わってしまった luv を func2 に入力したので func2 の結果は期待されるものとは異なってしまった。
3. func2 と func1 の順番を入れ替えた場合、func2 の入力 luv は正しい値を持つため正しい結果が出力される。
4. また、func2 は入力 luv を破壊しないため、その後に func1 に luv を入れても正しい結果が得られた。

次に、
「b＞＝3000ではなく、b＞＝0でうまくいった」
理由も func1 が破壊的な操作を行っていることに起因します。
func1 によって既に処理が行われているので b >= 0 でないと同様の結果が得られなかったということになります。
実際には、func2 を単体で使う分には b >= 3000 で問題ありません。

＜以下、詳しい理由と func1 の改善案です＞
先述の通り、func1 は入力 luv に対して 破壊的な操作を行っています。
（つまり入力値をその後の処理で使用しないことを想定しています。）
どういうことかというと、func1 の中で入力 luv を直接変更しているのです。
従って、func1 は処理後の luv を返していますが、実際には入力値の luv と同じオブジェクトを返しています。
以下のように id 関数によって luv オブジェクトの ID を確認すれば、入力 luv と戻り値 luvs の ID が一致していることが分かります：

def func1(luv):
    l, u, v = cv2.split(luv.astype(int))
    mode_l = sstats.mode(l[l.nonzero()])[0][0]
    mode_u = sstats.mode(u[l.nonzero()])[0][0]
    mode_v = sstats.mode(v[l.nonzero()])[0][0]
    
    print("id of luv before processing:", id(luv))
    luv[(mode_u - u)**2 + (mode_v - v)**2 < 3000., :] = [0, 0, 0]
    print("id of luv after processing:", id(luv))
    return luv

bgr = cv2.imread('bara.jpeg')
luv = cv2.cvtColor(bgr, cv2.COLOR_BGR2Luv)

print("id of luv before calling func1:", id(luv))
luvs = func1(luv)
print("id of luvs:", id(luvs))

# 出力結果の例：
id of luv before calling func1: 2085935722128 <- 入力値 `luv` の ID。
id of luv before processing: 2085935722128
id of luv after processing: 2085935722128
id of luvs: 2085935722128 <- 入力値 `luv` と同じ ID。

一方で func2 では入力 luv に対して 非破壊的な操作を行っています。
（つまり入力値をその後の処理で使用できるようになっています。）
これは func2 の中で入力 luv に対して cs を掛けることで、その後に得られる luv は別のオブジェクトになっているからです。
このことも、入力 luv と処理後の luv および戻り値 luvk の ID が異なっていることから分かります：

def func2(luv):
    l, u, v = cv2.split(luv)
    mode_l = sstats.mode(l[l.nonzero()])[0][0]
    mode_u = sstats.mode(u[l.nonzero()])[0][0]
    mode_v = sstats.mode(v[l.nonzero()])[0][0]
    mode = np.array([mode_l, mode_u, mode_v], dtype=int)
    a = (mode - luv)**2
    b = a[:, :, 1] +  a[:, :, 2]
    c = (b >= 3000).astype(np.uint8)
    cs = np.stack([c] * 3, axis=2)
    print("id of luv before processing:", id(luv))
    luv = luv * cs
    print("id of luv after processing:", id(luv))
    return luv

bgr = cv2.imread('bara.jpeg')
luv = cv2.cvtColor(bgr, cv2.COLOR_BGR2Luv)

print("id of luv before calling func2:", id(luv))
luvk = func2(luv)
print("id of luvk:", id(luvk))

# 出力結果の例：
id of luv before calling func2: 2085935721168 <- 入力値 `luv` の ID。
id of luv before processing: 2085935721168
id of luv after processing: 2085935854576 <- 入力値 `luv` と異なる ID。
id of luvk: 2085935854576 <- 入力値 `luv` と異なる ID（処理後の `luv` と同じ）。

func1 を非破壊的にしたい場合は、例えば次のように修正していただければいいと思います：

def func1_rev(luv):
    luv = luv.copy() # <- ココを追加。copy() によって別のオブジェクトを作る
    l, u, v = cv2.split(luv.astype(int))
    mode_l = sstats.mode(l[l.nonzero()])[0][0]
    mode_u = sstats.mode(u[l.nonzero()])[0][0]
    mode_v = sstats.mode(v[l.nonzero()])[0][0]
    
    print("id of luv before processing:", id(luv))
    luv[(mode_u - u)**2 + (mode_v - v)**2 < 3000., :] = [0, 0, 0]
    print("id of luv after processing:", id(luv))
    return luv

最後に、なぜ func1 が入力 luv を破壊したのかということですが、これは Python における参照渡しと値渡しという話題に関連します。
今回の件に関して言えば、func1 も func2 も numpy.ndarray の参照が渡されているため、その値を関数内で変更すると参照先の値も変わるのです。
詳しくは『Python 参照渡し　値渡し』などのキーワードで調べれいただければと存じます。

以上、長文失礼しました。

Comments

[grandchild]

その後に使用することを想定していなかったこと、理解いたしました。また、その修正方法までご教示いただきありがとうございました。順番を入れ替えたことでうまくいったように見えたので、上書きかな？とは何となく思ってはいたものの、何も追求せずに、別の勉強をしておりました。実際には私の何となくの想定は間違っており、ご指摘いただいたことで真実が分かったような気がします。そのようにidを調べる方法も知りませんでしたし、参照渡し、値渡しという言葉についても勉強になりました（しばらくそれをキーワードで検索して勉強してみたいと思います）。ありがとうございました。

Answer 2

エラーの中身は
Unsupported depth of input image: 'VDepth::contains(depth)' where 'depth' is 4 (CV_32S)
であっていますか？
これはCV_32S(32ビット整数)をサポートしていないよ、というエラーです。
発生源は、result_k = cv2.cvtColor(luvk, cv2.COLOR_Luv2BGR)で、もう少し追うとc = (b >= 3000).astype(int)に行き着くはずです。

ここをc = (b >= 0).astype(np.uint8)に差し替えてください。うまくいくはずです。

Comments

[grandchild]

fourteenlengthさん、貴重なご助言をありがとうございます。
コードは無事にエラーなく動きました。また結果も同じとなりました。大変、勉強になりました。

b＞＝3000ではなく、B＞＝0である理由が分からず、ｂ＞＝３０００だと結果は真っ黒画像となり、同じ処理をしているつもりが、異なる結果となりました。それを解決しようとFunc1とFunc2の順番を変えてみたところ、3000でも同じ結果となりました。