明るさ調整に関する質問

Question

#目的
pythonを用いて明るさの調整をしたいと考えています。
img2をimg1と同じ明るさの画像にしたい。
※ちなみに画像は黒背景に物体が映っている画像です。そのため、黒背景部分の画素は計算上影響させたくないと考えています。

手法

https://www.pynote.info/entry/opencv-change-contrast-and-brightness
を参考にガンマ補正を使おうと考えました。(ほかに輝度を調整する機能をご存じでしたら教えてください)

def adjust(img, alpha=1.0, beta=0.0):
    # 積和演算を行う。
    dst = alpha * img + beta
    # [0, 255] でクリップし、uint8 型にする。
    return np.clip(dst, 0, 255).astype(np.uint8)


# 画像を読み込む。
img1 = cv2.imread("sample1.png")
img2 = cv2.imread("sample2.png")

# コントラスト、明るさを変更する。
img2 = adjust(img2, alpha=xxx, beta=xxx)

# 保存する。
cv2.imwrite("result.png", img2)

このときimg2がimg1と同じ明るさになるようなアルファとガンマを求めるにはimg1からどのように求めればよいのでしょうか？画像処理に詳しい方教えていただけると幸いです。
よろしくお願いいたします

img1とimg2で想定している画像としては
https://cvtech.cc/std/
こちらにあるような明るさの違う画像です。URLでは同じ画像ですがimg1とimg2は別画像、(サイト内で言えば、別人の医用画像)の場合で考えています。

Answer 1

手法はほかの方の方が詳しいかと思いますので、使えそうな関数を例示します。
適当に書いているので文法エラーがあるかもしれませんがご容赦ください。

1. まずは明るさ情報を拾う
カラー画像をHSVにすると明るさ情報がVに集約されます。
カラー画像をグレースケールに変えて明るさにしてしまうのは避けた方が良いと思います。
cv2.cvtColor(img,cv2.COLOR_BGR2HSV

この関数で上記HSVからV(明るさ)の情報だけ分離できます。
cv2.split(img)

2. 背景を分離する
あらかじめimg_bgの値をすべてFalseにします。
そのあと以下のような処理をすると、img_vの値が10より小さい場所だけを抽出して、img_bgの相当する場所にTrueを代入できます。マスク処理の準備です。
img_bg[img_v<10] = True

3. 平均値を出す
先のTrueの部分をNaNに変えてしまいます。後で平均値を出しやすくするためです。
img_bg[img_bg==True] = np.nan()

以下の処理をすると、img_bgの背景部分はNaN、そのほか(前景)には数値が入りますね。
img_bg[img_bg==False] = img_v

以下の処理をすると、NaNを無視した平均値がでます。つまり、前景の平均が出ます。
avg = np.nanmean(img_bg)

4. 正規化処理
img_bgにNaNがあるとOpenCVは困りますので、Nanを数値に書き戻します。
適当にゼロで埋めてもよいと思います。ゼロは正規化してもゼロのままかと思いますので…。
img_v=np.nan_to_num(img_v)

先のimg_vを正規化します。
cv2.equalizeHist
cv2.clahe
ガンマ補正、いろいろやり方はあるかと思います。
アルファ、ガンマのやり方であれば上記3.の平均値が使えそうです。

---

dst = alpha * img + beta
# [0, 255] でクリップし、uint8 型にする。
return np.clip(dst, 0, 255).astype(np.uint8)

好みの問題くらいの違いしかありませんが、加算部分についてはcv2.add()がスッキリして良いかと思います。255で打ち切られるためです。

Answer 2

img1,2の位置ずれが小さい場合はimg2の輝度がXである座標のimg1の輝度の分布を調べ、その代表値(加重平均なりピークなり)をとればimg1,2間の輝度のルックアップテーブルが出来るので、それに対してガンマカーブを近づけると大体良い感じになるかと思います。
それなりにずれている場合は累積ヒストグラムの形状を合わせ込むようにすると良いです。
ただしいずれの場合もガンマ補正で両画像が合わせ込めることが前提です。
ガンマ補正は有名な補正ではありますが万能ではありません。
また、そもそもヒストグラム補正では対応できない可能性も視野に入れた方がよいでしょう。
この手の補正は空間情報を考慮していないので、ある輝度を場所によって異なる輝度に補正しなければならない場合は原理的に破綻します。

まずは両画像のヒストグラムを見比べてから手法を選ぶと良いと思います。

Comments

[Nyankoy]

丁寧に教えていただきありがとうございます。しばらく考えており、遅くなり申し訳ありませんでした。最終的にimg1とimg2のピーク値からどの程度輝度がずれているのかを計算し、ガンマカーブを近づけるようにしました。確かに、完全に輝度平均が同じになるということはありませんでしたが、近い輝度にはできたので助かりました。ベストアンサーにさせて頂きました。

Answer 3

「明るさがAである箇所が，補正後にはA'になってほしい」という　入力明るさ→出力明るさ　の対応データに対して，
なるべくそのようになるような補正パラメータの値を探索的に求めれば良いのではないでしょうか．

例えば，img1とimg2とで同じ場所(x,y)の画素が同じ明るさになって欲しいのであれば，
img1側の画素値(出力明るさ)とimg2側の画素値(入力明るさ)の組をN画素分だけ用意することができるでしょうから，補正パラメータを最小二乗的にでも決めればよいかと思います．

Comments

[Nyankoy]

なるほど、こちらの方法はimg1とimg2は同じ画像で明るさだけ違う場合に有効だと考えていいでのしょうか？

[fana]

分かりやすい例として「img1とimg2は同じ画像で明るさだけ違う場合」について書きましたが，
もしも所望の補正結果というのが，「入力輝度値vs出力輝度値」という明確な対応関係というよりは，全体的なコントラストだとかみたいな形で考えられている（示される）のであれば，それを数値化して評価すればよいです．
例えば，やりたいことは「img1と同じコントラストになること」なのかもしれません．
あるいは，img1という基準を設けずとも，img2にヒストグラムイコライゼーションみたいな処理を一発やれば終わる話なのかもしれません．