画像を正規化すると元の色味が変わってしまう

Question

前提・実現したいこと

入力された画像を分割し、いろいろな処理をした後に分割された画像を結合し元に戻す、
というプログラムを作っています。

発生している問題

しかし、入力された画像と、結合し出力された画像では色味が異なり、正しく処理できていない状態にあります。

思い当たる節として、入力データをテンソルに変換→正規化→（処理）→正規化を解く

このどれかの処理がうまくいっていないものとみています（プログラムでは27, 29, 37行目）。

どの行の処理がうまくできていないのかわかる方がいらっしゃいましたら、ご教授いただけないでしょうか。

宜しくお願い致します。

###入力画像

###出力される画像

該当のソースコード

import numpy as np
import cv2
import tensorflow as tf

def main():
    i = 0
    n = 10
    pro_height = 3000
    pro_width = 4000
    hd_height = 2160
    hd_width = 3480
    stock_img = []
    d = []
    y0 = int(pro_height/n)
    x0 = int(pro_width/n)

    img = cv2.imread('./image/image.png')
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    lr_h, lr_w = img.shape[0], img.shape[1]

    # 画像分割
    if lr_h < lr_w:
        r_img = cv2.resize(img, (pro_width, pro_height))
        a = [r_img[y0*y:y0*(y+1), x0*x:x0*(x+1)] for y in range(n) for x in range(n)]

    # ===怪しいところ(27, 29, 37行目)===
        b = tf.convert_to_tensor(a, np.float32)
        # 正規化
        c = (b.numpy() - 127.5) / 127.5

    # =================
    # ===その他の処理===
    # =================

    # 正規化を解く
    d = np.clip((c) * 255, 0, 255).astype(np.uint8)
    # ================


    # 画像結合
    for _ in range(n):
        img = [d[x+i] for x in range(n)]
        img_x = cv2.hconcat(img)
        stock_img.append(img_x)
        i += n

    image = cv2.vconcat(stock_img)
    image = cv2.resize(image, (hd_width, hd_height))
    cv2.imwrite('./result_{0}.png'.format(n), image)

if __name__ == '__main__':
    main()

試したこと

18行目のimg = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)を変更してみたり、29, 36行目の値を変更してみたり、いろいろ試しましたが、うまくいきませんでした。

###改善（jbpd0さん）
コメントしていただきありがとうございます。
指摘箇所を変更し実行した結果を下記に示します。

Comments

[jbpb0]

c = (b.numpy() - 127.5) / 127.5
で、値が-1.0〜1.0になってます

「その他の処理」で、それが変わってないのが前提ですが、
d = np.clip((c) * 255, 0, 255).astype(np.uint8)
↓ 変更
d = np.clip(c * 127.5 + 127.5, 0, 255).astype(np.uint8)
で、どうでしょうか？

[Tetsuya_Kosaka]

コメントありがとうございます。

ご指摘の通り当該箇所を変更し実行しました。多少改善されましたが、まだ不完全でありました。画像のほうは上記本文中に載せましたのでそちらをご確認お願い致します

＞「そのほかの処理」でそこが変わっていないことが前提ですが、
はい。その個所では色味の変更を行う処理はありません。

お手数おかけしますが、宜しくお願い致します

[jbpb0]

「そのほかの処理」を全部スキップして実行したら、どうなりますか？

[Tetsuya_Kosaka]

実行したプログラムは上記のものと同じで、その他の処理は実行していません。

[jbpb0]

cv2.imwrite('./result_{0}.png'.format(n), image)
のすぐ上に、
image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
を追加してください

[Tetsuya_Kosaka]

コメントありがとうございます。
すみませんcv2.ctvColor(img, cv2.COLOR_BGR2RGB)を抜いて処理したら元通りの画像になりました！

[jbpb0]

cv2.ctvColor(img, cv2.COLOR_BGR2RGB)
が要るかどうかは、「そのほかの処理」次第ですね
もし、やっぱり要るとなったら、私の一つ前のコメントのように、画像を保存する前に、RGBからBGRに戻す処理を追加してください

[Tetsuya_Kosaka]

最後までアドバイスありがとうございます。
様々な処理をテストし判断させていただきます。

Answer 1

皆様ありがとうございます。
解決しましたので改善したコードを下記に示します。

import numpy as np
import cv2
import tensorflow as tf

def main():
    i = 0
    n = 10
    pro_height = 3000
    pro_width = 4000
    hd_height = 2160
    hd_width = 3480
    stock_img = []
    d = []
    y0 = int(pro_height/n)
    x0 = int(pro_width/n)

    img = cv2.imread('./image/image.png')
    #img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    lr_h, lr_w = img.shape[0], img.shape[1]

    # 画像分割
    if lr_h < lr_w:
        r_img = cv2.resize(img, (pro_width, pro_height))
        a = [r_img[y0*y:y0*(y+1), x0*x:x0*(x+1)] for y in range(n) for x in range(n)]

        b = tf.convert_to_tensor(a, np.float32)
        # 正規化
        c = (b.numpy() - 127.5) / 127.5

    # =================
    # ===その他の処理===
    # =================

    # 正規化を解く
    d = np.clip((c) * 127.5 + 127.5, 0, 255).astype(np.uint8)


    # 画像結合
    for _ in range(n):
        img = [d[x+i] for x in range(n)]
        img_x = cv2.hconcat(img)
        stock_img.append(img_x)
        i += n

    image = cv2.vconcat(stock_img)
    image = cv2.resize(image, (hd_width, hd_height))
    cv2.imwrite('./result_{0}.png'.format(n), image)

if __name__ == '__main__':
    main()

ありがとうございました。