画像処理についての質問です

Question

実現したいこと

YUVで読み込んだ画像をBMPに変換して保存したい

問題点

図Aはインプット画像でYUV形式の画像です．図Bはアウトプット画像ですが，本来黒であるべき部分が白くなってしまいます．

図A　インプット

図B　アウトプット

やったこと

read_YUVにインプット画像を入れて読み込む．出力は[フレーム数，高さ，幅，3]の4次元のnumpy.array．
次にyuv_to_rgb()で8bitフルスケールへ変換．
これを画像に保存したいわけですが，そのままImage.fromarray()を使って保存しようとしたらTypeErrorが出てしまったので
ここを参考に作りました．

import os, cv2, glob
import numpy as np
from PIL import Image

def read_YUV(filePath, height, width, frameNumber=0, count=1, colorFormat=444, depth=8, Y_only=False):
    '''
    処理内容
        画像を読み込み，[フレーム数, 高さ, 幅, 3　or 1]の4次元配列に格納する．
        カラーフォーマット420の場合，NearestNeighbor法に基づいてuy成分を2倍に拡大する．
    引数
        filePath:画像のパス
        height:高さ
        width:幅
        frameNumber：読み込み開始フレーム番号（デフォルト0）
        count：読み込むフレーム数（デフォルト1）
        colorFormat:カラーフォーマット（デフォルト420）
        depth：ファイルのビット深度
        Y_only:Trueなら輝度だけ読み込む（デフォルトFalse）
    戻り値
        [フレーム数, 高さ, 幅, 3 or 1]の配列（dtype=np.uint8）
    '''

    if colorFormat == 420:
        colorStride = 1.5
    else:
        colorStride = 3
    if depth == 8:
        depthStride = 1
        dtype = np.uint8
    elif depth > 8:
        depthStride = 2
        dtype = np.uint16

    with open(filePath,'rb') as fp:
        #目的のフレームまでシーク
        fp.seek(int(height*width*frameNumber*depthStride*colorStride),0)

        listImgY = []
        listImgUV = []

        for c in range(count):
            bary = np.fromfile(fp,dtype=dtype,count=height*width)
            imgY = np.reshape(bary,(1,height, width,1))
            listImgY.append(imgY)

            if Y_only is False:
                if colorFormat == 420:
                    bary = np.fromfile(fp,dtype=dtype,count=int((height/2)*(width/2)*2))
                    imgUV = np.reshape(bary,(2,int(height/2),int(width/2),1))
                    imgUV = np.transpose(imgUV,(3,1,2,0))
                    imgUV = imgUV.repeat(2, axis=1).repeat(2, axis=2)
                    listImgUV.append(imgUV)
                elif colorFormat == 444:
                    bary = np.fromfile(fp,dtype=dtype,count=height*width*2)
                    imgUV = np.reshape(bary,(2,height,width,1))
                    imgUV = np.transpose(imgUV,(3,1,2,0))
                    listImgUV.append(imgUV)
            else:
                fp.seek(int(height*width*depthStride*(colorStride-1)),1)

        imagesY = np.concatenate(listImgY,axis=0)
        if Y_only is False:
            imagesUV = np.concatenate(listImgUV,axis=0)
            images = np.concatenate([imagesY,imagesUV],axis=3)
            return images
        else:
            return imagesY

def yuv_to_rgb(img):
    '''
    処理内容
        ITU-R BT.601 規定YCbCrから8bitフルスケールRGBへの変換を行う
        参考サイト:https://vision.kuee.kyoto-u.ac.jp/~hiroaki/firewire/yuv.html
    引数
        img:画像データ[高さ, 幅, 3]
    戻り値
        [高さ, 幅, 3]のrgb配列（dtype=np.float32）

    '''
    height = img.shape[1]
    width = img.shape[2]

    rgb = np.zeros((1,height,width,3),dtype=np.float32)
    img = img.astype(np.float32)

    rgb[:,:,:,0] = 1.164 * (img[:,:,:,0]-16) + 1.596 * (img[:,:,:,2] - 128)
    rgb[:,:,:,1] = 1.164 * (img[:,:,:,0]-16) - 0.391 * (img[:,:,:,1] - 128) - 0.813 * (img[:,:,:,2] -128)
    rgb[:,:,:,2] = 1.164 * (img[:,:,:,0]-16) + 2.018 * (img[:,:,:,1] - 128)
    rgb = np.floor(rgb)
    return rgb

if __name__ == '__main__':
    file = './test.yuv'
    img =read_YUV(file, height, width).astype('float') //YUV読み込み用関数
    img_n = yuv_to_rgb(img) //8bitフルスケールRGBへ変換
    img_nn = img_n[0,:,:,] //3次元にシェイプ

    arrayimage = np.asarray(img_nn)
    scale = 255.0 / np.max(arrayimage)
    pilImg = Image.fromarray(np.uint8(arrayimage*scale))

arrayimage = np.asarray(img_nn)
scale = 255.0 / np.max(arrayimage)
pilImg = Image.fromarray(np.uint8(arrayimage*scale))

おそらくmain内のこの部分が間違えていると思うのですがよくわからないのでどなたかご教授願います．

Answer 1

まずYUVについてを理解する。
参考になるのは
YUVフォーマット及び YUV<->RGB変換

参考にされたHPの中にも

内容をよく見ると、plt.imreadで受信だ値は浮動小数で0から1の間であり、PILでの出力側は整数で0から255だけならない。

plt.imreadで別途だ値をそのまま整数に変換しても、全部0になるので、真っ黒になるのは当然である。

とありますが、おそらくこの部分が本来”黒”が”白”になる原因では？

ごりごりと参考に添付したHPで変換式を作成して検証されてください。