ndarray型とbytes型の相互変換が正しく行えていないのでしょうか？

Question

前提・実現したいこと

クライアントのWebカメラで撮影した画像を、サーバーに送信して保存させたい。

発生している問題・エラーメッセージ

クライアント・サーバー間でsocketを使用したデータ転送は正常に処理されているようですが、
画像の色合いがおかしくなってしまいました。
なお、エラーメッセージは特に表示されません。

該当のソースコード

#サーバー側
import numpy as np
import cv2
import socket

import sys

# 受信した画像の設定情報
SHAPE = (600, 800, 3)

# 画像を保存する
def save_image( file_name, byte_array ):
    if ( SHAPE[0] * SHAPE[1] * SHAPE[2] + 33 ) == sys.getsizeof( byte_array ):
        image = np.frombuffer( byte_array, dtype=np.int8 )
        image = np.array( image ).reshape( SHAPE )
        #image = image.reshape( SHAPE )
        print( image.shape ) #デバッグ用
        result = cv2.imwrite( file_name, image )
        print( result )

# 受信バッファサイズ設定
BUFFER_SIZE = 1024

soc = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
soc.bind(("127.0.0.1", 60000)) # サーバ待ち受け
soc.listen(1)
while True:
    con, addr = soc.accept()
    data_sum = bytes(b'')
    with con:
        while True:
            data = con.recv(BUFFER_SIZE) #1024バイトづつ分割して受信する
            data_sum = data_sum + data #受信した分だけ足していく
            if BUFFER_SIZE > sys.getsizeof(data) - 33:
                data_size = sys.getsizeof(data_sum)
                print( "raw data size:"+str( data_size ))
                send_msg = "Received:"+str( data_size )
                con.sendall(send_msg.encode())
                save_image("recieved_data.bmp", data_sum)
                break 

#クライアント側
import cv2
import numpy as np

import socket
import sys

# 画像保存関数
def save_image( file_name, byte_array ):
    image = np.frombuffer( byte_array, dtype=np.int8 )
    image = np.array( image ).reshape( (600, 800, 3) )
    result = cv2.imwrite( file_name, image )
    print( result )


#カメラの画像を取得する
cap = cv2.VideoCapture(0)    
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 800)  # カメラ画像の横幅設定値
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 600) # カメラ画像の縦幅設定値
cap_width=cap.get(cv2.CAP_PROP_FRAME_WIDTH)    # カメラ画像の横幅設定値取得
cap_height=cap.get(cv2.CAP_PROP_FRAME_HEIGHT)  # カメラ画像の縦幅設定値取得
print( str(cap_width)+"x"+str(cap_height))
ret, image = cap.read() # 画像取得
cap.release() # キャプチャ終了

# 取得画像を保存(デバッグ用)・・・(1)
cv2.imwrite("captured.bmp", image )

# 取得画像の情報表示
print("Shape0:"+str( image.shape[0] ) )
print("Shape1:"+str( image.shape[1] ) )
print("Shape2:"+str( image.shape[2] ) )
print("Ndim:"+str( image.ndim ) )

# 画像データの加工（送信するために ndarray → bytes）
s_data = image.tobytes()
print( "raw data size:"+str( sys.getsizeof(s_data) ))

# 取得画像を保存（デバッグ用）・・・(2)
save_image("send_data.bmp", s_data)

# ソケット通信で画像を送る
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as soc:
    # サーバを指定
    soc.connect(('127.0.0.1', 60000))
    # サーバにメッセージを送る
    result = soc.send( s_data )
    # ネットワークのバッファサイズは1024。サーバからの文字列を取得する
    r_data = soc.recv(1024)
    print( r_data.decode() )
soc.close()
print( "send size:"+str(result) )

試したこと

クライアント側（送信側）で、sendする前に画像データをndarray型→bytes型に変換してから送信した。
→解決せず。
サーバー側（受信側）で作成したbytes型→ndarray型の変換処理をクライアント側（送信型）にも記述し、問題の原因個所を切り分け。
→クライアントで取得した画像データは、送信する前の段階で色合いがおかしくなっている。
ndarray型→bytes型の処理、またはbytes型→ndarray型の処理が正しく記述されていない可能性があります。

補足情報（FW/ツールのバージョンなど）

OS：Windows10pro
jupyter notebookをpythonのvenv(仮想環境)で作動させています。
仮想環境外でも問題は解決していません。

Answer 1

原因がここだけかはわからないですが、np.frombuffer(byte_array, dtype=np.int8) の部分は問題があります。
画像は uint8 型で表現されるので、int8 と解釈してしまったら、数値上おかしくなると思います。

Data types — NumPy v1.20.dev0 Manual

- np.frombuffer(byte_array, dtype=np.int8)
+ np.frombuffer(byte_array, dtype=np.uint8)

Comments

[mkawa37]

ありがとうございます。
ご指摘の通り修正したところ、無事に解決しました。