socket通信で2Dのnumpy配列を汎用的に（サイズやデータ型もふくめて）通信したい

Question

実現したいこと・質問

• socket通信で2Dのnumpy配列を汎用的に（サイズやデータ型もふくめて）通信したい。

• 以下に示すようにクライアント側とサーバ側それぞれにサイズやデータ型を予め設定したり、サイズやデータ型を改めてクライアント側からサーバー側へ通信することで実装できますが、このような暫定的な方法ではなく、2Dのnumpy配列を転送する推奨された方法はありますか？

以下、前提

• 現在、2Dのnumpy通信を受信側、送信側に予めサイズやデータ型を設定することで通信できている。

クライアント側

import socket
import numpy as np

PORT = 11113
BUFFER_SIZE = 1024

with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
    s.connect(('server_container', PORT))
    data = np.arange(30)
    data = np.reshape(data,(5,6))
    print(data)
    data = data.tostring()
    s.send(data)
    data2 = s.recv(BUFFER_SIZE)
    data2 = np.fromstring(data2,dtype=np.int64)
    data2 = np.reshape(data2,(5,6))
    print(data2)

サーバー側

import socket
import numpy as np

PORT = 11113
BUFFER_SIZE = 1024

with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
    s.bind(('0.0.0.0', PORT))
    s.listen()
    while True:
        (connection, client) = s.accept()
        try:
            print('Client connected', client)
            data = connection.recv(BUFFER_SIZE)
            data = np.fromstring(data,dtype=np.int64)
            data = np.reshape(data,(5,6))
            print(data)
            data = data.tostring()
            connection.send(data)
        finally:
            connection.close()

試したこと(追記)

np.saveとnp.loadを用いコードを書き直しし、互いに通信しようとしたところ、
サーバ側のnp.loadでデシリアライズできませんでした。

• サーバー側19行目「print(data2)」のブレークポイントでデバッグ

data2
array(<function save at 0x7fd590150f28>, dtype=object)

以下、修正コード

• クライアント側

from io import BytesIO

import socket
import numpy as np

PORT = 11113
BUFFER_SIZE = 2048
out = BytesIO()

with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
    s.connect(('server_container', PORT))
    data = np.arange(30)
    data = np.reshape(data,(5,6))
    print(data)
    np.save(out, np.save)
    binary = out.getvalue()
    s.send(binary)
    data2 = s.recv(BUFFER_SIZE)
    data2 = np.load(BytesIO(data2), allow_pickle=True)
    print(data2)

• サーバー側

from io import BytesIO

import socket
import numpy as np

PORT = 11113
BUFFER_SIZE = 2048
out = BytesIO()

with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
    s.bind(('0.0.0.0', PORT))
    s.listen()
    while True:
        (connection, client) = s.accept()
        try:
            print('Client connected', client)
            data = connection.recv(BUFFER_SIZE)
            data2 = np.load(BytesIO(data), allow_pickle=True)
            print(data2)
            np.save(out, data2)
            binary = out.getvalue()
            connection.send(binary)
        finally:
            connection.close()

Answer 1

numpy.save で npy 形式でバイナリ化してはどうでしょうか。この形式の場合、バイナリ内に型やサイズの情報が含まれているため、numpy.load で読み込めば、そのまま元の配列を復元できます。

from io import BytesIO

import numpy as np

a = np.arange(10)

# numpy -> npy format
out = BytesIO()
np.save(out, a)
binary = out.getvalue()

# npy format -> numpy
a = np.load(BytesIO(binary))
print(a)

Comments

[xsteviax]

回答ありがとうございます。
np.saveとnp.loadを少し試してみようと思います。

[xsteviax]

np.saveとnp.loadを用いコードを書き直しし、互いに通信しようとしたところ、
サーバ側のnp.loadでデシリアライズできませんでした。
内容は本文に追記いたしました。

[tiitoi]

`np.save(out, np.save)` はおかしくないでしょうか。
save の第2引数は送りたい配列を指定します。

[xsteviax]

おっしゃるとおりでした。
恥ずかしいミスをしてしまいました。。。
こちらの方法で通信問題なくできましたので、ベストアンサーに選択したいと思います。
質問に答えてくださった方々ありがとうございました。

Answer 2

そういう、「任意のオブジェクトをバイト列に変換して、あとでオブジェクトに復元する」というのは、シリアライズ、デシリアライズ、と言います。

いくつかライブラリがあります。標準の物なら、
pickle
marshal
など。

他は、「Python シリアライズ」「Python 直列化」などでググってください。

Comments

[otn]

numpyオブジェクトだと、np.save等でシリアライズできるようですが、ファイルに書くしかできなさそうです。
いったんファイルを経由することになりますが、これだと間違いないかと。

[xsteviax]

回答ありがとうございます。
「シリアライズ」初めて聞きました。調べてみます。
あと、np.saveを少し試してみようと思います。