pythonのstructにバイナリデータを保存する方法

Question

pythonのstructにバイナリデータを保存しようとしています。
コードは下記の通りです。

iniHead関数内で、```head.passwd```に```io.BytesIO```を用いてバイナリデータを代入しているのですが、```\x00```で途切れてしまい、データ全てを保存できません。

base64にエンコードすれば、データ全てを保存できるのはわかるのですが、エンコードするとデータサイズが大きくなるのと、余計な処理は追加したくないので、できれば避けたいです。

何か良い方法はありますでしょうか？

```python
from ctypes import *
import struct
import io
import base64

PASS_SIZE = 512
bin_data = b'\x03\x02\x01\x00\x01\x02\x03' # バイナリデータ

class Head(LittleEndianStructure): 
    _pack_ = 1
    _fields_ = [
        ('id', c_char * 3),
        ('passwd', c_char * PASS_SIZE),
    ]

def iniHead():
    head = Head()
    head.id = b'ABC'
    head.passwd = io.BytesIO(bin_data).read() # バイナリデータを保存
    return head

if __name__== "__main__":
    head = iniHead()

    # \x00でデータが途切れてしまう
    print("head.passwd: {}".format(head.passwd)) # head.passwd: b'\x03\x02\x01'
    
    # structでなければ、\x00以降も保存される 
    notHeadPasswd = io.BytesIO(bin_data).read()
    print("notHeadPasswd: {}".format(notHeadPasswd)) # notHeadPasswd: b'\x03\x02\x01\x00\x01\x02\x03'

    # base64にエンコードすれば保存はできる (できれば使いたくない)
    b64_encode_data = base64.b64encode(bin_data)
    head.passwd = b64_encode_data
    b64_decode_data = base64.b64decode(head.passwd)
    print("b64_decode_data: {}".format(b64_decode_data)) # b64_decode_data: b'\x03\x02\x01\x00\x01\x02\x03'

```

実行結果
```
head.passwd: b'\x03\x02\x01'
notHeadPasswd: b'\x03\x02\x01\x00\x01\x02\x03'
b64_decode_data: b'\x03\x02\x01\x00\x01\x02\x03'
```

Accepted Answer

補足により固定長で良いとのことなので、こんな感じです。サイズの情報がないと正しい情報が読み出せないので追加しました。


```Python
from ctypes import *
import io

DATA_SIZE = 20
bin_data = b'\x03\x02\x01\x00\x01\x02\x03'  # バイナリデータ


class Head(LittleEndianStructure):
    _pack_ = 1
    _fields_ = [
        ('data', c_ubyte * DATA_SIZE),
        ('data_len', c_int),
    ]


def iniHead():
    head = Head()
    data = io.BytesIO(bin_data).read()
    head.data = (c_ubyte * DATA_SIZE)(*data)
    head.data_len = len(data)
    return head


head = iniHead()
print("Struct size", sizeof(head))
print("Buffer data len", len(head.data))
print("Buffer data", head.data[:])
print("Actual data len", head.data_len)
print("Actual data", head.data[:head.data_len])
```

結果

```
Struct size 24
Buffer data len 20
Buffer data [3, 2, 1, 0, 1, 2, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
Actual data len 7
Actual data [3, 2, 1, 0, 1, 2, 3]
```

これから設計をするなら、AvroやProtobufのように多言語で使えて、スキーマを定義したら各言語でバインディング（タイプクラス、シリアライザー、デシリアライザー）の生成ができるライブラリを使うのが良いでしょう。

例えはstructに新たにフィールドを追加したかったらどうしますか？レコード長が変わってしまいますが、全システムを同時に更新できますか？多分無理でしょう。後方互換性を確保しつつ変更する方法を考えないといけないですね。固定長で良いとのことですが、フィールドが増える度にサイズが増えますね。全てのフィールドを使っても使っていなくてもスペースを消費してしまいます。

このあたりの問題を解決してくれるのが先に挙げたようなライブラリで提供されるRPCフォーマットです。ご参考まで。

関連した質問