pythonのstructにバイナリデータを保存する方法

Question

pythonのstructにバイナリデータを保存しようとしています。
コードは下記の通りです。

iniHead関数内で、head.passwdにio.BytesIOを用いてバイナリデータを代入しているのですが、\x00で途切れてしまい、データ全てを保存できません。

base64にエンコードすれば、データ全てを保存できるのはわかるのですが、エンコードするとデータサイズが大きくなるのと、余計な処理は追加したくないので、できれば避けたいです。

何か良い方法はありますでしょうか？

from ctypes import *
import struct
import io
import base64

PASS_SIZE = 512
bin_data = b'\x03\x02\x01\x00\x01\x02\x03' # バイナリデータ

class Head(LittleEndianStructure): 
    _pack_ = 1
    _fields_ = [
        ('id', c_char * 3),
        ('passwd', c_char * PASS_SIZE),
    ]

def iniHead():
    head = Head()
    head.id = b'ABC'
    head.passwd = io.BytesIO(bin_data).read() # バイナリデータを保存
    return head

if __name__== "__main__":
    head = iniHead()

    # \x00でデータが途切れてしまう
    print("head.passwd: {}".format(head.passwd)) # head.passwd: b'\x03\x02\x01'
    
    # structでなければ、\x00以降も保存される 
    notHeadPasswd = io.BytesIO(bin_data).read()
    print("notHeadPasswd: {}".format(notHeadPasswd)) # notHeadPasswd: b'\x03\x02\x01\x00\x01\x02\x03'

    # base64にエンコードすれば保存はできる (できれば使いたくない)
    b64_encode_data = base64.b64encode(bin_data)
    head.passwd = b64_encode_data
    b64_decode_data = base64.b64decode(head.passwd)
    print("b64_decode_data: {}".format(b64_decode_data)) # b64_decode_data: b'\x03\x02\x01\x00\x01\x02\x03'

実行結果

head.passwd: b'\x03\x02\x01'
notHeadPasswd: b'\x03\x02\x01\x00\x01\x02\x03'
b64_decode_data: b'\x03\x02\x01\x00\x01\x02\x03'

Comments

[Kenji.Noguchi]

structは基本的に固定長で使う物で、もし可変長のデータを扱いたいなら、そのデータを確保したメモリのアドレスへのポインタを持つしかないです。データサイズを気にされていますが、sizeof(head)するとわかりますが現状のコードでは最大長の514バイトが確保されています。

なぜctypeのstructを使いたいのですか？ネットワークやディスクなどからバイト列を読み書きしたいとか、そう言う目的でしょうか？一般に可変長のデータはサイズの情報が先頭にあるか、区切り文字の指定がないと、どれだけ読み込んだら良いのかがわかりません。このあたりの背景が明確になれば解決法はあると思います。\0で切れるのはヌル終端文字列として扱われているからでしょう。

[gomigorou]

ご助言ありがとうございます。

目的は、バイト列が組み込まれたファイルを読み書きする事です。
そのファイルは、Pythonだけではなく、C言語などのプログラムでも扱える様に互換性を保つ必要があります。

データの内容自体は可変ですが、サイズは固定長です。
なので、
```head.passwd = io.BytesIO(bin_data).read(PASS_SIZE)```
と、読み込むサイズを指定しても問題無いかと思います。(bin_dataはあくまでサンプルで、実際はもっと長いです)

ですがこの様にしても、やはり\x00で途切れてしまいます。

Answer 1

補足により固定長で良いとのことなので、こんな感じです。サイズの情報がないと正しい情報が読み出せないので追加しました。

from ctypes import *
import io

DATA_SIZE = 20
bin_data = b'\x03\x02\x01\x00\x01\x02\x03'  # バイナリデータ


class Head(LittleEndianStructure):
    _pack_ = 1
    _fields_ = [
        ('data', c_ubyte * DATA_SIZE),
        ('data_len', c_int),
    ]


def iniHead():
    head = Head()
    data = io.BytesIO(bin_data).read()
    head.data = (c_ubyte * DATA_SIZE)(*data)
    head.data_len = len(data)
    return head


head = iniHead()
print("Struct size", sizeof(head))
print("Buffer data len", len(head.data))
print("Buffer data", head.data[:])
print("Actual data len", head.data_len)
print("Actual data", head.data[:head.data_len])

結果

Struct size 24
Buffer data len 20
Buffer data [3, 2, 1, 0, 1, 2, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
Actual data len 7
Actual data [3, 2, 1, 0, 1, 2, 3]

これから設計をするなら、AvroやProtobufのように多言語で使えて、スキーマを定義したら各言語でバインディング（タイプクラス、シリアライザー、デシリアライザー）の生成ができるライブラリを使うのが良いでしょう。

例えはstructに新たにフィールドを追加したかったらどうしますか？レコード長が変わってしまいますが、全システムを同時に更新できますか？多分無理でしょう。後方互換性を確保しつつ変更する方法を考えないといけないですね。固定長で良いとのことですが、フィールドが増える度にサイズが増えますね。全てのフィールドを使っても使っていなくてもスペースを消費してしまいます。

このあたりの問題を解決してくれるのが先に挙げたようなライブラリで提供されるRPCフォーマットです。ご参考まで。

Comments

[gomigorou]

ご回答ありがとうございます！
わかりやすい解説とソースコード、RPCフォーマットのご紹介など、大変勉強になりました！！

```(c_ubyte * DATA_SIZE)(*data)```の様に、pythonでも型キャストができるんですね！

[Kenji.Noguchi]

この型変換はint("3")が3になるのと基本的に同じです。特殊なのは型が動的に生成されている点で、c_ubyte * 512はc_ubyte_ARRAY_512という型を作っています。そして型変換を()で実行しています。ctypesはPythonの世界の外とやりとりするための手段なので何かとPythonの知識が通じないことが多いですね。