python3 画像のbinary保存 謎

Question

python3の画像データのbinary保存の挙動がおかしい。

現在、(622,224,112)の画像をpythonでbinary保存したいと思っています。

発生している問題

binaryデータを読み取った段階で、長さを取得すると、124,838,056と出力されます。
元々、(622,112,224)の画像なので要素数は15,604,736になるはずです。

該当ソースコード

print(np.array(save_yuv).shape)  ### -> (622,112,224)と出力されます。

"""save tiled yuv data """
with open(os.path.join(layer_dir, 'stream.yuv'), 'wb') as f:
    f.write(np.array(save_yuv).flatten())

試したこと

f.write(np.array(save_yuv).flatten())の部分をf.write(np.array(save_yuv))に変更してみた。
結果は同じような124,837,888価でした。
こんなことは初めてなので、pythonにお詳しい方教えてください( ；´Д｀)

ちなみに、pickle dumpの方法は正しく動きました。しかし、そのあとに圧縮・展開を行うと、正しくファイルが開けないため、pickle の方法もできません。

それ以外の方法とか何かありますでしょうか。

補足情報（FW/ツールのバージョンなど）

python3.5.2
numpy 1.16.0
サーバー環境
Linux version 4.4.0-142-generic (buildd@lgw01-amd64-033) (gcc version 5.4.0 20160609 (Ubuntu 5.4.0-6ubuntu1~16.04.10) ) #168-Ubuntu SMP Wed Jan 16 21:00:45 UTC 2019

Answer 1

私もいま初めて知ったのですが、numpy配列はbytes-like objectなんですね（ドキュメントの参考項目）。バイナリモードのファイルオブジェクトのwriteの引数に渡せば、そのままバイト列に変換されて吐き出されます。

読み込むなら、

with open("ファイル名", "rb") as f:
    a = np.frombuffer(f.read(), dtype=もともとの型（画像ならnp.int64かな。確認してみてください）).reshape(622,112,224)

とかすればたぶんできます。でも面倒くさいですね。

簡単に扱いたければ、np.saveやnp.savezがいいのではないでしょうか。

https://docs.scipy.org/doc/numpy/reference/generated/numpy.save.html
https://docs.scipy.org/doc/numpy/reference/generated/numpy.savez.html

Comments

[Lizard_knight]

回答ありがとうございます！
上記の方法でやってみた結果、要素数は124,837,888でした...

[hayataka2049]

要素数とは？　私のコードではreshapeしているので、あまり関係なさそうですが。

[hayataka2049]

np.array(save_yuv).dtypeを予め見ておき、読み込むときは対応する型を指定する必要があります。その後reshapeすれば元の配列が復元できるかと。

[Lizard_knight]

errorで以下が出力されます。
ValueError: cannot reshape array of size 124837888 into shape (622,112,224)

[hayataka2049]

np.array(save_yuv).dtypeは何で、読み込み時の型には何を指定しましたか？

[Lizard_knight]

保存する前の変数のdtypeがint64であり、実際int8で読み込みたいのでそこが原因だと思います。

[Lizard_knight]

できました！ありがとうございます！！！！

[hayataka2049]

save_yuvはint8で十分表せるということでしょうか？　それなら、numpy配列に変換するときに型を指定すれば良いのではないでしょうか。

with open(os.path.join(layer_dir, 'stream.yuv'), 'wb') as f:
f.write(np.array(save_yuv, dtype=np.int8).flatten())

[hayataka2049]

とりあえず「この方法でもできる」ことはわかりましたが、私の回答の結論は「np.saveやnp.savezの方が簡単」なので、そちらもよろしければ試してみてください。

[Lizard_knight]

np.save、np.savezの方が確かに楽ですね（笑）