バイナリデータをdecodeして編集したい

Question

全球スケールで空間解像度0.1°×0.1°の格子点に埋め込まれた気象データ(～.dat.gz)を解凍しました。目的としては、日本の領域内のグリッドデータを切り取り、自分でも読み書きできるようにしたいと思っております。
その前段階として、data.decode("UTF-8")をしましたが、以下のようなエラーが出ています。
'utf-8' codec can't decode byte 0xc6 in position 106: invalid continuation byte

ちなみにデータフォーマットを見ると「4-byte float plain binary, little-endian」とのことです。実際のバイナリデータは膨大なビッグデータなのでお見せすることはできませんが、ご助言頂ければ幸いです。宜しく御願い致します。

import gzip

f = gzip.open("～.dat.gz","rb")
data = f.readline()

while line:
    text = data.decode("UTF-8")
    print(text)
    data = f.readline()
f.close()

OS:Windows 10 Home
python:Python 3.7.1

Answer 1

バイナリーデータを読み書きする手段としてstructモジュールが便利と思います。

ファイルをバイナリーモードでopenしそれをreadすると結果がbytesとして得られますがそれに対してstructモジュールのunpackでいくつかの基本的なバイナリー形式での値がデコードできます。例えば4バイトのIEEE754浮動小数点数(リトルエンディアン)なら

from struct import unpack


...
with open(filename, 'rb') as fp:
    // 必要に応じてfp.seekなどで望みの位置へ移動
    ...
    // 現在位置から4バイトだけバイナリーデータとして読み込む
    buf = fp.read(4)
    // バイナリーデータ4バイトをPythonのfloatへアンパック
    fval = unpack('<f', buf)
    ...

上の例は4バイトのbytesを変換する例ですがunpack_fromという関数もあり、もっと長いbytesデータの任意の位置からアンパックすることもできます。詳細はリファレンスをご覧ください。

https://docs.python.org/ja/3.7/library/struct.html#module-struct

Comments

[mrk_5200]

ご丁寧にありがとうございます。
早速、unpackで試みたところ、unpack requires a buffer of 4 bytesと出てきました。どういった原因が考えられるでしょうか。
そもそも、自分の取得したデータに対する理解を深めるべきなのかもしれませんが。。

[KSwordOfHaste]

4バイトのデータでなかったかbytesやbytearray形でないものを指定したと考えられます。「型や長さがどうなっているか」をPythonでデバッグプリントしてみてください。
print(type(buf))
print(len(buf))
などとすれば確実なことがわかります。エラーメッセージだけみるより「実際に何を指定したのかを確認する」のが肝心と思います。