バイナリファイルの読み込みを高速にしたい

Question

前提

N = 31848305のセルにそれぞれcxyz, velo, den, T, ZSNII, ZSNIaという情報が入っているバイナリファイルを読み込みたいと考えています。

実現したいこと

下のソースコートで現在読み込んでいますが、読み込む数が多すぎて、非常に遅いです。
読み込んだあとに、ndarrayに情報を入れ込んでいるという感じです。高速化したいのですが、他にどのような方法があるのでしょうか。また、Cの方が早いのでしょうか。

該当のソースコード

#initialize:
cell_size   = np.array(1 * [0.])
Level_array = np.array(1 * [0.])
x           = np.array(1 * [0.])
y           = np.array(1 * [0.])
z           = np.array(1 * [0.])
Vx          = np.array(1 * [0.])
Vy          = np.array(1 * [0.])
Vz          = np.array(1 * [0.])
Den_array   = np.array(1 * [0.])
Tem_array   = np.array(1 * [0.])
ZSNII_array = np.array(1 * [0.])
ZSNIa_array = np.array(1 * [0.])
for i in range(0,N):
        if(i % 1000000 == 0):
            print("%9d/%9d" % (i, N))
        f.seek(i*13*4+4)
        bytes = f.read(16)
        cxyz = struct.unpack('>ffff', bytes)
#
        f.seek(i*13*4+20)
        bytes = f.read(12)
        velo= struct.unpack('>fff', bytes)
#
        f.seek(i*13*4+32)
        bytes = f.read(4)
        Den = struct.unpack('>f', bytes)
#
        f.seek(i*13*4+36)
        bytes = f.read(4)
        T = struct.unpack('>f', bytes)
#
        f.seek(i*13*4+40)
        bytes = f.read(4)
        ZSNII = struct.unpack('>f', bytes)
#
        f.seek(i*13*4+44)
        bytes = f.read(4)
        ZSNIa = struct.unpack('>f', bytes)
　　  if j==0:
                cell_max_reso=cxyz[0]
                cell_size[0]= cxyz[0]
                Level_array[0]=  1.
                x[0]        = cxyz[1]
                y[0]        = cxyz[2]
                z[0]        = cxyz[3]
                Den_array[0]= Den[0]
                Tem_array[0]= T[0]
                ZSNII_array[0]=ZSNII[0]
                ZSNIa_array[0]=ZSNIa[0]
         else:
                cell_size   = np.append(cell_size, cxyz[0])
                Level_array = np.append(Level_array, np.log2(cxyz[0]/cell_max_reso) )
                x = np.append(x, cxyz[1] )
                y = np.append(y, cxyz[2] )
                z = np.append(z, cxyz[3] )
                Den_array = np.append(Den_array, Den[0])
                Tem_array = np.append(Tem_array, T[0])
                ZSNII_array = np.append(ZSNII_array, ZSNII[0] )
                ZSNIa_array = np.append(ZSNIa_array, ZSNIa[0] )

補足情報（FW/ツールのバージョンなど）

macbook pro, Monterey, python3.8
ここにより詳細な情報を記載してください。

Answer 1

そりゃそんな細切れにファイルを読み込んで分解、代入を繰り返してたら遅くなります
一気にメモリ上にファイルを読み込み、あとはメモリ上の操作としていきましょう

---

うごかしてませんが（動かせませんが）、こんなもんでどうでしょう

bytes=f.read( 3184830個分のサイズ)
for  3184830回ループ:
  ofs=i*１個分の変数サイズ
  cxyz = struct.unpack_from('>ffff', bytes,ofs+0)
  velo= struct.unpack_from('>fff', bytes,ofs+16)
  Den = struct.unpack_from('>f', bytes,ofs+28)
  なんやかや

Comments

[Lily_1007]

このような操作が始めてでよく分からないのですが、
一気にメモリ上にファイルを読み込むというのは
どういうコマンドに対応しているのでしょうか

[y_waiwai]

例えばその変数群の１万個分のデータをファイルから一気に読み込みます
bytes = f.read(変数サイズ*10000)
あとはbytesから１万個分展開していけばいいです

[Lily_1007]

すみません、bytesから展開とはどういうことでしょうか?

[y_waiwai]

そのバイト配列から、変数を読み込めばいいのです

[Lily_1007]

変数が複数あり、それが3000万個あるのです。
結局それだと
N_read = 3184830
bytes = f.read(13*4*N_read)
for i in range(100000,150000):
if(i % 1000000 == 0):
print("%9d/%9d" % (i, N))
f.seek(i*13*4+4)
bytes = f.read(16)
cxyz = struct.unpack('>ffff', bytes)
#
f.seek(i*13*4+20)
bytes = f.read(12)
velo= struct.unpack('>fff', bytes)
#
f.seek(i*13*4+32)
bytes = f.read(4)
Den = struct.unpack('>f', bytes)
#
f.seek(i*13*4+36)
bytes = f.read(4)
T = struct.unpack('>f', bytes)
#
f.seek(i*13*4+40)
bytes = f.read(4)
ZSNII = struct.unpack('>f', bytes)
#
f.seek(i*13*4+44)
bytes = f.read(4)
ZSNIa = struct.unpack('>f', bytes)
となって質問で投げたようなコードになると思っているのですが

[Lily_1007]

具体的にはどういう風に変数を読み込めばよろしいのでしょうか

[Lily_1007]

読み込むとはどういうことでしょうか? 具体的なコマンドを教えていただけると幸いです

[Lily_1007]

コードに関して、誠にありがとうございます。
ofs=i*１個分の変数サイズ
って何でしょうか? 1個分の変数サイズとは4バイトということでしょうか?

Answer 2

N_read = 10
f = open(filename,mode='rb')
data_bytes =f.read(134N_read)
#print(data_bytes)
#print(struct.calcsize(bytes))
for i in range(N_read):
ofs =i134
cxyz = struct.unpack_from('>ffff', data_bytes,ofs+4)
velo = struct.unpack_from('>fff', data_bytes,ofs+20)
Den = struct.unpack_from('>f', data_bytes,ofs+32)
T = struct.unpack_from('>f', data_bytes,ofs+36)
ZSNII= struct.unpack_from('>f', data_bytes,ofs+40)
ZSNIa= struct.unpack_from('>f', data_bytes,ofs+44)
print(Den, T, ZSNII, ZSNIa)

で解決しました。本当にありがとうございます！