numbaによる高速化について

Question

前提・実現したいこと

pythonでバイナリファイルを読み込む関数(bin_read)を高速化しようとしています．
環境はpython3.6

発生している問題・エラーメッセージ

numbaを導入して高速化を図ったのですが，jitありとjitなしで速度がほとんど変わりません．

該当のソースコード

import numpy as np
import struct
import time
from numba import jit

def bin_read(fid,data_length,offset=0):
    if offset!=0: fid.seek(offset*2,0)
    data=np.zeros(data_length,dtype=None)
    for i in range(data_length):
        data[i]=struct.unpack('h',fid.read(2))[0]
    return data

@jit
def bin_read_jit(fid,data_length,offset=0):
    if offset!=0: fid.seek(offset*2,0)
    data=np.zeros(data_length,dtype=None)
    for i in range(data_length):
        data[i]=struct.unpack('h',fid.read(2))[0]
    return data

if __name__ == '__main__':
    fs=10*10**6
    duration=0.5
    fid = open('test.bin','rb')
    t1 = time.time()
    data=bin_read(fid,int(duration*fs*2))
    t2 = time.time()
    print(type(data))
    elapsed_time = t2-t1
    print("elapsed_time")
    t1 = time.time()
    data=bin_read_jit(fid,int(duration*fs*2))
    t2 = time.time()
    elapsed_time = t2-t1
    print("elapsed_time")

試したこと

↓このサイトに載っていたサンプルプログラムを試して実行速度が上がることは確認したので，numbaはしっかりインストールされていると思われます．
http://yutori-datascience.hatenablog.com/entry/2014/12/09/235628

Answer 1

原理的にI/Oバウンドになることと、主要な処理をそれなりに高速なライブラリ群にまかせているので、numbaを使った高速化はあまり期待できません。

先に丸ごとバイト列として読み込んでおくと、また違った結果になるかもしれません。

ところで、質問文のコードだと関数内でfidに対して副作用がある気がしますが、二回目のjit版の方の呼び出し時に問題が起きませんか？

Comments

[wakaba08]

ご回答ありがとうございました．

fidについてのご指摘もありがとうございます．
確かにこの書き方は問題がありますね．
今回の場合はファイルの一部のみ読んでいるのでエラーが発生せず気づきませんでした．

[hayataka2049]

ファイルを読みたいなら、
https://docs.scipy.org/doc/numpy/reference/generated/numpy.fromfile.html
が使えませんか
dtypeにnp.int16あたりを指定すればできそう

[wakaba08]

np.fromfile(fid,np.int16,1)
とすることで同じ様に読み込みはできますが以前の方法と比較するとかなり遅いですね．
またこれも高速化はされませんでした．

Answer 2

pythonの実行速度をいくら早くしようと、ファイルのアクセスの速度は変わりません。