バイナリファイルの中にある指定のヘッダー／フッターを削除したい

Question

前提・実現したいこと

特定のパケットフォーマット（ヘッダー／データ／フッター）で繰り返し出力されてるものが1つのバイナリファイルに格納されているのですが、ヘッダーとフッター部分を削除したファイルを出力したいです。

発生している問題・エラーメッセージ

処理時間が長いので短縮したいです。現状491,520,000 Bytesのファイルで10分程度かかります。

該当のソースコード

import os

header_size = 64
data_size = 256
footer_size = 4
packet_size = 324
i = 0

filename = 'samplebinary'

f = open(filename, 'rb')
contentLength = os.path.getsize(filename)
targetLength = contentLength // packet_size
while i < targetLength:
    f.seek(header_size)
    data = f.read(data_size)
    saveFile = filename + '_output'
    with open(saveFile, 'ab') as saveFile:
        saveFile.write(data)
    f.seek(data_size + footer_size)
    i = i + 1

試したこと

取り出したいデータ部分がヘッダーとフッターの間にあり、seekでヘッダー部分をスキップ→データ部分を取り出す→データ＋フッター部分をスキップして次のパケットへ移動という方法しか思いつきませんでした。

補足情報（FW/ツールのバージョンなど）

ファイルの最後はパケットの途中で終わることもあるので、それについては捨ててOKです。

Comments

[y_waiwai]

しつもんはなんでしょうか

[askpython]

不明確で申し訳ありません。処理時間を短縮する方法を知りたいという意図でした。

Answer 1

saveFileはループ中開きぱなしのほうが少々早くなりそうです。

saveFile = open(filename + '_output', 'ab')
while i < targetLength:
    f.seek(header_size)
    data = f.read(data_size)
    saveFile.write(data)
    f.seek(data_size + footer_size)
    i = i + 1
saveFile.close()

Comments

[askpython]

ありがとうございます！10分かかっていたところ、数秒で完了しました。

[int32_t]

おお、それは素晴らしい改善ですね。

Answer 2

Pythonは未経験なのでコードを提示することはできませんが、ループ内で出力先ファイルをopenしてwriteしているのが、時間がかかる一因だと思われます。
出力内容を変数に格納し、ループ終了後に一括でファイルに書き込むよう変更することで、速度改善が期待できると思います。

Comments

[askpython]

ありがとうございます。おっしゃる通り、ループからopenを外したところ改善しました。