大量のバイナリファイルから破損ファイルの有無，ファイルの存在有無をチェックしたい

Question

あるディレクトリにaaa_2006MMDYHH.binのバイナリファイルが複数あるとします．
MMは月(01,02,...12)，DYは日(01,02, ...,[月末日])，HH(00, 01, ..., 23)は時間を表しており，各ファイルのサイズは同じです．
ここで，ファイルが１時間置きに全ての日数分存在しているかどうか，さらにそのなかで破損ファイル（ファイル自体は存在するがファイルサイズがほかと異なる）が存在するかどうかを自動でチェックしたいのですが，何かよい方法はありますか？現在シェルかpythonで組もうとしているのですが各ファイルのファイルサイズを取得する部分でつまづいてます．

Answer 1

大の月/小の月などを一々条件判定するのはダサイと思い、datetimeにやらせてみることにしました。

import os.path
import datetime as dt

dt0      = dt.datetime(2016,1,31,0,0,0)
dt1      = dt.datetime(2016,12,31,23,0,0)
filesize = os.path.getsize("aaa_2006010101.bin")

while True:
  if dt0==dt1:
    break
  filename = "aaa_{y:4d}{m:02d}{d:02d}{h:02d}.bin".format(y=dt0.year, m=dt0.month, d=dt0.day, h=dt0.hour)
  if os.path.exists(filename):
    if os.path.getsize(filename)!=filesize:
      print(filename + " looks broken.")
    else:
      print(filename + " looks ok.")
  else:
    print(filename + " does not exist.")
  dt0 = dt0 + dt.timedelta(hours=1) 

Comments

[loreeeee]

datetimeとos.path.getsize()を使えばここまで綺麗に書けるのですね．とても勉強になりました．
ありがとうございます．

Answer 2

質問文で一番気になるポイントはファイル書き出し側の処理がos.rename windowsならos.replaceを使ってアトミックにファイルを書き出しているかどうかですが。。。

2案あります。

案1,ファイルサイズでソートしてチェック
ファイルの漏れはファイル数でチェック。

案2,ファイルの日付を生成してループで回してチェック

案2のファイルサイズのチェックまでのコードのサンプルです。

# -*- coding: utf-8 -*-
from pathlib import Path
from datetime import datetime, timedelta
from collections import Counter

def date_generator():
    # 年,月,日,時間
    current_date = datetime(2006, 1, 1, 0)
    end_date = datetime(2006, 1, 1, 3)
    #end_date = datetime(2007, 1, 1, 0)
    while True:
        yield current_date
        current_date += timedelta(hours=1)
        if current_date == end_date:
            break


def main() -> None:
    not_founds = []
    file_sizes = Counter()
    for dt in date_generator():
        file_name = f"aaa_{dt.strftime('%Y%m%d%H')}.bin"
        p = Path(file_name)
        try:
            st_size = p.stat().st_size
            file_sizes[st_size] = str(p)
        except FileNotFoundError as ex:
            not_founds.append(str(p))
            pass
    # ファイルが存在しない物
    if len(not_founds) >0:
        print(not_founds)

    print(file_sizes.most_common(5))


if __name__ == "__main__":
    main()

Note:os.scandirを使う事も検討してみてくださいな。

Answer 3

抜けファイルのチェック(bash 4.x以上)

$ echo 2006{{01,03,05,07,08,10,12}{01..31},{04,06,09,11}{01..30},02{01..28}}|xargs -n1 -I@ echo "echo aaa_@{00..23}.bin"|sort|sh|xargs ls >/dev/null

Answer 4

ファイルのサイズを表示するPythonのプログラム：

# os.pathというモジュールのgetsize関数を使うので、最初にインポートしておく
import os.path　

filepath = サイズを調べたいファイルのパス

#getsize関数でファイルのサイズを調べて、それを表示
print os.path.getsize(filepath)

こんな感じでファイルのサイズを取得できます。

1年分のバイナリファイルがあるかどうかは、だいたい以下のような感じ（実行、デバッグをしていないコードなので、雰囲気をとらえるのに使ってください）

days = [31,28,31,30,31,30,31,31,30,31,30,31] #各月の日数のリスト。　１月は31日、2月は２８日、、、を表したものを用意しておく
folderpath = ファイルが置かれているディレクトリのパスを設定
normalfilesize = ファイルの正しいサイズを設定
flag=True #バイナリファイルがちゃんと揃っている事を示すフラグを初期化
For mm in range(12) #月のループ
    for dy in range(days[mm]) # 日のループ。リストdaysを使うことで月の日数が変化することに対応
        for hh in range(24) # 時間のループ
            #月、日、時間の値から、ファイルパスの文字を作る 
            #rangeを使っているのでmmは0から11まで変わるから、+1して１(月)から12(月）になるようにする。dy,hhも同様
            filepath = folderpath + "/" + "aaa_2006" + (mm+1) + (dy+1) + (hh+1) + ".bin"
            if os.path.exists(filepath): #ファイルが存在する場合
                if os.path.getsize(filepath) == normalfilesize: #ファイルサイズが正しい場合
                else: ファイルサイズが正しくない場合
                    flag=False #バイナリファイルのサイズが正しくない
                    # ここにファイルサイズが正しくない場合の処理（エラー処理）を書く
            else:　#ファイルが存在しない場合
                flag=False #バイナリファイルがちゃんと揃っていない（欠落がある）
                # ここにファイルが存在しない場合の処理（エラー処理）を書く
if flag:
    #バイナリファイルがちゃんと揃っていた時の処理を書く　(print "OK"　とか）
else:
    #バイナリファイルがちゃんと揃っていた時の処理を書く　(print "NG"　とか）

Answer 5

とりあえずファイルサイズについて。

ls -l aaa_*.bin| awk '{print $5}'

ぐらいで各ファイルのバイト数の一覧が取れます。そう考えると全ての対象ファイルで同じサイズになっているなら

ls -l aaa_*.bin | awk '{print $5}' | uniq

は結果が1行になるでしょうから

ls -l aaa_*.bin | awk '{print $5}' | uniq | wc | awk '{print $1}'

が1かどうかで判定できるのではないでしょうか。自分はawkを使う癖があるのですが、もっと別の(よりシンプルな)書き方もあると思います。

---

aaa_*.binというパターンは適当です。必要ならもっと厳密に指定すればよいと思います。

Answer 6

そういうチェックを行うプログラムを組む。としか言いようがないですねー

「python ファイルサイズ」でぐぐると、いろいろ出てくると思います