CSVをバッチプログラムで読取る際の注意点

Question

特定のディレクトリにプログラムによって作成されたCSVファイルをバッチで読込みDBにインポートするプログラムの設計をしています。

このとき、フェールセーフ、フールプルーフで考えることとして何がありますでしょうか

作成中のCSVファイルを読んでしまう可能性はあるのでしょうか？ある場合の対策はどのようなものがありますか？

Answer 1

CSVファイルに限らないですが、作成途中（プログラムがまさに書き込んでいる途中）のファイルを読むと、作成途中のその途中まで読むことになりますので、多くの場合は、まずいですね。

作成し終わってから読む必要があります。
簡単には、作成途中では$$$のような仮の名前にしておいて、作成し終わってからfoo.csvのような本来の名前にリネームする。

Comments

[naga777]

otnさん
ありがとうございます

ちなみに、ファイルを作成する相手の挙動をコントロールできない場合はどうでしょうか？
ファイルの中身の最後にendを入れるルールを作るなどでしょうか？

[otn]

挙動をコントロールできないといいつつ、endを入れるような修正が出来るのであれば、それで良いかと思います。
挙動をコントロールできる場合は、foo.csv を書き終わったら foo.csv.doneという目印のファイルを作るという手もあります。

他には、該当ファイルがオープン中かどうか調べるか。コマンドレベルだと lsofコマンドです。
（他ユーザーの情報を知るにはrootで実行する必要がある）

Answer 2

ちょっと状況がわかりませんが、
CSVデータを検証して不正データがあるかどうかを事前チェックし、
「〇〇件のデータをインポートします」という確認ダイアログをだすことは有効です

Comments

[naga777]

yambejpさん
ありがとうございます
読み込むCSVファイルは不定期かつ大量に送られてくるので、こちらの確認無しでインポートをさせたい狙いがあります。
その際に、バッチの起動タイミングで作成中のファイルが存在する場合、中途半端なデータとしてインポートしてしまわないかと不安になっております。

[yambejp]

無手順でデータの読み込みをするのであれば、単純な不正データを弾くとして残りは「正しい」と信じるしか無いでしょう。「送られてくる」仕組みでデータが正常終了しているかどうかは判断できるはずです。