他システムとのファイル連携での一般的なやり方について

Question

### 実現したいこと
他システムとのファイル連携において、ファイルの削除、更新、リネームのタイミングの制御について
参考となる書籍や一般的なやり方はあるでしょうか。

自分のシステムとAシステムとのやり取りにおいて、
以下の基本的な流れがあります。

**(追記)環境について**
- Aシステムは他社システムのため、ファイルの制御が非同期で行われます。そのため、仕様の変更ができるかどうかは恐らく不可の認識でいます。
- Aシステム側は不明ですが、FTPで自分のシステム（Windows）から取得する想定でいます。
- Aシステム→自分のシステムに1対1での受け渡しで、他にAの同じファイルを取りに来る他システムはありません。
- Aシステムからは随時で連携されるため（秒単位ではなかったはずですが・・・）、1日に何回も更新が行われる見込みです。
- 自分のシステムは、1日に1回以上の取得・削除処理を行う想定でいます。

**①通常の連携**
①-１．Aシステムがフォルダ「temporary_YYYYMMDD_999999」にファイル「AAA.csv」、「BBB.jpg」、「CCC.xlsx」を格納

①-２．格納完了後、Aシステムがフォルダ名を「temporary_YYYYMMDD_999999」から「YYYYMMDD_999999」にリネーム

①-３．自分のシステムが「YYYYMMDD_999999」（※）をダウンロード

①-４．自分のシステムが「YYYYMMDD_999999」を削除

※受付データが追加する場合は、連番で「999999」で番号を振るイメージ

**②登録データの更新**
※自分のシステムがダウンロードをする前にAシステムでデータの更新が連携されるパターン
　Aシステム側がフォルダを削除し、再度リネームしたフォルダを作成するケース

②-１．Aシステムがフォルダ「temporary_YYYYMMDD_999999」にファイル「AAA.csv」、「BBB.jpg」、「CCC.xlsx」を格納

②-２．格納完了後、Aシステムがフォルダ名を「temporary_YYYYMMDD_999999」から「YYYYMMDD_999999」にリネーム

②-３．Aシステムが既にあるフォルダ名「YYYYMMDD_999999」を削除

②-４．Aシステムがフォルダ「temporary_YYYYMMDD_999999」にファイル「AAA.csv」、「DDD.jpg」、「EEE.docx」を格納

②-５．自分のシステムが「YYYYMMDD_999999」をダウンロード

②-６．自分のシステムが「YYYYMMDD_999999」を削除

### 発生している問題・分からないこと
①の通常の連携であれば、自分のシステムが取得するときは問題ないと思いますが、
②のような、自分のシステムが取得する前にAシステムからのファイルの再更新が発生する際のタイミングで
どうすれば、削除或いは更新を防げるかを検討しています。

②-３と②-⑤のタイミングが同時に発生した場合にファイルの破損や
②-４と②-⑤のタイミングが同時に発生した場合にファイルの消失を防ぐために、
何か参考となるものがないかを探しています。

### 該当のソースコード

```
特になし
```

### 試したこと・調べたこと
- [ ] teratailやGoogle等で検索した
- [ ] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [x] その他

##### 上記の詳細・結果
検討段階のため、自分のシステムが取得する際はフォルダ毎リネームして「downloading_YYYYMMDD_999999」に切り替えた後、
取得が完了したらそのフォルダを削除するなどの方法はあるかとは思います。
或いはフォルダ自体にロックファイルを用意する方法でしょうか・・・

ただ、思いつくだけで、一般的なやり方や参考となるような書籍があるといいなと思い
今回、質問をしたものとなります。

### 補足
特になし

Answer

どちらも自社内のシステムなら、ジョブ管理ツールで全体を制御するというのが間違いのない方法です。
が、質問からすると、今社内にそういうのがないか、Aは他社システムだとかですかね。
今無いものを、このために導入するというのは大変すぎでしょうから、工夫で乗り切るのでしょうね。

質問文に明記されていないことも含めてですが、
・AB間でマウントするようなファイル共有はできない。HTTP/FTP/SCPなどで取得する
・A⇒Bシステムという1対1での受け渡しで、他にAの同じファイルを取りに来るシステムは無い
・Aシステム側では1日に複数回のデータ作成処理が動く
・Bシステムも複数回想定で、定期的にAに目的フォルダーが存在するかどうかチェックして、存在すれば取得処理が動いて、終わったらまたフォルダー存在チェック処理に戻る
という前提です。「自分のシステム」という代名詞的な名前は誤解を招く（AからみるとAが自分）のでBシステムとしています。

別途連絡を取り合わずにA側で更新がかかるなら、フォルダー名を別々にするのが簡単でしょう。
68userさんの書かれている通り、タイムスタンプを付けて更新ごとに違う名前にする。
連番は駄目と書かれていますが、A側で間違いなく連番を付けるのは可能ならばそれでもいいと思います。ただ、連番は名前が短いという以上のメリットはない。

複数作らず、1つの名前でやるとすると、今思いついて書くだけですが、
②-１．2.  3.  は質問文と同じ。
追加. 各ファイルのハッシュ値を、YYYYMMDD_hash というファイルに書き込む
②-４．は質問文と同じ。
追加. フォルダーリネームまで終わったら、各ファイルのハッシュ値を、YYYYMMDD_hash というファイルに書き込む

Aとは非同期で、Bシステムが
②-ア．「YYYYMMDD_999999」があればそれをダウンロード
②-イ. データを全部ダウンロードしたら、YYYYMMDD_hashをダウンロード
②-ウ IF ダウンロードしたデータファイルのハッシュ値と、YYYYMMDD_hashの中身が一致
THEN
②-エ.  取得成功。「YYYYMMDD_999999」を削除。取得成功の処理をして次の更新に備えてアに戻る
ELSE
②-オ. 取得中に更新がかかったので取得失敗の処理をしてアに戻る
END IF

実際には、YYYYMMDD_hash を安全に取り込む工夫がいるかもしれませんが、データのファイル数・ファイル名が決まればこのファイルの長さも決まるので、長さが正しければ安全に取り込めたと判断していいと思います。

穴がないかの精査はしてませんが、ご参考に。

回答ではないですが、
フォルダーのリネームで書き込み中と書き込み完了を区別していますが、私がやってたのは、目印ファイルを作る方法です。更新は考慮していない1日1回の処理前提ですが、
1. A側でファイルを書く
2. 全部書き終わったら長さゼロの、目印ファイル（固定名称のファイル）を作る
3. B側では目印ファイルが存在するまで待ち続ける
4. 目印ファイルが存在したら、ファイルを取得する
5. 目印ファイルを削除する（翌日の準備の意味）

これの延長で行くなら、Aが目印ファイルのファイル名をタイムスタンプ付きにして、中にファイルのハッシュ値を書き込めばいいのかな。で、Bでは取得済みの目印ファイル名より新しい目印ファイルが出来るのを待つと。

Answer

リネームなりロックなりでもいいですけど、何をしたところで
　・Aが配置
　・Bがロック&取得開始
　・Aが再配置しようとしたがロックがかかっていてできない!
といった事態は起こりえますが、その運用の複雑さは覚悟の上ですか?

・Aが配置
　・Bがロック&取得開始
　・Bが取得終了しアンロック
　・Aが再配置
の場合は手遅れですけど、どうするんでしょう。

また何のための更新ですか? 新しいデータを送りたいというなら、
Aは「新版はこれです」と配置して、B はそれを取り込めばよいのでは。

もしミスが起こったときに古い版が取り込まれるのはまずいというなら、
　・0時 Aが送信開始
　・10時 Bが取込開始
として、何かあれば 10時間の間に正しいデータを配置せよという運用はどうですか。
確認が必要というなら、まずはステージング環境に取り込んで運用者が目視確認するとか。

わたしなら以下のようにします。
　・A は YYYYMMDD_HHMMSS_マイクロ秒_UUIDv4/ として配置。
　　(取り回しやすいよう zip 化してもいいかも)
　　(ファイルを削除するなら、カッコ悪いですが DELETE_BBB.jpg などとファイル名で指示)
　・B は ASCII 順で取り込む
　・temporary_ はいいと思うけど、それ以外のロックやステータス管理の仕組みは作らない
　　・冪等性担保リトライやリカバリの運用をしやすくするため
　　・取込済ってのはローカルで管理するか、done/YYYYMMDD_HHMMSS_マイクロ秒_UUIDv4.txt などとステータスファイルを配置
　・連番はやめる (抜けがあったら取込をストップするというなら別にいいですけど…)

Answer

> ※自分のシステムがダウンロードをする前にAシステムでデータの更新が連携されるパターン

2つのシステムが非同期で動作しているようですので、「②登録データの更新」の処理は実現不能というか、そういうプロトコルにしてはいけません。

システムAは「フォルダ名を「temporary_YYYYMMDD_999999」から「YYYYMMDD_999999」にリネーム」した後は、このフォルダやその内容をいじってはいけません。
この作業の後、にデータ内容の変更が必要になった場合は、新なデータのやりとりをすべきです。

Answer

ごめんなさい、質問の意図がよくわからないのですが、単にファイルをロックすればよいだけでは？