シェルスクリプトでEC２とS3にあるフォルダとファイルの整合性を確認する方法

Question

シェルスクリプトで、EC2内のフォルダとファイルをS3にsyncするプログラムを作成しています。

EC2のフォルダとファイルをS3にsyncした後、EC2とS3がそれぞれ以下のような状態になったとします。

EC2
フォルダA
-ファイル1
-ファイル2
-ファイル3

S3
フォルダA
-ファイル1
-ファイル2
-ファイル3

このように、EC2にもS3にも同じフォルダとファイルが存在していることを証明するにはどのようなコードを書けばよいのでしょうか。

Comments

[y_waiwai]

ファイルの「存在」だけをチェックすればいいんでしょうか

[iii]

ご回答ありがとうございます。最低限、「同じファイル名のファイルが存在するか」を確認できれば大丈夫です。
欲を言えば、ファイルサイズなども完全に一致していることが確認できればなお良いです。

[takasima20]

双方のリストを diff とれば? って単純な話ではないのかなあ。

[iii]

ご回答ありがとうございます。
diff EC2のディレクトリ EC2のディレクトリ
ならうまくできるのですが、
diff EC２のディレクトリ s3://S3のディレクトリ
だとできません。
恐らくS3のディレクトリの表示がうまくいかないのだと思います。
EC2内のファイルとS3内のファイルをdiffするには具体的にどうすればいいでしょうか。

Answer 1

S3へのアップロード時に、ファイルの正当性を確認する仕組みが準備されています。
S3へのPUT系のAPIには、リクエストのヘッダの中に、ファイルのMD5値を入れて送ると、PUT完了時にS3側でアップロードされたファイルのMD5値を取って検証をしてくれる機能です。（Content-MD5ヘッダー）
検証に失敗すると"400 Bad Request", "InvalidDigest", "The Content-MD5 you specified is not valid."を返します。

これを利用することにより、S3へファイルをアップロードするタイミングでファイルの中身についての検証は可能となります。
ファイルリストそのものが正しいかどうかは、同期時に全てがエラーとならなければOKです。
同期する大元が何個あるかはご自身で把握されていますよね？

実装イメージ（アップロードするときに検証）

#!/bin/sh

SRC_DIR=./local
BUCKET=hogehoge

LIST=`find "${SRC_DIR}" -type f -print`

S3API_ST=0
for i in $LIST
do
  MD5=`openssl dgst -md5 -binary $i | openssl enc -base64`
  ETAG=`aws s3api put-object --bucket ${BUCKET} --key $i --content-md5 $MD5 --body $i | jq -r '.ETag' | sed 's/"//g`
  if [ $S3API_ST -eq 0 -a "${ETAG}" = "" ]
  then
    S3API_ST=1
  fi
done

if [ $S3API_ST -eq 0 ]
then
  echo "OK"
else
  echo "ERR"
fi