AWS SDK for PHP を用いたzip圧縮での効率的なS3への転送方法

Question

いつもありがとうございます。

プログラム中で持っているあるデータをS3にzip圧縮して保存する高速な方法を探しています。
現在は以下のようにしています。

PHPでデータをファイル出力
　↓
Linux の zip コマンドで圧縮
　↓
AWS SDK for PHP でそのファイルを指定して S3 にファイル転送

そもそも一度ファイル化する必要性がない気がするのですがそれ以外の方法がわかりません。
メモリは十分にあり、メモリを超えるデータはない前提です。
gzip 等ではなく zip でないとダメです。

CentOS7.4
PHP7(CakePHP3)
AWS SDK for PHPv3

Answer 1

３つのステップが機能として分かれているのは良いことだと思います。
なにか問題が発生した場合にも中間ファイルを確認することが可能です。
それらを順に実行するバッチをSHELLで書けばいかがでしょうか？

mosaさんの処理

1.PHPでデータをファイル出力
2.Linux の zip コマンドで圧縮
3.AWS SDK for PHP でそのファイルを指定して S3 にファイル転送

私が提案する処理

1.PHPでデータをファイル出力
2.Linux の zip コマンドで圧縮
3.AWS CLIでS3にファイル転送

エラー処理は書いていませんが、以下のようなバッチで簡単に実現可能です。

#!/bin/sh

./hogehoge.php > data.dat

rm -f data.zip
zip data.zip data.dat

aws s3 cp data.zip s3://bucket/data.zip

Comments

[mosa]

うーん。。そうですよね。
「３つのステップが機能として分かれているのは良いことだと思います」というのはまさにおっしゃる通りだと思うのですが、ローカルストレージに一度書き出すのがどうしてもムダに見えてしまって。。。

[moonphase]

プログラムは一見、無駄が多いように見えますが実際は上記にエラー判定処理も入ります。
ディスクの障害、ネットワークの障害、電源の障害などにより様々なエラーが発生することがあります。
無駄ではありませんが、ローカルストレージに保存せずに出力をストリームで圧縮してアップロードするなら、gzipであればパイプラインのみで簡単にできますね。zipは仕様上それができないので、以下のように②を作ればできます。

1.PHPでデータをファイル出力(prog1)
2.入力ストリームの内容を圧縮されたZIPとして出力(prog2)
3.AWS CLIでストリームの内容をS3にファイル転送

②については標準入力をZIP圧縮して標準出力にストリームするだけの簡単なプログラムです。

prog1 | prog2 | aws s3 cp - s3://bucket/data.zip