S3に入っている大量のjsonファイルを変換して、S3の別バケットへ入れ直す方法

Question

S3に大量にたまっているjsonファイルを変換して、 S3の別バケットへ入れ直す必要があります。
＃具体的には、athenaでパーティション対応するために、json内のurl/日付でフォルダ分けする

＜当初試した方法＞
PHPのバッチで、S3から読み出し、ローカルにフォルダ分けし直した状態で格納。
↓
s3cmdでアップロード

system/exec関数を一定回数繰り返すと、Unable to forkで失敗するようになる。
ulimit -n/uでファイルやプロセス数の上限値を上げても駄目。

＜質問＞
（１）Unable to forkを発生させずに、system/exec関数を繰り返できるようにする方法

(2)S3に大量にたまっているjsonファイルを変換して、 S3の別バケットへ入れ直す別の方法

よろしく御願いします。

Answer 1

シェルプログラムに書き換えました。
必要な部分だけ内部的にPHPを呼び出しています。

Unable to forkは発生せずに処理できているようです。

Answer 2

(1) aws s3 sync コマンドなら複数ファイルを一括でアップロードできます。

(2) バッチ処理に PHP を使用しているのであれば、アップロードも PHP で行ってみてはいかがでしょう？
AWSSDK for PHP のストリームラッパーを有効にすれば、保存先に S3 を指定して file_put_contents() などの関数が普通に利用できます。

Comments

[akihiro0117]

(1) s3cmd をaws s3 syncに変えても、system関数で実行することに変わりがないので、同様にエラーになると思われます。
(2) 試してみようかと思いますが、多数のファイルに分割されて、ディレクトリ階層も深くなるので、処理が複雑になる懸念と、ファイルリストをメモリ内に展開するとメモリ不足ならないか心配です。

[okinaka3]

バッチの内容を存じませんので適切なアドバイスではなかったのかもしれませんが、
system関数でプロセスをフォークする回数が減れば改善するのではないかと思いました。