【AWS】PHPでS3に格納されている画像を取得する

Question

AWS S3のPHPからの操作に関しての質問です。

S3バケットに画像が10万枚ほどありまして、この画像のURLを一括で取得したいと思い、他のWEBサイトを参照しつつ以下のようなコード書きました。

require_once('aws.phar');
use Aws\S3\S3Client;
use Aws\S3\Exception\S3Exception;

date_default_timezone_set('Asia/Tokyo');

$key = '{key}';
$secret = '{secret}';
$region = 'us-east-1';

$S3 = S3Client::factory([
'credentials' => [
  'key' => $key,
  'secret' => $secret
],
'region' => $region,
'version' => '2006-03-01'
]);

ListAllObjects($S3, "{bucket_name}", $marker = null, $delimiter=null);

function ListAllObjects($S3, $bucket, $marker = null, $delimiter=null){
    $objects = $S3->ListObjects(array(
            'Bucket' => $bucket,
            'Marker' => $marker,
            'Delimiter' => $delimiter
    ));

    if(isset($objects["Contents"])){
        foreach ((array)$objects["Contents"] as $object) {
            if(substr($object['Key'],-1,1) != "/"){
                unset($latest);
                $latest = "s3://{$bucket}/{$object['Key']}";
                file_put_contents("export.csv", $latest . ",\n", FILE_APPEND);
            }
        }
        if($objects["IsTruncated"] === TRUE){
            $key = ltrim($latest,"s3://{$bucket}/");
            ListAllObjects($S3, $bucket, $key, $delimiter);
        }
    }
}

ここではわかりやすいように結果をcsvに落としています。

これを実行すると画像の取得量が多すぎるのかmemory exhaustedのエラーが出ます。

結果吐き出されたexport.csvを見るとどれについても同じURLが50回程度表示されていました。同じURLを取得することがなければmemory exaustedすることはないだろうと予想しているのですが、コードを見返してもなぜ同じ結果が複数回出力されるのかがわかりません。

これと違う方法でも構わないのですが、なんとかバケットに入っている画像すべてを取得したいです。何か解決方法がありましたらご教示いただきたいです。

Answer 1

S3はその名の通り、拠点の異なるデータセンターに存在するストレージデバイスで管理されています。
ファイルを１つの拠点にUPLOADすると他の2拠点に対して同期するようになっています。

S3は、多くのストレージデバイスと異なり、S3バケットとS3オブジェクトというものしかありません。
ファイルとフォルダは同じS3オブジェクトと認識されており、
S3バケット直下にすべてのオブジェクトが存在しています。
＃システムが、URLの最後に"/"があったらフォルダというオブジェクトとみなすとしています。

bucket1 [bucket]
├ dir1/ [dir]
｜ └ dir2/ [dir]
｜   └ file1 [File]
└ file2 [file]

の場合は

bucket1 [bucket]
├ dir1/ [obj]
├ dir1/dir2/ [obj]
├ dir1/dir2/file1 [obj]
└ file2 [obj]

のようになっています。

S3に対してLISTリクエストを発した場合は、内部的にLISTリクエストのjsonが発行されます。

オブジェクトを読み込み、これはファイルで、これはフォルダーという風に1個ずつ読み込んで
かつ、他のストレージにファイルがあるのか無いのかを確認して、
バッファに溜め込みリフレッシュされます。そのために、時間がかかります。

再度リクエストすると同じjsonクエリを発行しているため、
また頭から同じように読み込んでいきますのでキャッシュ化されていないため
同じ時間がかかりますし、同じ結果が返ってきます。

10万オブジェクトのリストを作成するのであれば、
フィルターを掛けて検索させないと無理かと思います。
単純にファイルリストを取得したいだけであれば AWS CLI を利用する方法もあります。
WEBで動かさない分、通信とか気にしなくて良いので良いかと思いますよ。
s3api list-objects-v2

追記

AWSCLIは単純なCUIのコマンドです。

** １．EC2インスタンスにて以下をインストール **
yum install aws-cli
yum install jq

** ２．AWSの設定ファイルを作成する **
aws configure

AWS Access Key ID []: AAAAAAAAAAAAAAAAAAAA ←自分のアクセスキーを入力する
AWS Secret Access Key []: AAAAAAAAAAAAAAAAAAAA ←自分のシークレットアクセスキーを入力する
Default region name []: ap-northeast-1 ←自分の使っているリージョンを入力する
Default output format []: json ←入力する

** ３．接続確認 **
aws s3 ls

** ４．取得コマンドを実行する **

aws s3api list-objects-v2 --bucket [バケット名] | jq '.Contents[].Key' | sed s/\"//g 1> /tmp/s3list.txt 2> /tmp/s3list_err.txt

途中から始めたいならば

aws s3api list-objects-v2 --bucket [バケット名] --start-after [LISTのここから表示を始めるオブジェクト名] | jq '.Contents[].Key' | sed s/\"//g 1> /tmp/s3list.txt 2> /tmp/s3list_err.txt

Comments

[sw34PildK]

ご回答ありがとうございます！レスポンスが遅くなってしまい大変申し訳ありません。
そうなのですね...CLIでやるしかなさそうですね...
貼ってくださったリンク先でCLIをみたのですが、いまいちどのように使っていいのかわかりません。もしよろしければサンプルコードなど書いていただければと思うのですが、可能でしょうか？

[lazhuward]

追記しました。
単純なCUIのコマンドです。

[sw34PildK]

ありがとうございます！おかげさまで無事に取得できました！！