回答編集履歴
6
こっちのほうが見やすいか
answer
CHANGED
|
@@ -43,17 +43,19 @@
|
|
|
43
43
|
# 追記
|
|
44
44
|
**AWSCLI**は単純なCUIのコマンドです。
|
|
45
45
|
|
|
46
|
-
** １．以下をインストール **
|
|
46
|
+
** １．EC2インスタンスにて以下をインストール **
|
|
47
47
|
`yum install aws-cli`
|
|
48
48
|
`yum install jq`
|
|
49
49
|
|
|
50
50
|
** ２．AWSの設定ファイルを作成する **
|
|
51
51
|
`aws configure`
|
|
52
52
|
|
|
53
|
+
```text
|
|
53
|
-
|
|
54
|
+
AWS Access Key ID []: AAAAAAAAAAAAAAAAAAAA ←自分のアクセスキーを入力する
|
|
54
|
-
|
|
55
|
+
AWS Secret Access Key []: AAAAAAAAAAAAAAAAAAAA ←自分のシークレットアクセスキーを入力する
|
|
55
|
-
|
|
56
|
+
Default region name []: ap-northeast-1 ←自分の使っているリージョンを入力する
|
|
56
|
-
|
|
57
|
+
Default output format []: json ←入力する
|
|
58
|
+
```
|
|
57
59
|
|
|
58
60
|
** ３．接続確認 **
|
|
59
61
|
`aws s3 ls`
|
5
追記
answer
CHANGED
|
@@ -38,4 +38,32 @@
|
|
|
38
38
|
フィルターを掛けて検索させないと無理かと思います。
|
|
39
39
|
単純にファイルリストを取得したいだけであれば [AWS CLI](https://aws.amazon.com/jp/cli/) を利用する方法もあります。
|
|
40
40
|
WEBで動かさない分、通信とか気にしなくて良いので良いかと思いますよ。
|
|
41
|
-
[s3api list-objects-v2](http://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects-v2.html)
|
|
41
|
+
[s3api list-objects-v2](http://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects-v2.html)
|
|
42
|
+
|
|
43
|
+
# 追記
|
|
44
|
+
**AWSCLI**は単純なCUIのコマンドです。
|
|
45
|
+
|
|
46
|
+
** １．以下をインストール **
|
|
47
|
+
`yum install aws-cli`
|
|
48
|
+
`yum install jq`
|
|
49
|
+
|
|
50
|
+
** ２．AWSの設定ファイルを作成する **
|
|
51
|
+
`aws configure`
|
|
52
|
+
|
|
53
|
+
> AWS Access Key ID []: AAAAAAAAAAAAAAAAAAAA ←自分のアクセスキーを入力する
|
|
54
|
+
> AWS Secret Access Key []: AAAAAAAAAAAAAAAAAAAA ←自分のシークレットアクセスキーを入力する
|
|
55
|
+
> Default region name []: ap-northeast-1 ←自分の使っているリージョンを入力する
|
|
56
|
+
> Default output format []: json ←入力する
|
|
57
|
+
|
|
58
|
+
** ３．接続確認 **
|
|
59
|
+
`aws s3 ls`
|
|
60
|
+
|
|
61
|
+
** ４．取得コマンドを実行する **
|
|
62
|
+
```
|
|
63
|
+
aws s3api list-objects-v2 --bucket [バケット名] | jq '.Contents[].Key' | sed s/\"//g 1> /tmp/s3list.txt 2> /tmp/s3list_err.txt
|
|
64
|
+
```
|
|
65
|
+
|
|
66
|
+
途中から始めたいならば
|
|
67
|
+
```
|
|
68
|
+
aws s3api list-objects-v2 --bucket [バケット名] --start-after [LISTのここから表示を始めるオブジェクト名] | jq '.Contents[].Key' | sed s/\"//g 1> /tmp/s3list.txt 2> /tmp/s3list_err.txt
|
|
69
|
+
```
|
4
/ ぬけてた
answer
CHANGED
|
@@ -8,16 +8,16 @@
|
|
|
8
8
|
|
|
9
9
|
```
|
|
10
10
|
bucket1 [bucket]
|
|
11
|
-
├ dir1 [dir]
|
|
11
|
+
├ dir1/ [dir]
|
|
12
|
-
｜ └ dir2 [dir]
|
|
12
|
+
｜ └ dir2/ [dir]
|
|
13
13
|
｜ └ file1 [File]
|
|
14
14
|
└ file2 [file]
|
|
15
15
|
```
|
|
16
16
|
の場合は
|
|
17
17
|
```
|
|
18
18
|
bucket1 [bucket]
|
|
19
|
-
├ dir1 [obj]
|
|
20
|
-
├ dir1/
|
|
19
|
+
├ dir1/ [obj]
|
|
20
|
+
├ dir1/dir2/ [obj]
|
|
21
21
|
├ dir1/dir2/file1 [obj]
|
|
22
22
|
└ file2 [obj]
|
|
23
23
|
```
|
3
改行
answer
CHANGED
|
@@ -34,7 +34,8 @@
|
|
|
34
34
|
また頭から同じように読み込んでいきますのでキャッシュ化されていないため
|
|
35
35
|
同じ時間がかかりますし、同じ結果が返ってきます。
|
|
36
36
|
|
|
37
|
+
10万オブジェクトのリストを作成するのであれば、
|
|
37
|
-
|
|
38
|
+
フィルターを掛けて検索させないと無理かと思います。
|
|
38
39
|
単純にファイルリストを取得したいだけであれば [AWS CLI](https://aws.amazon.com/jp/cli/) を利用する方法もあります。
|
|
39
40
|
WEBで動かさない分、通信とか気にしなくて良いので良いかと思いますよ。
|
|
40
41
|
[s3api list-objects-v2](http://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects-v2.html)
|
2
改行
answer
CHANGED
|
@@ -27,8 +27,8 @@
|
|
|
27
27
|
S3に対してLISTリクエストを発した場合は、内部的にLISTリクエストのjsonが発行されます。
|
|
28
28
|
|
|
29
29
|
オブジェクトを読み込み、これはファイルで、これはフォルダーという風に1個ずつ読み込んで
|
|
30
|
-
かつ、他のストレージにファイルがあるのか無いのかを確認して、
|
|
30
|
+
かつ、他のストレージにファイルがあるのか無いのかを確認して、
|
|
31
|
-
そのために、時間がかかります。
|
|
31
|
+
バッファに溜め込みリフレッシュされます。そのために、時間がかかります。
|
|
32
32
|
|
|
33
33
|
再度リクエストすると同じjsonクエリを発行しているため、
|
|
34
34
|
また頭から同じように読み込んでいきますのでキャッシュ化されていないため
|
1
校正
answer
CHANGED
|
@@ -27,14 +27,14 @@
|
|
|
27
27
|
S3に対してLISTリクエストを発した場合は、内部的にLISTリクエストのjsonが発行されます。
|
|
28
28
|
|
|
29
29
|
オブジェクトを読み込み、これはファイルで、これはフォルダーという風に1個ずつ読み込んで
|
|
30
|
-
かつ、他のストレージにファイルがあるのか無いのかを確認して、
|
|
30
|
+
かつ、他のストレージにファイルがあるのか無いのかを確認して、バッファに溜め込みリフレッシュされます。
|
|
31
|
-
バッファに溜め込みリフレッシュされます。
|
|
32
|
-
そのため、時間がかかります。
|
|
31
|
+
そのために、時間がかかります。
|
|
33
32
|
|
|
34
|
-
再度リクエストすると同じjsonクエリを発行しているため、
|
|
33
|
+
再度リクエストすると同じjsonクエリを発行しているため、
|
|
34
|
+
また頭から同じように読み込んでいきますのでキャッシュ化されていないため
|
|
35
|
-
|
|
35
|
+
同じ時間がかかりますし、同じ結果が返ってきます。
|
|
36
36
|
|
|
37
|
-
10万オブジェクトのリストを作成するのであれば
|
|
37
|
+
10万オブジェクトのリストを作成するのであれば、フィルターを掛けて検索させないと無理かと思います。
|
|
38
38
|
単純にファイルリストを取得したいだけであれば [AWS CLI](https://aws.amazon.com/jp/cli/) を利用する方法もあります。
|
|
39
39
|
WEBで動かさない分、通信とか気にしなくて良いので良いかと思いますよ。
|
|
40
40
|
[s3api list-objects-v2](http://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects-v2.html)
|