回答編集履歴
6
こっちのほうが見やすいか
test
CHANGED
|
@@ -88,7 +88,7 @@
|
|
|
88
88
|
|
|
89
89
|
|
|
90
90
|
|
|
91
|
-
** １．以下をインストール **
|
|
91
|
+
** １．EC2インスタンスにて以下をインストール **
|
|
92
92
|
|
|
93
93
|
`yum install aws-cli`
|
|
94
94
|
|
|
@@ -102,13 +102,17 @@
|
|
|
102
102
|
|
|
103
103
|
|
|
104
104
|
|
|
105
|
-
|
|
105
|
+
```text
|
|
106
106
|
|
|
107
|
-
|
|
107
|
+
AWS Access Key ID []: AAAAAAAAAAAAAAAAAAAA ←自分のアクセスキーを入力する
|
|
108
108
|
|
|
109
|
-
|
|
109
|
+
AWS Secret Access Key []: AAAAAAAAAAAAAAAAAAAA ←自分のシークレットアクセスキーを入力する
|
|
110
110
|
|
|
111
|
+
Default region name []: ap-northeast-1 ←自分の使っているリージョンを入力する
|
|
112
|
+
|
|
111
|
-
|
|
113
|
+
Default output format []: json ←入力する
|
|
114
|
+
|
|
115
|
+
```
|
|
112
116
|
|
|
113
117
|
|
|
114
118
|
|
5
追記
test
CHANGED
|
@@ -79,3 +79,59 @@
|
|
|
79
79
|
WEBで動かさない分、通信とか気にしなくて良いので良いかと思いますよ。
|
|
80
80
|
|
|
81
81
|
[s3api list-objects-v2](http://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects-v2.html)
|
|
82
|
+
|
|
83
|
+
|
|
84
|
+
|
|
85
|
+
# 追記
|
|
86
|
+
|
|
87
|
+
**AWSCLI**は単純なCUIのコマンドです。
|
|
88
|
+
|
|
89
|
+
|
|
90
|
+
|
|
91
|
+
** １．以下をインストール **
|
|
92
|
+
|
|
93
|
+
`yum install aws-cli`
|
|
94
|
+
|
|
95
|
+
`yum install jq`
|
|
96
|
+
|
|
97
|
+
|
|
98
|
+
|
|
99
|
+
** ２．AWSの設定ファイルを作成する **
|
|
100
|
+
|
|
101
|
+
`aws configure`
|
|
102
|
+
|
|
103
|
+
|
|
104
|
+
|
|
105
|
+
> AWS Access Key ID []: AAAAAAAAAAAAAAAAAAAA ←自分のアクセスキーを入力する
|
|
106
|
+
|
|
107
|
+
> AWS Secret Access Key []: AAAAAAAAAAAAAAAAAAAA ←自分のシークレットアクセスキーを入力する
|
|
108
|
+
|
|
109
|
+
> Default region name []: ap-northeast-1 ←自分の使っているリージョンを入力する
|
|
110
|
+
|
|
111
|
+
> Default output format []: json ←入力する
|
|
112
|
+
|
|
113
|
+
|
|
114
|
+
|
|
115
|
+
** ３．接続確認 **
|
|
116
|
+
|
|
117
|
+
`aws s3 ls`
|
|
118
|
+
|
|
119
|
+
|
|
120
|
+
|
|
121
|
+
** ４．取得コマンドを実行する **
|
|
122
|
+
|
|
123
|
+
```
|
|
124
|
+
|
|
125
|
+
aws s3api list-objects-v2 --bucket [バケット名] | jq '.Contents[].Key' | sed s/\"//g 1> /tmp/s3list.txt 2> /tmp/s3list_err.txt
|
|
126
|
+
|
|
127
|
+
```
|
|
128
|
+
|
|
129
|
+
|
|
130
|
+
|
|
131
|
+
途中から始めたいならば
|
|
132
|
+
|
|
133
|
+
```
|
|
134
|
+
|
|
135
|
+
aws s3api list-objects-v2 --bucket [バケット名] --start-after [LISTのここから表示を始めるオブジェクト名] | jq '.Contents[].Key' | sed s/\"//g 1> /tmp/s3list.txt 2> /tmp/s3list_err.txt
|
|
136
|
+
|
|
137
|
+
```
|
4
/ ぬけてた
test
CHANGED
|
@@ -18,9 +18,9 @@
|
|
|
18
18
|
|
|
19
19
|
bucket1 [bucket]
|
|
20
20
|
|
|
21
|
-
├ dir1 [dir]
|
|
21
|
+
├ dir1/ [dir]
|
|
22
22
|
|
|
23
|
-
｜ └ dir2 [dir]
|
|
23
|
+
｜ └ dir2/ [dir]
|
|
24
24
|
|
|
25
25
|
｜ └ file1 [File]
|
|
26
26
|
|
|
@@ -34,9 +34,9 @@
|
|
|
34
34
|
|
|
35
35
|
bucket1 [bucket]
|
|
36
36
|
|
|
37
|
-
├ dir1 [obj]
|
|
37
|
+
├ dir1/ [obj]
|
|
38
38
|
|
|
39
|
-
├ dir1/dir2 [obj]
|
|
39
|
+
├ dir1/dir2/ [obj]
|
|
40
40
|
|
|
41
41
|
├ dir1/dir2/file1 [obj]
|
|
42
42
|
|
3
改行
test
CHANGED
|
@@ -70,7 +70,9 @@
|
|
|
70
70
|
|
|
71
71
|
|
|
72
72
|
|
|
73
|
+
10万オブジェクトのリストを作成するのであれば、
|
|
74
|
+
|
|
73
|
-
|
|
75
|
+
フィルターを掛けて検索させないと無理かと思います。
|
|
74
76
|
|
|
75
77
|
単純にファイルリストを取得したいだけであれば [AWS CLI](https://aws.amazon.com/jp/cli/) を利用する方法もあります。
|
|
76
78
|
|
2
改行
test
CHANGED
|
@@ -56,9 +56,9 @@
|
|
|
56
56
|
|
|
57
57
|
オブジェクトを読み込み、これはファイルで、これはフォルダーという風に1個ずつ読み込んで
|
|
58
58
|
|
|
59
|
-
かつ、他のストレージにファイルがあるのか無いのかを確認して、
|
|
59
|
+
かつ、他のストレージにファイルがあるのか無いのかを確認して、
|
|
60
60
|
|
|
61
|
-
そのために、時間がかかります。
|
|
61
|
+
バッファに溜め込みリフレッシュされます。そのために、時間がかかります。
|
|
62
62
|
|
|
63
63
|
|
|
64
64
|
|
1
校正
test
CHANGED
|
@@ -56,21 +56,21 @@
|
|
|
56
56
|
|
|
57
57
|
オブジェクトを読み込み、これはファイルで、これはフォルダーという風に1個ずつ読み込んで
|
|
58
58
|
|
|
59
|
-
かつ、他のストレージにファイルがあるのか無いのかを確認して、
|
|
59
|
+
かつ、他のストレージにファイルがあるのか無いのかを確認して、バッファに溜め込みリフレッシュされます。
|
|
60
60
|
|
|
61
|
-
バッファに溜め込みリフレッシュされます。
|
|
62
|
-
|
|
63
|
-
そのため、時間がかかります。
|
|
61
|
+
そのために、時間がかかります。
|
|
64
62
|
|
|
65
63
|
|
|
66
64
|
|
|
67
|
-
再度リクエストすると同じjsonクエリを発行しているため、
|
|
65
|
+
再度リクエストすると同じjsonクエリを発行しているため、
|
|
68
66
|
|
|
67
|
+
また頭から同じように読み込んでいきますのでキャッシュ化されていないため
|
|
68
|
+
|
|
69
|
-
|
|
69
|
+
同じ時間がかかりますし、同じ結果が返ってきます。
|
|
70
70
|
|
|
71
71
|
|
|
72
72
|
|
|
73
|
-
10万オブジェクトのリストを作成するのであれば
|
|
73
|
+
10万オブジェクトのリストを作成するのであれば、フィルターを掛けて検索させないと無理かと思います。
|
|
74
74
|
|
|
75
75
|
単純にファイルリストを取得したいだけであれば [AWS CLI](https://aws.amazon.com/jp/cli/) を利用する方法もあります。
|
|
76
76
|
|