回答編集履歴

6

こっちのほうが見やすいか

2017/05/25 03:04

投稿

lazhuward
lazhuward

スコア1294

test CHANGED
@@ -88,7 +88,7 @@
88
88
 
89
89
 
90
90
 
91
- ** 1.以下をインストール **
91
+ ** 1.EC2インスタンスにて以下をインストール **
92
92
 
93
93
  `yum install aws-cli`
94
94
 
@@ -102,13 +102,17 @@
102
102
 
103
103
 
104
104
 
105
- > AWS Access Key ID []: AAAAAAAAAAAAAAAAAAAA ←自分のアクセスキーを入力する
105
+ ```text
106
106
 
107
- > AWS Secret Access Key []: AAAAAAAAAAAAAAAAAAAA ←自分のシークレットアクセスキーを入力する
107
+ AWS Access Key ID []: AAAAAAAAAAAAAAAAAAAA ←自分のアクセスキーを入力する
108
108
 
109
- > Default region name []: ap-northeast-1 ←自分の使っているリジョンを入力する
109
+ AWS Secret Access Key []: AAAAAAAAAAAAAAAAAAAA ←自分のクレットアクセスキーを入力する
110
110
 
111
+ Default region name []: ap-northeast-1 ←自分の使っているリージョンを入力する
112
+
111
- > Default output format []: json ←入力する
113
+ Default output format []: json ←入力する
114
+
115
+ ```
112
116
 
113
117
 
114
118
 

5

追記

2017/05/25 03:04

投稿

lazhuward
lazhuward

スコア1294

test CHANGED
@@ -79,3 +79,59 @@
79
79
  WEBで動かさない分、通信とか気にしなくて良いので良いかと思いますよ。
80
80
 
81
81
  [s3api list-objects-v2](http://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects-v2.html)
82
+
83
+
84
+
85
+ # 追記
86
+
87
+ **AWSCLI**は単純なCUIのコマンドです。
88
+
89
+
90
+
91
+ ** 1.以下をインストール **
92
+
93
+ `yum install aws-cli`
94
+
95
+ `yum install jq`
96
+
97
+
98
+
99
+ ** 2.AWSの設定ファイルを作成する **
100
+
101
+ `aws configure`
102
+
103
+
104
+
105
+ > AWS Access Key ID []: AAAAAAAAAAAAAAAAAAAA ←自分のアクセスキーを入力する
106
+
107
+ > AWS Secret Access Key []: AAAAAAAAAAAAAAAAAAAA ←自分のシークレットアクセスキーを入力する
108
+
109
+ > Default region name []: ap-northeast-1 ←自分の使っているリージョンを入力する
110
+
111
+ > Default output format []: json ←入力する
112
+
113
+
114
+
115
+ ** 3.接続確認 **
116
+
117
+ `aws s3 ls`
118
+
119
+
120
+
121
+ ** 4.取得コマンドを実行する **
122
+
123
+ ```
124
+
125
+ aws s3api list-objects-v2 --bucket [バケット名] | jq '.Contents[].Key' | sed s/\"//g 1> /tmp/s3list.txt 2> /tmp/s3list_err.txt
126
+
127
+ ```
128
+
129
+
130
+
131
+ 途中から始めたいならば
132
+
133
+ ```
134
+
135
+ aws s3api list-objects-v2 --bucket [バケット名] --start-after [LISTのここから表示を始めるオブジェクト名] | jq '.Contents[].Key' | sed s/\"//g 1> /tmp/s3list.txt 2> /tmp/s3list_err.txt
136
+
137
+ ```

4

/ ぬけてた

2017/05/25 02:59

投稿

lazhuward
lazhuward

スコア1294

test CHANGED
@@ -18,9 +18,9 @@
18
18
 
19
19
  bucket1 [bucket]
20
20
 
21
- ├ dir1 [dir]
21
+ ├ dir1/ [dir]
22
22
 
23
- | └ dir2 [dir]
23
+ | └ dir2/ [dir]
24
24
 
25
25
  | └ file1 [File]
26
26
 
@@ -34,9 +34,9 @@
34
34
 
35
35
  bucket1 [bucket]
36
36
 
37
- ├ dir1 [obj]
37
+ ├ dir1/ [obj]
38
38
 
39
- ├ dir1/dir2 [obj]
39
+ ├ dir1/dir2/ [obj]
40
40
 
41
41
  ├ dir1/dir2/file1 [obj]
42
42
 

3

改行

2017/05/18 10:11

投稿

lazhuward
lazhuward

スコア1294

test CHANGED
@@ -70,7 +70,9 @@
70
70
 
71
71
 
72
72
 
73
+ 10万オブジェクトのリストを作成するのであれば、
74
+
73
- 10万オブジェクトのリストを作成するのであれば、フィルターを掛けて検索させないと無理かと思います。
75
+ フィルターを掛けて検索させないと無理かと思います。
74
76
 
75
77
  単純にファイルリストを取得したいだけであれば [AWS CLI](https://aws.amazon.com/jp/cli/) を利用する方法もあります。
76
78
 

2

改行

2017/05/18 08:46

投稿

lazhuward
lazhuward

スコア1294

test CHANGED
@@ -56,9 +56,9 @@
56
56
 
57
57
  オブジェクトを読み込み、これはファイルで、これはフォルダーという風に1個ずつ読み込んで
58
58
 
59
- かつ、他のストレージにファイルがあるのか無いのかを確認して、バッファに溜め込みリフレッシュされます。
59
+ かつ、他のストレージにファイルがあるのか無いのかを確認して、
60
60
 
61
- そのために、時間がかかります。
61
+ バッファに溜め込みリフレッシュされます。そのために、時間がかかります。
62
62
 
63
63
 
64
64
 

1

校正

2017/05/18 08:45

投稿

lazhuward
lazhuward

スコア1294

test CHANGED
@@ -56,21 +56,21 @@
56
56
 
57
57
  オブジェクトを読み込み、これはファイルで、これはフォルダーという風に1個ずつ読み込んで
58
58
 
59
- かつ、他のストレージにファイルがあるのか無いのかを確認して、
59
+ かつ、他のストレージにファイルがあるのか無いのかを確認して、バッファに溜め込みリフレッシュされます。
60
60
 
61
- バッファに溜め込みリフレッシュされます。
62
-
63
- そのため、時間がかかります。
61
+ そのため、時間がかかります。
64
62
 
65
63
 
66
64
 
67
- 再度リクエストすると同じjsonクエリを発行しているため、また頭から同じように読み込んでいきますので
65
+ 再度リクエストすると同じjsonクエリを発行しているため、
68
66
 
67
+ また頭から同じように読み込んでいきますのでキャッシュ化されていないため
68
+
69
- キャッシュ化されていないため同じ時間がかかりますし、同じ結果が返ってきます。
69
+ 同じ時間がかかりますし、同じ結果が返ってきます。
70
70
 
71
71
 
72
72
 
73
- 10万オブジェクトのリストを作成するのであればある程度フィルターを掛けて検索させないと無理かと思います。
73
+ 10万オブジェクトのリストを作成するのであればフィルターを掛けて検索させないと無理かと思います。
74
74
 
75
75
  単純にファイルリストを取得したいだけであれば [AWS CLI](https://aws.amazon.com/jp/cli/) を利用する方法もあります。
76
76