AWS CLI S3

Question

AWS S3からjsonファイルを以下のコマンドでダウンロードしたら application/x-gzip; charset=binaryのファイルとして認識され、中身読めないのですが、何故でしょうか
ブラウザから普通にダウンロードしてもjsonファイルとして正しく認識されます。

aws s3 cp s3://***/**.json ./**.json

$aws --version
aws-cli/1.18.66 Python/2.7.5 Linux/3.10.0-1127.8.2.el7.x86_64 botocore/1.16.16

Answer 1

対象のファイルは確かにjsonなのでしょうか？
.jsonというファイル名というだけで、保存するときにjsonでない形式で保存している可能性があります。

application/x-gzip; charset=binary

ということなので、保存時にgzip圧縮したファイルを拡張子.jsonで保存しているものと思われます。

Comments

[tetsuya28]

> 保存時にgzip圧縮したファイルを拡張子.jsonで保存

圧縮したとして、ブラウザで表示 or コンソールからダウンロードする(解凍などは特にしていない)とjsonファイルのように扱われるのですがそれでも圧縮されている可能性はありますでしょうか？

[yu_1985]

自分の環境で再現しないので詳細はわかりませんが、アップロード時にContent-typeを指定されていたり、暗黙にContent-Typeを推定されていたり、というケースが有り得そうです。
https://dev.classmethod.jp/articles/specify-contenttype-at-s3-upload/

Answer 2

対象のファイルが、「Amazon S3 Select」により、圧縮されているのではないでしょうか。
S3 Selectを選ぶと、CSV、JSONの２タイプはgzip保存するオプションが選べます。

https://docs.aws.amazon.com/AmazonS3/latest/API/archive-RESTObjectSELECTContent.html

https://qiita.com/kooohei/items/bc180302cc98c01074d4

Comments

[yu_1985]

補足するとS3 Selectはそういうサービスではないです。
Qiitaの記事や公式ドキュメントをよくご覧ください。

> S3バケット内に保存したオブジェクトに対し、SQL文を用いてデータの一部分のみを取り出すことができるサービスです。