aws S3を使ってS3ファイルにgrepを実行することはできるのでしょうか

Question

DBに格納していないS3上のファイルのデータから特定の文字列を含むデータの検索依頼がありました。

やりたいことを例に挙げると、
バケット「SAMPLE」にFILE1.ltsv.gz、FILE2.ltsv.gz、・・・・を持っているとします。
そのファイル内に文字列「SS0TEST123」を含む行を探したい場合ですが、Linuxコマンドを参考に以下のコマンドを入力しても意図した出力結果がかえってきません。

aws s3 ls --recursive s3://mybucket/SAMPLE/*.ltsv.gz | grep ‘SS0TEST123’

※他にも参考にした記事はあるのですが、ワイルドカード指定のGREP方法が分からずつまっております。

https://nekodeki.com/%E3%80%90aws%E3%80%91s3%E3%81%AEgz%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%92%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%9B%E3%81%9A%E3%81%ABgrep%E3%81%99%E3%82%8B/

ご教授いただけますと幸いです。

Comments

[melian]

拡張子が .gz ということは gzip によって圧縮されていて、内容が平文(テキスト)ではないということになります。なので、zgrep コマンドを使用してみて下さい(zgrep コマンドがインストールされていないかもしれませんが)。

[yu_1985]

> DBに格納していないS3上のファイルのデータから特定の文字列を含むデータの検索依頼がありました。

これはファイル名にSS0TEST123を含むものを一覧で出したいのではなく、ファイルの中身を検索したいということでしょうか？

[zyozer00]

ファイルの中身に「SS0TEST123」を含むものを検索したいと考えています。

Answer 1

aws s3 lsはS3上のファイル一覧を出力するだけのコマンドなので、記載のコマンドがうまくいったとしてもファイル名から絞り込むだけで求める要件は満たせません。
結局のところ何らかの形でファイルの中身を見てやる必要があり、それはaws cliのみで実現はできません。

参考サイトに書いてあるのは単にaws s3 cpでローカルダウンロードして中身を覗いているだけです。
ファイルに保存しているか標準入力にそのまま入れてるか程度の差しかないです。

一応、S3に上がっているファイルの中身を覗く方法自体はいくつかあります。

• ダウンロードして中身を確認する

今回で言うと、まとめてダウンロードしてzcatするなりzgrepするなりでまとめて検索することになります。アナログな方法です。

• S3 Selectを使う

コンソールやcliから対象ファイルに対して簡易的なクエリを実行することもできますが、対象ファイルが1つずつなので今回の用途には合わなそうです。

• Athenaを使う

もし格納されているファイルがcsvやjsonなどで一定の構造が存在するのであればこれが一番楽です。
細かい使い方はここには書きませんので用途に合いそうであればご検討ください。
【初心者向け】AthenaからクエリしてS3上のデータを取得してみた

Comments

[zyozer00]

やはりAthenaを使用するしかなさそうですね。。
ありがとうございました