AWS AthenaでPARTITION付きのテーブルを作成しても、S3に格納したcsvの中身が反映されない

Question

前提・実現したいこと

AWS Athena初心者です。
以下のことをやりたいのですが、調べたり色々実戦してみても上手く行きません。
方法をご教示ください。

・S3に格納したcsvデータを使って、AthenaでPARTITION付きのテーブルを作りたい

発生している問題・エラーメッセージ

テーブルは作成できるのですが、csvの中身が反映されません。
作業手順は以下の通りです。

S3にver = 2020-07-28 という名前のフォルダを作成し、
その配下に1カラムのデータが入ったcsvを格納
↓
AthenaでCreate Table。
その際にcsvデータに合わせてカラムは1カラム、PARTITIONはverという名称のものをひとつ設置。
データ参照元は、S3のcsvが格納されている場所を指定
↓
テーブルは作成できるが、SELECT *　をしても、中身が入っていない

該当のソースコード

CREATE EXTERNAL TABLE IF NOT EXISTS hogedb.test_20200728 (
  `acid` string 
) PARTITIONED BY (
  ver string 
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = ',',
  'field.delim' = ','
) LOCATION 's3://hogehoge/user/test/ver=2020-07-28/'--この配下にcsvが入っています
TBLPROPERTIES ('has_encrypted_data'='false');

試したこと

・csvにそもそもデータが入っているかどうか確認済み(1カラムのデータ)

・CREATE TABLEにおけるLOCATIONの指定を、/test/で止めてみた
→結果変わらず

・CREATE TABLEにおけるLOCATIONの指定を.csvまで指定してみた
→テーブル作成ダイアログにてエラーが出ました

補足情報（FW/ツールのバージョンなど）

特になし

Answer 1

ドキュメントには

テーブルを作成した後、クエリ用にパーティションにデータをロードします。Hive と互換性のあるデータの場合、MSCK REPAIR TABLE を実行します。Hive と互換性のないデータの場合、ALTER TABLE ADD PARTITION を使用してパーティションを手動で追加します。

とあります。
テーブルを作っただけでパーティションが読み込まれるわけではなくて、パーティションを認識させてやる必要があります。
MSCK REPAIR TABLE <テーブル名>;
でパーティションを読み込んでください。

おそらく定期的にディレクトリが増えていくと思うので、Glueで自動更新するのがおすすめです。

Amazon Athenaのパーティション設定を定期更新する

Comments

[als_of_j]

ご回答くださりありがとうございます。

なるほど！と思って早速
MSCK REPAIR TABLE <テーブル名>;
を実行してみたところ、
そのクエリ自体は成功したのですが、やはりテーブルの中身は空のままでした。

公式ドキュメントをもう少し読み込んで、色々試してみます。

[yu_1985]

show partitions <テーブル名>;

で、パーティションがちゃんと出来ているか確認してみてください。

[als_of_j]

show partitonsすると、
クエリは成功した、とだけ表示されて、肝心のパーティションが一切表示されないので、
パーティションがちゃんと出来ていないようですね。

[als_of_j]

解決しました！
どうやら、create tableする際のlocationの指定が悪さをしていたようです。

LOCATION 's3://hogehoge/user/test/ver=2020-07-28/'--この配下にcsvが入っています

ではなく、
LOCATION 's3://hogehoge/user/test/
と言う具合に、一階層上の指定にした上でテーブル作成→MSCK REPAIR TABLEしたら上手く行きました。

どうもありがとうございました！

[yu_1985]

クエリをドキュメントと見比べてみましたが、指定する階層が違ってそうです
https://docs.aws.amazon.com/ja_jp/athena/latest/ug/partitions.html#partitions-preparing-data

〜/test/をLocationにしてテーブルを作成してやってみたらおそらく行けるかなと。

[als_of_j]

ご指摘の通りでした！
アドバイスくださり大変助かりました。