パーティションのロードとは何をしているのでしょうか。

Question

MSCK REPAIR TABLE

上記が何をしているのかがわかりません。
S3にあるデータにクエリを実行したいのですが、S3にデータが追加される度に上記のメソッド(?)が走っています。
パーティションをロードする為の記述とのことですが、1分おきに膨大な量のS3データをフルスキャンしているようで、相当な時間がかかっています。
対策を練る前に、このMSCKというメソッドが一体何をしているかをざっくりで構いませんので教えていただけないでしょうか。
ぼんやりですが、S3にあるデータのディレクトリを読み込み、パーティションを付けている、というところまでは理解しています。

よろしくお願いします。

Answer 1

ぼんやりですが、S3にあるデータのディレクトリを読み込み、パーティションを付けている、というところまでは理解しています。

おおよそそれで正しいと思います。
Hive形式でディレクトリを切ってあれば、テーブルを作るときにPARTITIONED BYで指定したパーティションを、待っていればそのうち自動で読み込んでくれる（はずですが、記憶違いでしたらすみません）のですが、MSCK REPAIR TABLEをわざわざ実行しているのはクエリを投げる際に常に最新のデータを参照したいからだと思います。
何をトリガーにMSCK REPAIR TABLEをしてるかがちょっとわかりませんが、誰かが定期実行なのかS3 Put Eventをフックにするのか何かでMSCK REPAIR TABLEを走らせるような処理を設定していませんか？

参考
データのパーティション分割
https://docs.aws.amazon.com/ja_jp/athena/latest/ug/partitions.html