athenaのクエリのlimitに関して

Question

SELECT test1.id
FROM "test1"."test1" as test1
join "test2"."test2" as test2
on test1.id = test2.id

上記のクエリを行った際に10分たってもクエリが終了しませんでした

一方で以下のようにした時に2秒程で完了しました
limitをつけなければ完了しないものなのでしょうか？

SELECT test1.id
FROM "test1"."test1" as test1
join "test2"."test2" as test2
on test1.id = test2.id
limit 10

Answer 1

test1とtest2のデータ量はどれほどでしょうか？
時間がかかっていることから恐らくそれなりにデータ容量が大きいものと推測します。
Athenaを使う場合、適切にパーティションを設定してクエリで参照するデータ量を減らさないと大量のデータを参照しようとしてとても時間がかかります。
パーティションの作成方法については下記などをご参照ください。
データのパーティション分割
Athenaの自動パーティショニングをPartition Projectionで実現する
やや古いですがこちらも参考になります。
Amazon Athenaのパーティションを理解する #reinvent
Amazon Athena でデータがパーティション分割されていないログを分析する

パーティション作成済みであれば、WHEREでパーティションを指定してください。

またsaziさんの仰るとおりlimitをつけても例えばORDER BYをつけたりすると結局ソートする時に全データを参照するので時間がかかります。

Comments

[yonchome]

ありがとうございます。
データ量はtest1が50レコード程度
test2が1000レコード程度
test2にはパーティションを設定している状況です。

[yu_1985]

設定しているだけではダメで、WHEREでパーティションを指定して検索範囲を絞り込んでください。

[yonchome]

パーティションの勉強になりました、ありがとうございます

Answer 2

limitをつけなければ完了しないものなのでしょうか？

limitがある状態でも、order by付けると時間が掛かるのではないかと思います。

インデックスが無いようであれば、インデックスを作成して下さい。

Amazon Athenaはインデックスではなくパーティションでデータを区切る事により、性能を確保するようですね。
データ量に応じて料金が変わるようですから、速さ以前に切実ですね。

Comments

[yonchome]

確かに料金にも関わりますね、ありがとうございます