MySQLクエリ(SELECT文)の並列処理が実現できません

Question

前提・実現したいこと

MySQLにて、同一クエリを同時に発行した場合、それぞれのクエリを並列に処理したいです

環境：MySQL 5.7.25(Docker)
トランザクション：REPEATABLE READ（デフォルト）

例：実行に2秒かかる遅めのクエリがあります（集計系のクエリを想定しています）
クエリ：サブクエリを含んだSELECT文(FOR UPDATEなどのロックに関する処理はありません)

前提：上記のクエリを別のクライアントAとBから同時に1つずつ（計2つ）発行します

理想：AとBのクライアントにそれぞれ2秒でレスポンスを返したいです

問題（現状）：AとBのクライアントにはそれぞれ約4秒でレスポンスが返ってきます

参考：別のリソースを参照する異なるクエリを同時に発行した場合では、意図した並列処理の実行時間でレスポンスが得られました。

詳細

同一クエリを同時に2つ発行すると単体で実行した場合と比較して、倍近くの時間がかかってしまいます。
まるで直列に実行したような挙動になってしまいます。
推測ですが、同一クエリで同じリソースを参照しているために、ロックがかかってしまい、結果として直列処理のような挙動になってしまっていると思われます。
MySQLのロックやトランザクションについて、いくつか調査をしましたが、上記に関連するような記述は見つけられませんでした。
また、MySQLでは特別な設定はしておらず、全てデフォルトの設定です。

上記現象に関して、どなたか知見がございましたら、助言をお願いできませんでしょうか。
よろしくお願いします。

Comments

[hihijiji]

ボトルネックがある場合は、並列処理とかロックとか関係なしにクエリの数だけ時間がかかります。
集計系のクエリならストレージかも？
対策としてはパーティショニングかストレージ強化かな？

[y_kato]

ご回答ありがとうございます。

いくつかの環境で検証しておりますが、GCPの環境下では、CPU使用率10%、ストレージ使用量20%、メモリ使用量60%といった状況です。
マシンタイプはdb-n1-standard-1です。
ご参考までに記載させていただきました。

[hihijiji]

クラウドなら大概ツールを提供しています。
https://cloud.google.com/apm?hl=ja
https://cloud.google.com/trace?hl=ja

あとストレージは量より質(速さ)です。

[y_kato]

ありがとうございます。
参考にさせていただきます。

Answer 1

コア単位でスレッドがわかれるので同時実行は可能だったと記憶していますが
トランザクションでテーブルロックするような処理がはいっているなら
終わるのを待つ可能性はあるでしょう。

Comments

[yambejp]

パフォーマンスの問題というよりは運用上の問題かと。
どういった処理をなさっているかわかりませんが
集計が遅い処理は適当な単位でなんらかのサマリーテーブルに
保持させるとかで回避した方がよいかも

[y_kato]

早速のご回答ありがとうございます。

テーブルロックをするようなクエリは発行しておりません。
もし、お時間をいただけるようでしたら、クエリや実行計画、MySQLの設定などの追加情報を記載させていただきます。

集計処理に関してはサマリーテーブルの作成を検討してみます。
ただ、検索処理につきましてはリアルタイムでの実行を想定しています。
その場合に、数十の同時アクセスがある環境下では同様の問題が発生するので、解決したく考えております。
クエリの実行時間を短くすることは必須と承知していますが、同一クエリを並列に処理する方法（設定など）をご存知でしたらご教授お願いします。

[y_kato]

追加の質問です。
そもそもですが、MySQLのデフォルトの挙動として、同一のクエリを同時に発行した場合には直列実行になるのでしょうか。

[yambejp]

たとえば

start TRANSACTION;
select sleep(10);
commit;
を実行させてから、並行して

select 1;
を実行しても、上記を待たずすぐに1が返ってきます

[yambejp]

並行処理ができない再現性のあるSQL文があれば検証するのですが・・・
理論的にその他で考えられるのはマルチコアではないCPUとか
全コアがふさがっているとか・・・であれば当然コア単位で
並行処理は無理です（ちょっと考えづらいですけど）

[y_kato]

分かりやすい具体例のご提示ありがとうございます。
追加情報で書かせていただきましたが、別のリソースを参照するクエリについては、意図した並列実行ができております（ご提示いただいた例と同様の結果です）。
このような結果からも、リソースのロックが発生しているのではないかと推測しています。

肝と考えておりますのは、同一のリソースを参照するクエリ（≒同一クエリ）を同時に発行した場合の並列処理についてでございます。

[y_kato]

実際のデータも必要になりますので、再現性のあるSQL文のご提示は厳しそうです。。。

[yambejp]

まさかとは思いますがテーブルエンジンがMyISAMとかだと
テーブルロックの可能性はあります
普通にやっていればInnoDBですよね？

[y_kato]

はい、InnoDBです。