MySQLで一度に大量のinsertを投げるとSleepになります

Question

MySQLに関しての質問です。

様々なプログラムから１つのDB（同じテーブル）に対して大量のinsertを投げています。

show fullprocess を見ると、多くのinsertがsleepになっているのですが、
これは１DBあたりのクエリ受付可能数（？）がキャパシティを超えているからでしょうか？

Sleepを解消する事で、さらに大量のデータを高速にinsertする事は可能でしょうか？

その方法やアイデアなどあれば教えてください。

ちなみにバルクインサートはしていますが、そもそもDBにアクセスしている端末数が多い為、このような状態になっているのかもしれません。

Answer 1

show fullprocess を見ると、多くのinsertがsleepになっているのですが、

これは１DBあたりのクエリ受付可能数（？）がキャパシティを超えているからでしょうか？

insert を並列実行できないのでは？
たとえば、一意制限のあるカラムがあれば、並列実行は不可能ですよね。
インデックスの更新も並列実行できないものと思われます。
一意制限もインデックスも無いとしても、トランザクションの分離レベルを
さげないと並列実行は許されないような気がします。

ちなみにバルクインサートはしていますが、そもそもDBにアクセスしている端末数が多い為、このような状態になっているのかもしれません。

1. 端末からの要求を受けたスレッドはinsert要求をキューに詰める（何番目の要求かを示す番号をもらって待つ）
2. 別のスレッドでキューから一定量ずつ取り出してバルクインサートする
3. インサートが終わったら何番目まで進んだかをアナウンスする
4. 待っていたスレッドはアナウンスされた番号が自分の番号より大きければ、成功を返す

というようなことをすれば速度は上がるかもしれません。スレッドが重い処理系で上記のようなことをやると、大量のメモリが必要になったり、遅くなったりするかもしれません。Javascriptとか Go とか c10k対応の処理系でないと厳しいかもしれません。しかし、今大量に Sleep になっても耐えられているのであれば、大丈夫かも。

Answer 2

エンジンはInnoDBでしょうか？MyISAMだとロックがきびしいかも
indexやらuniqueもデータ投入時には負担になる場合もあります。
どうせみんなSLEEPになって終わらないなら、制限を最小限にした
一時保管テーブルに投入し、その後定期的に本チャンに流し込むような
予約制をとって並行で処理しないという考え方もあるでしょう

Answer 3

大量のデータってピークの単位時間にどの程度のデータがINSERTされて、その多重度は？
ひとつのテーブルへの書き込みが集中しているのがボトルネックになってるのなら、hash partition で分散を図ることも考えらます。
以前、OracleでLOBの書き込みがボトルネックになっていて、LOBを別テーブルにしてTABLESPACEも変えたら？ってアドバイスしたこともあります。それでどの程度パフォーマンスが改善されたかのレスはありませんでしたが。
現状で許容時間内に処理が終わればSLEEPがあってもとりあえず良しとして、将来データ量が増えた時の対応点としてグループで認識できていれば良いでしょう。

時々とっても非力なハードウェアで大量のデータを処理しようとしているお客様がいて、1トントラックに10トンの荷物を積むような真似は止めましょう、って言わざるを得ないこともあります。