Q&A
普通は、column_name = column_name + 1で済むものなので、そんなFor文使うなんて方法は使わないですが、具体的なSQL文を提示してみてください。
こんにちは、質問があるのですが、知恵をお貸しいただけますと幸いです。
現在、MySQLのDBサーバにアクセスして、Update文をFor文で何回も処理を投げています。
あるカラムの数字を+1インクリメントするようなUpdate文を投げています。
今のところ、速度的には1秒あたり25件の処理が可能です。
これをもっと速くしたいと考えているのですが、どのような方法がありそうでしょうか？
（my.cnfファイルの修正など）
マシンの部品に関する話でも知りたいと思います（CPUのコア数など）。
教えていただけますと幸いです。よろしくお願いいたします。
SQLは以下となります。
SQL
1UPDATE `DB`.`table_1` SET `remaining_count_charge` = `remaining_count_charge` - 1, `total_count` = `total_count` + 1 WHERE `id` = 1;";
SQL
1UPDATE `DB`.`table_1` SET `remaining_count_charge` = `remaining_count_charge` - 100, `total_count` = `total_count` + 100 WHERE `id` = 1;";
とすれば、100回繰り返すことと同じことに成るということは承知しております。1回ずつ、処理を行いたいのです。
>速度的には1秒あたり25件の処理が可能です。
目標はいかほどでしょうか。
UPDATE `DB`.`table_1` SET `remaining_count_charge` = `remaining_count_charge` - 1, `total_count` = `total_count` + 1 WHERE `id` = 1;";
という形です。
1回ずつ繰り返す必要がありまして、
UPDATE `DB`.`table_1` SET `remaining_count_charge` = `remaining_count_charge` - 100, `total_count` = `total_count` + 100 WHERE `id` = 1;";
とはしたくないのです。
目標ですね…。
1秒あたり100件になればありがたいと思いますが、いかがでしょうか？
その１件の性能はどうやって計っているんですか？
１件毎処理したいなら、前後の処理もあると推測します。
例えば、トランザクションの制御はどうなっているかも性能には影響すると思うのですが、そういった類は関係ないと判断済みですか？
サーバとの回線速度が、ボトルネックになっているという事はないですか？
トランザクションに関しては、MySQLは特別なようですね。
少し調べてみます。
サーバとの回線速度に関しては、
・TomcatサーバからリモートDBサーバにUpdate文を送る場合は、1件あたり0.041秒
・TomcatサーバとDBサーバが同じマシンの場合で、Update文を送る場合は1件あたり0.018秒
となりました。2倍速度が改善されたので、少し参考にしようと思います。
＞その１件の性能はどうやって計っているんですか？
JSP内にFor文でUpdate文をDBサーバに投げる処理を行い、System.currentTimeMillis()で時刻を取得し、その時刻差をFor繰り返し回数で割ってページに表示しています。
jsqにゴリゴリコードを書いてるのか、
100回繰り返し出なければいけない理由とは？
回答3件
0
ベストアンサー
なぜ、100回同じクエリを投げたいのか理由がわかれば、別の回避策があるような気がしますが。
とりあえず複数回アップデートを流す場合の性能向上としてバッチアップデートというのがあります。
性能測定サンプルが以下にありましたので、試してみてはどうでしょうか。
JDBC Batch insert update MySQL Oracle
昔は、MySQLはJDBC内でforループするだけだったので、効果期待できないとあったのですが、
どうやらサポートされたのかもしれない。
動作確認したわけでないので、ダメもとでやってみたらよいかと。
あ、あと最初に書きましたが100回同じクエリー流す意図がわかれば、違う回避策あるかもしれません。
＝＝＝
追記
実はある人がブラウザのあるページにアクセスすると、（リロードしなくても）5秒に1回このSQLが自動で動くようなページを作っています。
もし、これが100人が同時にこのページにアクセス中だとおおよそ0.05秒に1回このSQLが動くということになります。
この更新に耐えうる方法を期待しています。
その要件だとSQLが動かなくなる条件がないように思えますので、最終的にとんでもない数の更新になるのでは？
まぁ、その話は置いといて・・・
この場合だと、メモリ上に同期されたカウンタだけ用意して、定期的に１回アップデートで十分かなぁ。
カウンタの更新はDBより負荷が低いので余裕だと思います。
ロードバランシングしても、それぞれがカウンタを管理すればいけるかと
投稿2019/04/11 01:43
編集2019/04/16 01:26
総合スコア4828
遅くなり、すいません。
実はある人がブラウザのあるページにアクセスすると、（リロードしなくても）5秒に1回このSQLが自動で動くようなページを作っています。
もし、これが100人が同時にこのページにアクセス中だとおおよそ0.05秒に1回このSQLが動くということになります。
この更新に耐えうる方法を期待しています。
ちなみに、アクセスログをとっているのではないので、ログ解析の必要は生じません。
その要件は、質問に追記した方がよい回答を期待できるかと思います。
皆様ありがとうございました。
最終的には、Staticな配列を用意して、そこにレコード1個を1個の要素として逐次入れていって、配列のSizeが100に達したら、SQLを発行するという方法を考えました。
これですとSQL100回を1回で済ませられそうです。
もちろん、1000回でも実行時間は10倍になりますが、それほど影響はなさそうでした。
「メモリ上に同期」というのがヒントとなりました。
0
質問が単純にUPDATE文の性能を上げるという事なら、環境の性能上げるしかないんじゃないでしょうか。
どのような環境なのかも記述されておりませんので、具体的な話での回答にはなりませんが、仮想環境ならCPUコアの割り当てとかメモリの割り当てを増してみるとか。
それから、書き込みが高速なストレージに変更するとかネットワーク機器の見直しとか。
ここまで書きましたが、先にチューニングすべきは、そのUPDATEを含む一覧処理のチューニングだと思いますけどね。
投稿2019/04/09 04:53
編集2019/04/11 03:21総合スコア25430
SSDやテープにすれば早くなるかもしれませんね。
コア数は16個とか多ければ良さそうですが、まだ試してないです。
ネットワーク機器は、NuroでCat.6ケーブルなのですが一応DBサーバとTomcatサーバが同じマシンの中にあればこれらは考慮しなくてもいいということになりそうです。
ボトルネックを消さずにボトルネックを解消死体といってるように見える（誤字あり）
@asahina1979 さん
質問者さんは、そのコメントもこの回答に対してと思うかもしれません。
正直どういえば、伝わるのか分かりません。
おうふ。スマホで誤爆してたか
0
LAST_INSERT_ID を使ってみては？あまり改善できないかもしれませんが。
用途がわかると AUTO_INCREMENT で良いのでは？などと適切な回答が付き易いのでは？
投稿2019/04/09 03:27
総合スコア16419
あなたの回答
tips
プレビュー
