MySQLの処理速度を上げたいですが可能ですか？
- 評価
- クリップ 2
- VIEW 1,307
こんにちは、質問があるのですが、知恵をお貸しいただけますと幸いです。
現在、MySQLのDBサーバにアクセスして、Update文をFor文で何回も処理を投げています。
あるカラムの数字を+1インクリメントするようなUpdate文を投げています。
今のところ、速度的には1秒あたり25件の処理が可能です。
これをもっと速くしたいと考えているのですが、どのような方法がありそうでしょうか？
（my.cnfファイルの修正など）
マシンの部品に関する話でも知りたいと思います（CPUのコア数など）。
教えていただけますと幸いです。よろしくお願いいたします。
SQLは以下となります。
UPDATE `DB`.`table_1` SET `remaining_count_charge` = `remaining_count_charge` - 1, `total_count` = `total_count` + 1 WHERE `id` = 1;";UPDATE `DB`.`table_1` SET `remaining_count_charge` = `remaining_count_charge` - 100, `total_count` = `total_count` + 100 WHERE `id` = 1;";
とすれば、100回繰り返すことと同じことに成るということは承知しております。1回ずつ、処理を行いたいのです。
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
checkベストアンサー
+1
なぜ、100回同じクエリを投げたいのか理由がわかれば、別の回避策があるような気がしますが。
とりあえず複数回アップデートを流す場合の性能向上としてバッチアップデートというのがあります。
性能測定サンプルが以下にありましたので、試してみてはどうでしょうか。
JDBC Batch insert update MySQL Oracle
昔は、MySQLはJDBC内でforループするだけだったので、効果期待できないとあったのですが、
どうやらサポートされたのかもしれない。
動作確認したわけでないので、ダメもとでやってみたらよいかと。
あ、あと最初に書きましたが100回同じクエリー流す意図がわかれば、違う回避策あるかもしれません。
＝＝＝
追記
実はある人がブラウザのあるページにアクセスすると、（リロードしなくても）5秒に1回このSQLが自動で動くようなページを作っています。
もし、これが100人が同時にこのページにアクセス中だとおおよそ0.05秒に1回このSQLが動くということになります。
この更新に耐えうる方法を期待しています。
その要件だとSQLが動かなくなる条件がないように思えますので、最終的にとんでもない数の更新になるのでは？
まぁ、その話は置いといて・・・
この場合だと、メモリ上に同期されたカウンタだけ用意して、定期的に１回アップデートで十分かなぁ。
カウンタの更新はDBより負荷が低いので余裕だと思います。
ロードバランシングしても、それぞれがカウンタを管理すればいけるかと
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
+1
質問が単純にUPDATE文の性能を上げるという事なら、環境の性能上げるしかないんじゃないでしょうか。
どのような環境なのかも記述されておりませんので、具体的な話での回答にはなりませんが、仮想環境ならCPUコアの割り当てとかメモリの割り当てを増してみるとか。
それから、書き込みが高速なストレージに変更するとかネットワーク機器の見直しとか。
ここまで書きましたが、先にチューニングすべきは、そのUPDATEを含む一覧処理のチューニングだと思いますけどね。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
0
LAST_INSERT_ID を使ってみては？あまり改善できないかもしれませんが。
用途がわかると AUTO_INCREMENT で良いのでは？などと適切な回答が付き易いのでは？
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう！
- ただいまの回答率 87.59%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
質問への追記・修正、ベストアンサー選択の依頼
yoorwm
2019/04/09 12:20
普通は、column_name = column_name + 1で済むものなので、そんなFor文使うなんて方法は使わないですが、具体的なSQL文を提示してみてください。
m.ts10806
2019/04/09 12:25
>速度的には1秒あたり25件の処理が可能です。
目標はいかほどでしょうか。
HisashiSakamoto
2019/04/09 12:39
UPDATE `DB`.`table_1` SET `remaining_count_charge` = `remaining_count_charge` - 1, `total_count` = `total_count` + 1 WHERE `id` = 1;";
という形です。
1回ずつ繰り返す必要がありまして、
UPDATE `DB`.`table_1` SET `remaining_count_charge` = `remaining_count_charge` - 100, `total_count` = `total_count` + 100 WHERE `id` = 1;";
とはしたくないのです。
目標ですね…。
1秒あたり100件になればありがたいと思いますが、いかがでしょうか？
sazi
2019/04/09 13:32 編集
その１件の性能はどうやって計っているんですか？
１件毎処理したいなら、前後の処理もあると推測します。
例えば、トランザクションの制御はどうなっているかも性能には影響すると思うのですが、そういった類は関係ないと判断済みですか？
cateye
2019/04/10 00:01
サーバとの回線速度が、ボトルネックになっているという事はないですか？
HisashiSakamoto
2019/04/10 23:36
トランザクションに関しては、MySQLは特別なようですね。
少し調べてみます。
HisashiSakamoto
2019/04/10 23:39
サーバとの回線速度に関しては、
・TomcatサーバからリモートDBサーバにUpdate文を送る場合は、1件あたり0.041秒
・TomcatサーバとDBサーバが同じマシンの場合で、Update文を送る場合は1件あたり0.018秒
となりました。2倍速度が改善されたので、少し参考にしようと思います。
HisashiSakamoto
2019/04/10 23:43
＞その１件の性能はどうやって計っているんですか？
JSP内にFor文でUpdate文をDBサーバに投げる処理を行い、System.currentTimeMillis()で時刻を取得し、その時刻差をFor繰り返し回数で割ってページに表示しています。
asahina1979
2019/04/11 18:43
jsqにゴリゴリコードを書いてるのか、
100回繰り返し出なければいけない理由とは？