質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.59%

MySQLによるページ読込速度の遅延について

解決済

回答 4

投稿

  • 評価
  • クリップ 0
  • VIEW 1,330

score 13

ページのアクセス時にforeachでデータベースへの登録を行いたいのですが、件数が多く読み込み速度が遅くなってしまいます。

実際のものとは違うのですが簡潔に書くと以下のようなプログラムです。

データベースにデータがなければ追加するというような処理で、多いときは500件を超えます。

foreach($rows as $row){
    $SQL = 'INSERT INTO test (ipaddr, port) SELECT "192.168.100.100", 6379 FROM test WHERE NOT EXISTS (SELECT * FROM test WHERE ipaddr = "192.168.100.100" AND port = 6379) LIMIT 1;';
    $wpdb -> get_results($SQL);
}

SQLは;(セミコロン)で区切られるので、実行したいプログラムを変数にループですべて代入してから最後にget_resultsを実行と書いたらエラーとなってしまいました。

$SQL = '';
foreach($rows as $row){
    $SQL .= 'INSERT INTO test (ipaddr, port) SELECT "192.168.100.100", 6379 FROM test WHERE NOT EXISTS (SELECT * FROM test WHERE ipaddr = "192.168.100.100" AND port = 6379) LIMIT 1;';
}
$wpdb -> get_results($SQL);

ページの表示完了までに10秒を超えることもあり何か対策をしたいのですが、どうすればよろしいでしょうか?

環境・バージョンは以下のとおりです。

WordPress 5.1
PHP:7.0.33
MySQL:5.7.25

回答よろしくお願い致します。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 4

+2

遅くなる要素が色々ありますね。

  1. exists句は遅くなるのでなるべくin句の方が良い
  2. データレコード出力に*は極力使わない
  3. データレコードに識別子のシングルクォート''がついていない
  4. テーブル名に``の識別子がついていない
  5. testテーブルにインデックスを付与していないかも?
  6. 同じテーブルを副問合せする場合は表別名を付与すべし

特に4が盲点ですが甘く見てはいけません。なぜならこれを付けないとmysqlはどれがテーブルなのかすぐ見分けられないので動作が遅くなるとドキュメントに書かれています。

自分も15000件ほどのレコードを副問合せで検索させた場合、10分ぐらいかかるという同じような問題に直面したことがあり、このような処理を施すことによって5秒かからないぐらいに改善されたことがあります。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/03/11 08:47

    pkはそのものがindexですよ

    キャンセル

  • 2019/03/11 08:51

    シングルクォートは文字列をあらわす。
    バッククォートは構造体をあらわす

    キャンセル

  • 2019/03/11 12:08

    指摘の箇所、修正しました。

    キャンセル

checkベストアンサー

+1

500件程度で10秒とか掛かるなんて、(ipaddr, port)でのインデックスが無いのでは?

インデックスがあって遅いなら取り敢えずはSQLの発行回数を抑えてみるとか。
(ipaddr, port)がユニークならportとかダミー項目を追加して更新とかじゃ、駄目ですかね。
13.2.5.3 INSERT ... ON DUPLICATE KEY UPDATE 構文

INSERT INTO test (ipaddr, port) valuse 
 ('192.168.100.100', 6379) 
,('XXX.XXX.XXX.XXX', 1234) 
,('YYY.YYY.YYY.YYY', 5678) 
ON DUPLICATE KEY UPDATE port=values(port)


asahina1979さんの指摘でのIGNORE使用版です。

INSERT IGNORE INTO test (ipaddr, port) valuse 
 ('192.168.100.100', 6379) 
,('XXX.XXX.XXX.XXX', 1234) 
,('YYY.YYY.YYY.YYY', 5678) 

IGNORE を指定すると、無効な値はもっとも近い値に調整されて挿入されます。
警告は生成されますが、ステートメントは中止されません。
mysql_info() C API 関数を使用すると、テーブルに実際に挿入された行数を確認できます。

但し、エラー制約などは丸められる場合があるので注意は必要です。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/03/11 09:18

    @asahina1979さん
    全くもってその通りですね。
    追加しておきます。

    キャンセル

  • 2019/03/11 09:30

    @mts10806さん
    確かに、どこが遅いのか確認されたのかどうかは不明ですね。
    SQL単独でどの程度時間が掛かるのか検証した方が良い案件だと思います。

    キャンセル

  • 2019/03/11 09:42

    副問合せ部分のselect文だけでどのぐらい時間かかるかベンチマークとった方が良さそうですね。

    キャンセル

+1

そういうときはバルクインサートですかね。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/03/10 22:54

    ページ読み込みだけというのならAjaxなどで非同期、バックグラウンド実行させるのもありですが、サーバーへの負荷も考えるとバルクインサートのほうが有用です。

    キャンセル

+1

WEBサーバのスペックや、既存のレコード数次第でもありますが、
最初にtestテーブルをselectしておいて、メモリ上で重複チェックを行い、
INSERTするレコードのみをforeachで回すというのはいかがでしょうか。
INSERT文もselect使わずvaluesで値を直設定します。
さらにバルクインサートにすれば、より早くなると思います。

しかしながらSQL以外で負荷もかかっている可能性もあるので、
実際にSQL処理する箇所だけ切り抜いて他にボトルネックが無いか調査
しておいたほうがいいいかもしれません。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.59%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る