MySQLによるページ読込速度の遅延について

Question

ページのアクセス時にforeachでデータベースへの登録を行いたいのですが、件数が多く読み込み速度が遅くなってしまいます。

実際のものとは違うのですが簡潔に書くと以下のようなプログラムです。

データベースにデータがなければ追加するというような処理で、多いときは500件を超えます。

foreach($rows as $row){
	$SQL = 'INSERT INTO test (ipaddr, port) SELECT "192.168.100.100", 6379 FROM test WHERE NOT EXISTS (SELECT * FROM test WHERE ipaddr = "192.168.100.100" AND port = 6379) LIMIT 1;';
	$wpdb -> get_results($SQL);
}

SQLは;（セミコロン）で区切られるので、実行したいプログラムを変数にループですべて代入してから最後にget_resultsを実行と書いたらエラーとなってしまいました。

$SQL = '';
foreach($rows as $row){
	$SQL .= 'INSERT INTO test (ipaddr, port) SELECT "192.168.100.100", 6379 FROM test WHERE NOT EXISTS (SELECT * FROM test WHERE ipaddr = "192.168.100.100" AND port = 6379) LIMIT 1;';
}
$wpdb -> get_results($SQL);

ページの表示完了までに10秒を超えることもあり何か対策をしたいのですが、どうすればよろしいでしょうか？

環境・バージョンは以下のとおりです。

WordPress 5.1
PHP：7.0.33
MySQL：5.7.25

回答よろしくお願い致します。

Answer 1

遅くなる要素が色々ありますね。

1. exists句は遅くなるのでなるべくin句の方が良い
2. データレコード出力に*は極力使わない
3. データレコードに識別子のシングルクォート''がついていない
4. テーブル名に``の識別子がついていない
5. testテーブルにインデックスを付与していないかも？
6. 同じテーブルを副問合せする場合は表別名を付与すべし

特に4が盲点ですが甘く見てはいけません。なぜならこれを付けないとmysqlはどれがテーブルなのかすぐ見分けられないので動作が遅くなるとドキュメントに書かれています。

自分も15000件ほどのレコードを副問合せで検索させた場合、10分ぐらいかかるという同じような問題に直面したことがあり、このような処理を施すことによって5秒かからないぐらいに改善されたことがあります。

Comments

[退会済みユーザー]

pkはそのものがindexですよ

[退会済みユーザー]

シングルクォートは文字列をあらわす。
バッククォートは構造体をあらわす

[FKM]

指摘の箇所、修正しました。

Answer 2

WEBサーバのスペックや、既存のレコード数次第でもありますが、
最初にtestテーブルをselectしておいて、メモリ上で重複チェックを行い、
INSERTするレコードのみをforeachで回すというのはいかがでしょうか。
INSERT文もselect使わずvaluesで値を直設定します。
さらにバルクインサートにすれば、より早くなると思います。

しかしながらSQL以外で負荷もかかっている可能性もあるので、
実際にSQL処理する箇所だけ切り抜いて他にボトルネックが無いか調査
しておいたほうがいいいかもしれません。

Answer 3

500件程度で10秒とか掛かるなんて、(ipaddr, port)でのインデックスが無いのでは？

インデックスがあって遅いなら取り敢えずはSQLの発行回数を抑えてみるとか。
(ipaddr, port)がユニークならportとかダミー項目を追加して更新とかじゃ、駄目ですかね。
13.2.5.3 INSERT ... ON DUPLICATE KEY UPDATE 構文

INSERT INTO test (ipaddr, port) valuse 
 ('192.168.100.100', 6379) 
,('XXX.XXX.XXX.XXX', 1234) 
,('YYY.YYY.YYY.YYY', 5678) 
ON DUPLICATE KEY UPDATE port=values(port)

asahina1979さんの指摘でのIGNORE使用版です。

INSERT IGNORE INTO test (ipaddr, port) valuse 
 ('192.168.100.100', 6379) 
,('XXX.XXX.XXX.XXX', 1234) 
,('YYY.YYY.YYY.YYY', 5678) 

IGNORE を指定すると、無効な値はもっとも近い値に調整されて挿入されます。
警告は生成されますが、ステートメントは中止されません。
mysql_info() C API 関数を使用すると、テーブルに実際に挿入された行数を確認できます。

但し、エラー制約などは丸められる場合があるので注意は必要です。

Comments

[m.ts10806]

じつはhtmlが超複雑とか処理本体より表示する情報の状態とか量のほうが問題とか良くある話ですね

[退会済みユーザー]

これの場合、
insert into ignore構文なきがしないでもない

[sazi]

@asahina1979さん
全くもってその通りですね。
追加しておきます。

[sazi]

@mts10806さん
確かに、どこが遅いのか確認されたのかどうかは不明ですね。
SQL単独でどの程度時間が掛かるのか検証した方が良い案件だと思います。

[FKM]

副問合せ部分のselect文だけでどのぐらい時間かかるかベンチマークとった方が良さそうですね。

Answer 4

そういうときはバルクインサートですかね。

Comments

[m.ts10806]

ページ読み込みだけというのならAjaxなどで非同期、バックグラウンド実行させるのもありですが、サーバーへの負荷も考えるとバルクインサートのほうが有用です。