SQLite で LEFT JOIN でタイムアウト（30秒）になってしまう

Question

Aテーブル 1万データ
Bテーブル 1万データ

それぞれ文字列（実態は数値ですが文字列型）が格納されています。
下記のSQLを投げると毎回タイムアウトが発生してしまいます。

非効率な呼び出し方をしてしまっているのではないかと思うのですが、
どのようなにすればよろしいでしょうか。

お知恵をお貸しください。

SELECT tableA.id as target_id FROM tableA LEFT JOIN tableB ON tableA.id = tableB.id WHERE tableB.id IS NULL

Answer 1

ローカルとサーバーでの環境の違いを考えると答えは出ると思います。

pkでなければindexまわりを疑います。

変わらなければ、EXISTS句にしてみるとかですかね。

Comments

[退会済みユーザー]

pkというのは主キーのことですね。
もしかしたら設定しなかったかもしれません。
exists句は知りませんでした。試してみます。

Answer 2

最近、SQLiteで2000件✕2000件のデータをLEFT JOINする機会がありました。
その時は、処理時間が10分してもタイムアウトは発生しませんでした。
ちなみに、言語はC#です。

ちょっと調べてみたのですが、PHP.iniの設定が悪そうです。
PHPをやったことが無いので、間違えているかもしれませんが
PHP.iniの「max_execution_time」を修正するとタイムアウトを回避できるようです

Comments

[退会済みユーザー]

10000x10000　だともっと時間がかかりそうですね。
ただ、ローカルサーバー上で実施すると 0.1sec ぐらいで終わってしまうんです。
全く同じコードを同じデータなのに30秒以上かかってしまうのはサーバーの設定が影響しているのでしょうか。

max_execution_time は私が管理するサーバーではないため変更できない状況なんです。

[redhat98]

>ただ、ローカルサーバー上で実施すると 0.1sec ぐらいで終わってしまうんです。

データの件数は、1万✕1万で行っていますか？
DBはデータ件数で、かなり処理速度(10倍とか)が違います。

OracleやSQL Serverでも1万✕1万は、時間がかかります。
データが1万件なのでインデックスを使ったところで、そこまで速くなるとは思えないです。
なので、SQLiteでサーバとローカルで何かが違うと思います(たぶん)

max_execution_timeが変更出来ないようであれば、試しにオンメモリでSQLiteを動かしてみてはどうでしょうか？
30秒以内に処理を終わらせるのは難しいと思いますが、とりあえず処理速度は向上すると思います。