【MySQL】DjangoだとSQLの処理時間が遅くなります。

Question

前提

親テーブル
テーブルA　データ数約40万件

子テーブル （テーブルAの外部キーを持つ）
テーブルB 　データ数約70万件
テーブルC 　データ数約23万件

テーブル B と C は共通のカラムを持つ(state, count)など
※カラム名など内容を変えて説明します。クエリ自体は一緒です。

MySQLバージョン : 5.7.37

発生している問題・エラーメッセージ

Djangoの中で下記のクエリを実行すると遅くなります。
↓はAとBの場合でクエリを実行（BをCに置き換えるとなぜか遅くなる）

            SELECT
                B.id, B.state, B.count
            FROM
                table_b AS B
            LEFT JOIN 
                table_a AS A
            ON 
                B.table_a_id = a.id
            WHERE
                B.state = 1
                AND
                A.state = ’99’
            ORDER BY B.state DESC, B.count DESC, a.`year_month` DESC;

処理時間
ローカル　（処理時間が早い）
テーブルAとBの場合、 33108 rows in set (0.51 sec)
テーブルAとCの場合、182503 rows in set (0.54 sec)

Django内で実行　
テーブルAとBの場合、 33108 rows in set (0.948)
テーブルAとCの場合、182503 rows in set (3.859)

join後のレコード数がCの方が多いからか処理時間が4倍ほど差が出ています。

実現したいこと

AとCのクエリを実行した際の処理時間をもっと短くしたいです。
理想は1秒以内です。
それともレコード数にこれほど差があると、これぐらい処理時間がかかるのはしょうがないのでしょうか。

試したこと

①JOINする順番を変更　（処理時間変わらず）

           SELECT
                B.id, B.state, B.count
            FROM
                table_a AS A #AとBを入れ替える
            LEFT JOIN 
                table_b AS B
            ON 
                a.id = B.table_a_id 
            WHERE
                B.state = 1
                AND
                A.state = ’99’
            ORDER BY B.state DESC, B.count DESC, a.`year_month` DESC;

②データを絞ってからjoin　（処理時間変わらず）

         SELECT
              B.id, B.state, B.count
          FROM
              (SELECT id, state, count FROM table_b WHERE state=72) AS B
          JOIN 
               (SELECT id, `year_month` FROM table_a WHERE state = '99') AS A 
          ON 
              B.table_a_id = a.id
          ORDER BY B.state DESC, B.count DESC, a.`year_month` DESC;

とりあえずは、「インデックス操作」「クエリの変更」など、大きな変更を加えなくてもよい範囲でどなたかご教示いただけますでしょうか。
何かご不明点があればお気軽に聞いてください。
よろしくお願いいたします。

Answer 1

データ件数によるメモリ量の問題でしょう。
大量のデータを取得する際に気を付けること

環境を変えずに解決するには、limitを使ってページングするって事ですね。

Comments

[Taka2401]

コメントありがとうがざいます。

＞環境を変えずに解決するには、limitを使ってページングするって事ですね。
こちらは実装のイメージとしては、
{'sql': 'SELECT 'some_model'.xx, .... FROM `some_model` LIMIT 1000', 'time': '0.036'}}
{'sql': 'SELECT 'some_model'.xx, .... FROM `some_model` LIMIT 1000', OFFSET 2000', '0.042'}
のように、1000件ずつなどに区切って取得するということでしょうか。

[sazi]

order by は必須ですね。
当然order by 項目についてのインデックス考慮も必要です。

[Taka2401]

＞order by は必須ですね。
承知しました。

すみません、実装のイメージがまだ掴めていないのですがそもそも
頂いたURLの実装だと、↓のようにSomeModelというmodel一つに対してページングが実装されていますが
paginator = Paginator(SomeModel.objects.all(), 1000)
今回僕が質問に記載したSQL文ではjoinをしていると思うのですが、ページングはできますでしょうか。

[sazi]

Djangoには詳しくありませんので、正解かどうかは分かりませんけど、そのSQLがURLで言うところのモデルに該当していれば良いのだと思います。
結局のところ、展開したSQLが意図通りになっていれば良いだけだと思いますけど。

[Taka2401]

稚拙な質問にも関わらずご回答いただきありがとうございます。
まずは一番手っ取り早いサーバーのスペックで解決できるかアプローチしてみたいと思います。