SQLに似たような性質(データ型:decimal)の列に条件を置き換えてSQLクエリを回したところ、大幅にパフォーマンスが異なり、困惑しております。
前提・実現したいこと
クエリのパフォーマンスの悪化原因を明らかにし、パフォーマンスの大幅な改善を図りたい。
発生している問題・エラーメッセージ
SQLに似たような性質(データ型:decimal)の列に条件を置き換えてSQLクエリを回したところ、大幅にパフォーマンスが異なり、困惑しております。
DTP_POINTS
Decimal(16,0) null) - NOT ALLLOW NULL
処理時間5分
DTP_POINTS_BASIC
Decimal(18,0)not null) - ALLLOW NULL
処理時間2時間以上
該当のソースコード
2つあります
違いは指定した列の違いになります。指定列が[DTP_POINTS]と [DTP_POINTS_BASIC] だけが以下のコードで異なります。
DTP_POINTS
Decimal(16,0) null) - NOT ALLLOW NULL
処理時間5分
DTP_POINTS_BASIC
Decimal(18,0)not null) - ALLLOW NULL
処理時間2時間以上
**__処理時間5分__**
WITH BASE AS (SELECT [DTP_MEMBER_ID]
FROM
[DWH_PP].[dbo].[DAILY_TRX_PLMS_2018]
WHERE
[DTP_COMPANY] = '001' AND
MONTH([DTP_TRX_DATE]) = '5' AND
YEAR([DTP_TRX_DATE]) = '2018' AND
[DTP_TRANSACTION_CODE] = 'POI')
SELECT
(SELECT COUNT(DISTINCT [DTP_MEMBER_ID]) FROM BASE) AS 'UNIQUE_MEMBER_PREVIOUS_MONTH',
COUNT(DISTINCT BASE2.[DTP_MEMBER_ID]) AS 'UNIQUE_MEMBER_NEXT_MONTH',
SUM(BASE2.[DTP_AMOUNT]) AS 'AMOUNT_AT_FIRST_TRX',
SUM(BASE2.[DTP_POINTS]) AS 'POINT_ISSUE_AT_FIRST_TRX',
SUM(CASE WHEN BASE2.[DTP_AMOUNT] >= 100000 THEN 500 ELSE BASE2.[DTP_POINTS] END) AS 'BONUS_POINT_2X',
SUM(CASE WHEN BASE2.[DTP_AMOUNT] >= 100000 THEN 750 ELSE FLOOR(BASE2.[DTP_POINTS] * 1.5) END) AS 'BONUS_POINT_3X',
SUM(CASE WHEN BASE2.[DTP_AMOUNT] >= 100000 THEN 1000 ELSE FLOOR(BASE2.[DTP_POINTS] * 2) END) AS 'BONUS_POINT_4X',
SUM(CASE WHEN BASE2.[DTP_AMOUNT] >= 100000 THEN 1250 ELSE FLOOR(BASE2.[DTP_POINTS] * 2.5) END) AS 'BONUS_POINT_5X'
FROM (
SELECT
[DTP_MEMBER_ID],
[DTP_AMOUNT],
[DTP_POINTS],
ROW_NUMBER() OVER (PARTITION BY [DTP_MEMBER_ID] ORDER BY [DTP_TRX_DATE] ASC) AS 'TRX_COUNT'
FROM [DWH_PP].[dbo].[DAILY_TRX_PLMS_2018]
WHERE [DTP_COMPANY] = '001' AND
MONTH([DTP_TRX_DATE]) = '6' AND
YEAR([DTP_TRX_DATE]) = '2018' AND
[DTP_TRANSACTION_CODE] = 'POI' AND [DTP_MEMBER_ID] IN
(SELECT [DTP_MEMBER_ID] FROM BASE)) AS BASE2
WHERE TRX_COUNT = 2
**__処理時間2時間以上__**
WITH BASE AS (SELECT [DTP_MEMBER_ID]
FROM
[DWH_PP].[dbo].[DAILY_TRX_PLMS_2018]
WHERE
[DTP_COMPANY] = '001' AND
MONTH([DTP_TRX_DATE]) = '5' AND
YEAR([DTP_TRX_DATE]) = '2018' AND
[DTP_TRANSACTION_CODE] = 'POI')
SELECT
(SELECT COUNT(DISTINCT [DTP_MEMBER_ID]) FROM BASE) AS 'UNIQUE_MEMBER_PREVIOUS_MONTH',
COUNT(DISTINCT BASE2.[DTP_MEMBER_ID]) AS 'UNIQUE_MEMBER_NEXT_MONTH',
SUM(BASE2.[DTP_AMOUNT]) AS 'AMOUNT_AT_FIRST_TRX',
SUM(BASE2.[DTP_POINTS_BASIC]) AS 'POINT_ISSUE_AT_FIRST_TRX',
SUM(CASE WHEN BASE2.[DTP_AMOUNT] >= 100000 THEN 500 ELSE BASE2.[DTP_POINTS_BASIC] END) AS 'BONUS_POINT_2X',
SUM(CASE WHEN BASE2.[DTP_AMOUNT] >= 100000 THEN 750 ELSE FLOOR(BASE2.[DTP_POINTS_BASIC] * 1.5) END) AS 'BONUS_POINT_3X',
SUM(CASE WHEN BASE2.[DTP_AMOUNT] >= 100000 THEN 1000 ELSE FLOOR(BASE2.[DTP_POINTS_BASIC] * 2) END) AS 'BONUS_POINT_4X',
SUM(CASE WHEN BASE2.[DTP_AMOUNT] >= 100000 THEN 1250 ELSE FLOOR(BASE2.[DTP_POINTS_BASIC] * 2.5) END) AS 'BONUS_POINT_5X'
FROM (
SELECT
[DTP_MEMBER_ID],
[DTP_AMOUNT],
[DTP_POINTS_BASIC],
ROW_NUMBER() OVER (PARTITION BY [DTP_MEMBER_ID] ORDER BY [DTP_TRX_DATE] ASC) AS 'TRX_COUNT'
FROM [DWH_PP].[dbo].[DAILY_TRX_PLMS_2018]
WHERE [DTP_COMPANY] = '001' AND
MONTH([DTP_TRX_DATE]) = '6' AND
YEAR([DTP_TRX_DATE]) = '2018' AND
[DTP_TRANSACTION_CODE] = 'POI' AND [DTP_MEMBER_ID] IN
(SELECT [DTP_MEMBER_ID] FROM BASE)) AS BASE2
WHERE TRX_COUNT = 2
試したこと
WHERE条件などで IS NOT NULLなどの条件を記載しましたが、特に変わらず(といいうよりDB内にNULLは存在せず)。
補足情報(FW/ツールのバージョンなど)
MS SQL Server
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
0
追加した条件の項目がインデックスに含まれていないからだと思われます。
実行計画で確認されると良いと思います。
追記
質問に追記があったので。※質問の内容からSQLServerだと推測しますが、DBMSは明記して下さい。
条件を置き換えて
条件は何も変わっていなくて
違いは指定した列の違いになります。指定列が[DTP_POINTS]と [DTP_POINTS_BASIC] だけが以下のコードで異なります。
ここが本当の相違点ですね。
select の項目を変更または追加してレスポンスが悪くなっているという事で、インデックスのみで処理が行われていたものが、追加・変更された項目がインデックスに含まれない為に、実表を参照する必要が発生しているものと思われます。
質問のSQL中でBASE2
部分の実行計画を確認し、使用されているインデックスに[DTP_POINTS_BASIC]を追加するか、新たに[DTP_POINTS]を[DTP_POINTS_BASIC]に置き換えたインデックスを追加すれば、改善されるものと思われます。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
0
SQLとそのSQLを実行するのに必要なテーブルのレコード件数とCREATE TABLE文を質問に追加しては?
同じSQLでもデータベースによって方言が大きいですから、どのデータベースを使うのかを質問のタグで明示したり、バージョンも明記した方が適切なコメントが付き易いです。 SQLの観点から Oracle Database, PostgreSQL, MySQL の特徴を整理しよう!
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう!
- ただいまの回答率 88.10%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
質問への追記・修正、ベストアンサー選択の依頼
hihijiji
2019/05/14 18:22
質問を書いてください。
x_x
2019/05/14 18:22
問題は何でしょうか?
また、データベースの種類(RDBMS)を書いてください
Ry22434
2019/05/14 18:27
すいません。最初に何も書かず、間違って投稿してしまいました。