IN句に重複したデータを入れるとコストは変わるのか

Question

MySQLのクエリのスロークエリの調査をしている中でIN句の中に重複したデータを突っ込んでいるクエリを発見しました。

クエリは以下のような感じです

SELECT id, age, status
FROM user
WHERE name IN ("a", "b", "a", "c", "b", "a", "d", "e", "d",...);

重複の度合いとしては、IN句の中には約11万件入っており、重複を省くと1.6万件くらいになります。(およそ85%が重複)

ここできになるのが、重複を除いた状態でIN句に入れてあげることによってクエリの速度は改善するのかというところです。
MySQLがよしなに検索前に重複を省いていて、その重複を省くコストがそんなに大したことがないって落ちだとトータルの時間はそんなに変わらないなんてオチだと嫌だなと思い相談させていただきました。

現状、50秒というとんでもない時間がかかっているのですが、この重複を無くしてやることで早くなりますか？？

MySqlは5.7を使っています。

Answer 1

inの効率の悪さはよく論じられていますからねぇ多分効率化できるでしょう。
テンポラリテーブルにユニークデータとして流し込んで
joinなり、existsなりで処理すると圧倒的に速くなると思います

Comments

[退会済みユーザー]

なるほど！
IN句ではなく、tmpテーブルにIN句のデータ突っ込んでJOINさせるってやり方はなんとなく早そうですね。

[退会済みユーザー]

すみません！お気づきになったら教えて欲しいのですが、テンポラリテーブルってもしクラスターを組んでいる場合、レプリケーションってされるのでしょうか？

[yambejp]

テンポラリをレプリケーションする？ってどういう状況でしょう？
テンポラリはセッションが終了すると自動で削除されると思いますが・・・

[退会済みユーザー]

なるほど。。。
http://download.nust.na/pub6/mysql/doc/refman/5.1/ja/replication-features-temptables.html
ここを確認した感じだとRBRでのレプリケーションだと複製はされないようなことが書いてあったので、他のパターンだとレプリケーションされるのかと思ったのですが、ちょっと私の理解不足でした。

Answer 2

直接の回答にはなりませんが、SQL の性能向上を目指すのであれば、まずは EXPLAIN を使ってみてください。
IN の重複も関係あるかもしれませんが、インデックスをはってみて試す方が期待できそうな気がします。

Comments

[退会済みユーザー]

実行計画は確認したのですが、インデックスは使われており、typeもrangeなのでインデックスフルスキャンは走ってないです。