[MySQL]大量データのフリーワード検索を高速に行いたい

Question

お世話になります。

php・MySQL（5.6）を使用してWEBアプリケーションを作成しております。
現在、フリーワード検索を実装中なのですが、高速にデータを検索することができず困っております。
皆様のお知恵をお貸し下さい。

要件は、「1秒以内に約100万件のデータに対してフリーワード検索を行い、取得結果をソートして表示する」です。
この要件を満たす為に、下記のような検索用テーブルを作成しました。

---

id | point1 | point2 | freeword

PRIMARYKEY -- id
INDEX -- point1, point2 (複合index)
FULL TEXT INDEX -- freeword

エンジン MyISAM

LIKE句を使用した場合、速度がでないと聞きましたのでfull_text_searchを採用しました。
freewordには、『名前』をBIGRAM、UNIGRAM化したものを入れています。

このテーブルに対して、下記のようなSQL文を流しています。
SELECT SQL_CALC_FOUND_ROWS
id
FROM table
WHERE
MATCH(freeword ) AGAINST('+"あい" +"いう"' IN BOOLEAN MODE)
ORDER BY
point1 DESC
,point2 DESC

EXPLAINの結果をみつつ、自己結合してみたりサブクエリを流してみたりチューニングを試みておりますが、どうしても取得結果をORDER BYすることによるソート処理で時間がかかっているようです。

FULL TEXT INDEXとINDEXの2つのINDEXを効かせることで高速に検索できるようになりませんでしょうか。

分かる方がいらっしゃいましたらご回答をお願いいたします。

Answer 1

MySQLなどのDBでは限界があると思います。
DBで100万件処理するときは必ずパフォーマンスが問題なる。と考えるようにしています。

例えば、1件1ミリセック（0.001秒）で処理したとしても、
100万件処理するなら1,000秒（16分）かかることになります。（ありえないですね）

Like検索などは、特に遅くなるのでDBは利用しません。

フリーワード検索が必須ならば、Solrなどを検討してみてはいかがでしょうか？

Comments

[shunshun]

ご回答ありがとうございました。

今回は自己解決に至りましたが、
次回同じような状況に陥った場合は、Solrやmroongaなどのエンジンの導入も検討したいと思います。
ありがとうございました。

Answer 2

自己解決しましたので、解決に至った経緯について報告します。

エンジンをInnoDBに変更した以外、環境やテーブルの設定に関しては変えておりません。
当方の環境下では、
FULL TEXT INDEXは、結果レコードが多い場合は（20万件以上）検索結果の取得に時間がかかり、結果レコードが少ない場合は1秒未満でかえってくるような状態でした。
また、FULL TEXT INDEXのはったカラムにLIKE句を使用して検索した場合（検索時のキーワードはNgram化したもの）、その逆の結果が得られました。（結果レコードの多いものに関してははやいが少ないものに関しては遅い）

そこで、検索結果が多くなると考えられる検索キーワードはLIKE句のクエリを発行し、
逆に検索結果が少なくなると考えられる検索キーワードにはFULL TEXT INDEXの検索方法を用いました。