MySQLとPHP：高速検索するアイデアをください

Question

文章の中に特定の単語が含まれていないかを確認するWebアプリを作っています。

よろしくお願いいたします。

Answer 1

全文検索ならElasticsearchをおすすめします

追記：
いい記事を見つけましたのでご紹介します
Elasticsearchを用いた日本語検索システムの理論と設定

Answer 2

例えば日本語全文検索に特化したエンジンを MySQL に組み込んで使う Mroonga なんてソリューションもあります。

Answer 3

私は業務でMroongaを使ったことがあります。
普段MySQLを使っているなら、検討してみると良いと思います。結構手軽に使えるので。

ただし、Mroongaはデータの更新がバッティングすると結構な確率でインデックスが壊れるので、DB設計はしっかりやったほうが良いです。（テーブル定義の話ではなく、更新、参照のタイミングを要検討する。）

Answer 4

思いつきです。
想定されているケースが、$textよりも$tangoが多いので、$textを1文字で区切って分割し、分割された1文字から始まる$tangoを絞り込み、ヒットした$tangoで$text内をチェックするのが良いかと思いました。
説明するのが難しいですが・・・
以下の流れでしょうか。

1.対象の文字列を1文字で分割する
今回であれば、「今日田中くんと会いました」を配列等で「今 日 田 中 く ん と 会 い ま し た」と1文字で分割します。
分割して配列に入れると使い易そうと思いましたが、マルチバイトは面倒なのですね。
↓の方のを参考に分割する。
http://tricky-code.net/mine/php/mphp02.php

配列入れたものを、ついでにarray_unique等の関数で重複を除きます。

2.それぞれの文字列を$tangoに対して検索します。
適当にSQLのイメージですが、
select * from tango where tango_text like '今%' or tango_text like '日%' or tango_text like '田%' or ・・・(延々と続く)

3.上記でヒットしたワードに対し、$textでチェックする。

とすると、流れ的にも効率が良いのではと、思いました。

試しにニュースサイトの本文を1文字で分割した場合、800文字程度になりました。
単語でチェックするよりは良いかもしれませんと感覚的に思いました。(実際にやってみないと分かりませが)

Comments

[Razumerians]

ありがとうございます。

Answer 5

検索対象の文章に対して大量のワードの部分一致検索ですか。
（禁止ワード検索とかでいろんなところで実績ありそうな気はします。）

回答でなくてすみません。私も興味あります。
SQLで以下のような感じで出来ればいいのですが、出来なさそうな気がします。

select '私の名前は山田中です。' As sentence , word from wordList where sentence like CONCAT('%', wordList.word, '%');

とか

select word from wordList;

山田
田中
中村

select '私の名前は山田中です。' As sentence, wordList.word As foundword from dual
inner join wordList on sentence like CONCAT('%', wordList.word, '%');

sentence, foundword
'私の名前は山田中です。', 山田
'私の名前は山田中です。', 田中

Answer 6

高速化が重要なら全文検索にするか、分かち書きした上でキーワードを登録するかのどちらかでしょう

Comments

[Razumerians]

>高速化が重要なら全文検索にするか
MySQL内で含有チェックさせる、みたいなイメージですか？

>分かち書きした上でキーワードを登録する
なるほど、ただどうして分かち書きすると高速化に繋がるのかいまいち掴めてないです

ありがとうございます！

[yambejp]

分かち書きすると、単語と完全一致検索ができます。
（全文検索も基本的には分かち書きの技術）

RDBは原則インデックスを利用して高速な検索をするため
完全一致するものは高速に検索することが可能です。
一部一致検索する場合、前方一致や後方一致などであればある程度
インデックスが聞きますが、前方後方一致=あいまい検索は往々にして
インデックスが聞きませんので、力技での検索となりスピードが遅くなります

[yambejp]

聞く＝効くですね

[Razumerians]

ご丁寧にありがとうございます！