MySQL全文検索における「単語多すぎ問題」について

Question

実現したいこと

MySQL全文検索において、IN BOOLEAN MODE で長文の検索を実現したいです。

MySQL のメッセージ

どうやら単語が多すぎだとのエラーのようです。

#191 - Too many words in a FTS phrase or proximity search

該当のソースコード

こちらのCREATE、INSERTに対する問題です。（『吾輩は猫である』の一節を拝借しました。）

CREATE TABLE my_sentences (
	ID       BIGINT(20)   UNSIGNED NOT NULL AUTO_INCREMENT,
	sentence VARCHAR(500) NOT NULL,
	PRIMARY KEY (ID),
	FULLTEXT full_my_sentences (sentence) WITH PARSER ngram);

INSERT INTO my_sentences ( sentence )
VALUES
	("その王様の所へ一人の女が本を九冊持って来て買ってくれないかと云ったんだそうですなるほど王様がいくらなら売るといって聞いたら大変な高い事を云うんですってあまり高いもんだから少し負けないかと云うとその女がいきなり九冊の内の三冊を火にくべて焚やいてしまったそうです惜しい事をしましたなその本の内には予言か何かほかで見られない事が書いてあるんですってへえー");

以下SELECTで上記のエラーとなります。

SELECT *
FROM my_sentences sentences
WHERE MATCH (sentences.sentence) AGAINST ('その王様の所へ一人の女が本を九冊持って来て買ってくれないかと云ったんだそうですなるほど王様がいくらなら売るといって聞いたら大変な高い事を云うんですってあまり高いもんだから少し負けないかと云うとその女がいきなり九冊の内の三冊を火にくべて焚やいてしまったそうです惜しい事をしましたなその本の内には予言か何かほかで見られない事が書いてあるんですってへえー' IN BOOLEAN MODE);

試したこと

「Too many words？」と不思議に思いつつ、「単語の区切りを分かりやすくしてみたらどうだろう」と以下のようにカッコを入れてみたところエラーなく実現できました。

SELECT *
FROM my_sentences sentences
WHERE MATCH (sentences.sentence) AGAINST ('「その王様の所へ一人の女が本を九冊持って来て買ってくれないかと云ったんだそうです」「なるほど」「王様がいくらなら売るといって聞いたら大変な高い事を云うんですって、あまり高いもんだから少し負けないかと云うとその女がいきなり九冊の内の三冊を火にくべて焚（や）いてしまったそうです」「惜しい事をしましたな」「その本の内には予言か何かほかで見られない事が書いてあるんですって」「へえー」' IN BOOLEAN MODE);

しかしこのような適切なカッコなく検索できるようにしたいのです。（ユーザーはどこに適切なカッコを置けばいいのか分からないためです。）

どうすればこのようなエラーを回避できるでしょうか。
よろしくお願い致します。

MySQLバージョン

MySQL 5.7 になります。

Answer 1

実際の用途でそんな長文で検索することがあるのでしょうか？

「です」などで区切っては？

全文検索は万能ではありません。Google検索より見劣りします。
マニュアルを見直しては？

Comments

[nikuatsu]

ございます。

「です」があるとも限らないので…。形態素解析入れるのがいいでしょうか。

マニュアルありがとうございます。

Answer 2

全文検索の守備範囲ではないということです
長文の一致をするなら普通にlikeやregexpでやればいいでしょう

Comments

[nikuatsu]

ありがとうございます。ある程度のあいまいさを持たせたいのですが、何か良い方法ございませんでしょうか。

[yambejp]

＞ ある程度のあいまいさ

ある程度の程度がわかりません
適当に分かち書きしてはどうですか？

[nikuatsu]

失礼しました。IN BOOLEAN MODE程度のあいまいさです。

分かち書きというと、１０文字ずつスペースを入れて AGAINST で扱う、みたいな意味ですか？

そうだとして、いつ分かち書きすべきかで悩んでしまいそうです。質問のようにカッコがないときは１０文字ずつスペースを入れて、カッコがあるときは入れないとするか、それとも全てにスペースを入れる方がわかりやすいでしょうか。

yambejp様ならどうするかを、ぜひ具体的に教えていただきたいです。

[yambejp]

> yambejp様ならどうするか

私なら全文検索ではない方式でやりますね

[nikuatsu]

IN BOOLEAN MODE程度のあいまいさを全文検索でなく実装する方法というのを知らないのですが、具体的にどんなものですか？

もし仰る LIKE ならば「あいうえお」を検索するとき、

sentence LIKE %あい% OR
sentence LIKE %いう% OR
sentence LIKE %うえ% OR
sentence LIKE %えお%　

のようなことですか？（でもインデックスが効かないからこうではないですよね？）

[yambejp]

短い文字なら全文検索の方が有利ですね
あいうえおくらいなら全文検索で十分でしょう。
冗長な文書をヒットさせるのは現実的ではないということをお伝えしたつもりだったんですが・・・

[nikuatsu]

あいうえおの例を出したのがまずかったでしょうか。あくまで質問にある文が対象なのでそのケースでの対処方法をお聞きしたいです。

そこで改めてですが、IN BOOLEAN MODE程度のあいまいさを全文検索でなく実装する方法というのを知らないのですが、具体的にどんなものですか？

質問にある文をどのように…？全文検索ではない方式というのが気になります。よろしければ具体的に教えていただけませんか？

[yambejp]

最初に書いた通り「長文の一致をするなら普通にlikeやregexp」では回答になっていませんか？
インデックスが効かないのは仕方ないでしょう
全文検索は言葉が単語単位である英語圏での実装ですから
擬似的に分割処理をしてキーワードをヒットさせること自体が高負荷なんです。
あえてやるならキーワード登録でしょう。

[nikuatsu]

そうですね、ご回答としては残念ながら…。

なぜなら質問は「一致」でなく「あいまい検索」だからです。
LIKEではある語を確定させねばなりません。

例えば「あいうえお」について「%いうえ%」なら検索できますが、「%いくえ%」ではできませんよね。（言うまでもありませんがここも「あいうえお」でなく「質問の長文」で捉えてください。）