あいまい検索機能の誤り変換の抽出ツール

Question

あるWebシステムの検索機能にて、あいまい検索機能があるんですが、
以下のように誤った変換をしてしまうことがあります。

※あいまい検索を使用しているWebシステムは私が開発したものでなく外部委託しているものなのでシステム自体の変更は行えません。
そのため、ログファイルから誤っているワードを抽出する処理を調査しています。

ex.検索ワード：顧客情報を取得する
あいまい検索ワード(正常)：顧客 情報 取得
あいまい検索ワード(異常)：顧客 情 報 取

現在は、その誤ったワードを、あいまい検索ログ(Excelファイル)から
目視で確認していき、誤りを発見したらそのワードをユーザー登録辞書に登録するという運用を行っています。
しかし、1000件以上のログ情報を目視で見るのは非効率かつ見落とす可能性が高いのでツール化させたいと考えています。

似たようなことをしたことがある方いらっしゃいましたら、ぜひ情報をいただければと存じます。

なお、開発言語はJavaかVBAで開発しようと考えています。(相手がExcelならVBAの方が妥当？)

私の想定では、DBに名詞マスタテーブルを持たせる、または名詞マスタテキスト等を作成しておき、そのマスタ情報とログのあいまい検索ワード欄を照合して、一致していないワードがあれば抽出するという処理で実現できるかと考えていますが、処理時間が非常に時間かかりそうな気がしており、より良い方法がないかなと思っているところです。

有識者の方々、よろしくお願いいたします。

Answer 1

そのシステムでは与えられた検索語を構文解析し、名詞を抽出したものが曖昧検索語になるのでしょうか。

一口にあいまい検索と言っても、どのような意味で曖昧であるかをしっかり定義しておかなければあいまい検索はできませんし、その精度の評価もできません。
まずは、上で与えられた例がなぜ、正常or異常の例であるのかをしっかり定義する必要があります。

さて、以下は推測で回答致します。
上で与えられた例での正常パターンは検索語を熟語単位まで分割を行っているように思えます。
形態素解析エンジンはweb上でもfreeなものがあった(と思います)ので、まずはそれで試してみるのが良いのではないでしょうか。

Answer 2

意味のある単語に分割するのではなくバイグラムやトライグラムを使ってはどうですか？
検索エンジンとしてLuceneベースのElasticsearchやSolrを使うと類似の事例がたくさんあって調べやすいかと思います。

Comments

[javabigineer]

説明不足で申し訳ありません。
あいまい検索を使用しているWebシステムは私が開発したものでなく外部委託しているものなのでシステム自体の変更は行えません。
そのため、ログファイルから誤っているワードを抽出する処理を調査しています。

[rysh]

そういうことであればやはりバイグラムを使ってはどうですか？
元のキーワード：顧客情報取得
バイグラムをかけた後のキーワード：顧客 客情 情報 報取 取得