MySQL あいまい検索について

やりたいこと

インポートするデータがすでにデータベースに格納されているデータと重複していないかチェックしたい

実装方法

$text_tmp = mb_substr($text, 0, 40);
$article_text_count = $this->Article->find()
                        ->where(['text like "%'.$text_tmp.'%"'])->count();

発生している課題

すでにデータが30万件ほど格納されているため、インポートするデータをひとつひとつチェックすると
サーバーへの負荷がすごいことになる。

・Like以外で良い方法がないか
・PHPで行った方がよいか

等あればご教授願いたいです。

追加情報

▼ バージョン
php 7.0
mysql 5.7
cakephp 3.4

行動規範の内容に同意します

回答3件

ベストアンサー

ワークテーブルを用意して、そこに全てのデータを取り込む。
INSERT ... SELECT ... FROM ワークテーブル WHERE で副問合せを使ってターゲットのテーブルに存在しないデータのみを対象にする。

投稿2019/11/15 07:48

Orlofsky

総合スコア16415

dameo

2019/11/15 08:19

どうせインポートするならこの方式が一番いいと思います。事前の確認も出来るし、ロールバックも出来るし、総合的な負荷が一番小さいと思う。

行動規範の内容に同意します

あいまい検索ではじくのは現実的ではないでしょう。
完全一致ならユニーク属性つけてしまうだけです

投稿2019/11/15 07:40

yambejp

総合スコア114814

aiko_1122

2019/11/15 07:43

ありがとうございます！データとしては被る場合があっても良いため、ユニークではダメなんです... なのであくまであいまい検索を行いたいです。

yambejp

2019/11/15 07:45 編集

> データとしては被る場合があっても良いため、ユニークではダメなんです. おなじデータは登録できてあいまいだとはじくという状況がわかりません具体的な登録できるできないのサンプルをお願いします

aiko_1122

2019/11/15 07:48

あいまいで検索した結果、重複していると判断された場合は「重複」というフラグを立ててデータを格納します。完全一致だろうがあいまいだろうがデータは必ず登録します。そのため、あいまい検索をする必要があるということです。わかりづらく大変申し訳ありません。

yambejp

2019/11/15 07:57

前方一致、後方一致のどちらかのあいまい検索までが限界で一部一致のあいまい検索をするかぎり絶対に効率的な処理は無理です（インデックスが効きません）あとはしつこいようですが、サンプルがないといつまでたって噛み合わないと思います

yambejp

2019/11/15 08:11 編集

考え方：abcというデータがすでにあるとき、 (1)bというデータを入れようとすると「曖昧重複」する (2)xabcyというデータを投入は問題なくできるしかしxabcyに対してabcは曖昧類似状態 ※入力時にあいまいを弾いても、フラグ処理に無関係で曖昧データは発生する

行動規範の内容に同意します

LIKEと仰っているので部分一致を検知したい場合は駄目ですが、DBのカラムにUnique制約つけてしまうのが早いです。
文字列長さが長い場合は重複チェックしたいカラムのhash値を持つカラムを用意して、そちらにUnique制約をつけてしまうのもありです。
いずれにせよ論理削除している場合使えないですが。

投稿2019/11/15 07:38