ElasticSearchのリクエストパラメータによるアクセスがうまくいかない

Question

お世話になっております。今回はlaravelプロジェクトに置いてElasticsearchを導入しようとしています。
ElasticSearchに関しては完全に初心者です。

下の記事を参考にLaravel上で動くか実験中です。

【Laravel】Laravel Scout + Elasticsearchを使った全文検索の実装方法

環境

• Laradock
• PHP 7.2
• laravel 5.7.2
• ElasticSearch 6.6
• mysql 5.5

立ち上げているドッカーコンテナ

• nginx
• php-fpm
• elasticsearch
• mysql

状況

上記の記事と異なる点として、Dockerのworkspaceからlaravelを扱っている所がありエラー部分がいくつか出ましたが、Host名を調整することで動いています。
また、ElasticSearchEngineの部分でflushメソッドがないというエラーが出た為、下の空メソッドを追加して動かしています。

   public function flush($models){}

データも正常に入り、記事の'登録済みのデータを取得する'のところで下のコマンドを実行すると記事と同様にデータが出力される状態です。

登録済みのデータを取得する

// 全取得
$ curl -H "Content-Type:application/json" -X GET elasticsearch:9200/scout/_search -d '{"query":{"match_all":{}}}'

// 検索
$ curl -H "Content-Type:application/json" -X GET "elasticsearch:9200/scout/_search" -d {\"query\":{\"match\":{\"id\":3}}}

問題

記事の'リクエストパラメータを使って検索してみる'を行おうとしたところデータが一つもブラウザ上に表示されず困っています。

リクエストパラメータを使って検索してみる

Route::get('/post/search', function () {
    return App\Models\Post::search(\request('q'))->paginate();
});

http://localhost/post/search?q=1などクエリを入れてアクセスしても以下のようにdataが入らない状態です。

# 整形してあります
{
    "current_page": 1,
    "data": [],
    "first_page_url": "http://localhost/post/search?query=&page=1",
    "from": null,
    "last_page": 1,
    "last_page_url": "http://localhost/post/search?query=&page=1",
    "next_page_url": null,
    "path": "http://localhost/post/search",
    "per_page": 15,
    "prev_page_url": null,
    "to": null,
    "total": 0
}

curlでは正常に検索も行えていますが、laravelを使って表示が上手くいきません。どこが問題かも検討が付かず困っています。ご教授よろしくお願い致します。

追記

** ElasticSearcEngin **

/**
     * Perform the given search on the engine.
     *
     * @param  \Laravel\Scout\Builder $builder
     * @return mixed
     */
    public function search(Builder $builder)
    {
        return $this->performSearch($builder, array_filter([
            'filters' => $this->filters($builder),
            'limit'   => $builder->limit,
        ]));
    }

/**
     * @param \Laravel\Scout\Builder $builder
     * @param array $options
     * @return array|mixed
     */
    protected function performSearch(Builder $builder, $options = [])
    {
        $params = [
            'index' => $this->index,
            'type'  => $builder->index ?: $builder->model->searchableAs(),
            'body'  => [
                'query' => [
                    'bool' => [
                        'must' => [
                            'term' => [
                                'title' => "{$builder->query}",
                            ]
                        ],
                    ],
                ],
            ]
        ];

        if ($sort = $this->sort($builder)) {
            $params['body']['sort'] = $sort;
        }

        if (isset($options['filters']) && count($options['filters'])) {
            $params['body']['query']['bool']['filter'] = $options['filters'];
        }

        if ($builder->callback) {
            return call_user_func(
                $builder->callback,
                $this->elastic,
                $builder->query,
                $params
            );
        }

        return $this->elastic->search($params);
    }

Comments

[退会済みユーザー]

まずは記事とすべてバージョンを合わせて試してください。

Answer 1

performSearch部分のクエリを

        $params = [
            'index' => $this->index,
            'type' => $builder->index ?: $builder->model->searchableAs(),
            'body' => [
                'query' => [
                    'bool' => [
                        'must' => [
                            [
                                'query_string' => [
                                    'query' => "{$builder->query}"
                                ]
                            ]
                        ]
                    ]
                ]
            ]
        ];

こんな感じにするとtitle以外も検索対象になるはずです

Comments

[zushi0905]

理想通りの動きになりました！本当に助かりました。ありがとうございます！

Answer 2

自分も同じ記事を参考に少し触った程度なのであっているかわかりませんが・・・

①カスタムエンジンのperformSearch部分のクエリが正しいか
②DB自体にデータが入っているのか（記事はsqliteでしたが自分はMysqlにデータをいれてました）

を確認されたらいいのかなと

Comments

[zushi0905]

回答ありがとうございます！

DBのデータは正常に入っています。カスタムエンジンのクエリが正しいかとの事ですが、記事のものをそのままコピペさせて頂いています。このままだと動かないのでしょうか？

質問にソースを追加致しました。ざっとコードを読んで見ましたが、どのように動いているかチンプンカンプンです。どの部分を直せば良いかご教授願いたいです。

[sola-msr]

自分もわかってわかってないので的確な回答ができませんがご了承を

カスタムエンジンは参考記事のままならおそらく大丈夫です
（日本語での検索挙動がおかしいので、ちゃんと対応するとなるとKuromoji（日本語形態素解析エンジン）なるものをさらに導入する必要があるみたいです）
DBはtinker等などでデータを登録＆確認できるじょうたいですか？
なんとなくelasticsearchに登録したデータしか確認できてないのかなと思ったので・・・

[zushi0905]

一人で悩んでも1日経つだけだったので有り難いです！

日本語でならKuromojiが必要になるのですね！
今回はfakerを使ってサンプルデータを作っているので英語しか使っていないのでKuromojiが直接関わってくる感じではないですよね....

tinkerから登録も確認もできる状態になっています。ブラウザからアクセスする時のqに何を入れてもデータが帰ってこないという所が謎なんですよね。

[zushi0905]

お世話になっております。動かなかった理由が判明しました！

しょうもない事で申し訳ないのですが、検索の時大文字を使えないっぽいです。ずっと大文字入りの単語で検索していました。また、全てのカラムで検索が適応されるものだと思っており、数字などでも検索していました。

solaさんに指摘頂いたpeformSearchの中身をみてtitleカラムにしか適応されていないことを理解し、検索に再チャレンジして見た所、全て小文字の単語の検索の時引っかかりました！

お手数をお掛けして申し訳ありませんでした。ありがとうございます。

[sola-msr]

あーなるほどです
そこのクエリをいじるとtitle以外も検索対象になるはずです
自分は

```
$params = [
'index' => $this->index,
'type' => $builder->index ?: $builder->model->searchableAs(),
'body' => [
'query' => [
'bool' => [
'must' => [
[
'query_string' => [
'query' => "{$builder->query}"
]
]
]
]
]
]
];
```
こんな感じに実装しました

Answer 3

検索の時に大文字入りの検索ワードは引っかからないようです。

'Alias in DDD'のような文があったとき、クエリーとして引っかかるものは'alias','in','ddd'のようです。

modelのsearchへ飛ばす前に小文字に変換する処理を書くことで大文字入りでも検索できるようにしました。

Route::get('/post/search', function () {

    $query = mb_strtolower(\request('q'));

    return App\Models\Post::search($query)->paginate();
});

いまだに数字の検索はうまくいっておりません。ここからはESの分野だと思うのでもう少し探ってみようと思います。