レスポンスを小さくしたい

ES で数千件のデータの１つのフィールドを取得したいのですが
レコード１つに対してほしいのは _source の中の数バイトなのに

`{"_index"=>"", "_type"=>"", "_id"=>"", "_score"=>0.0, "_source":""}

こういうデータがついてくるためレスポンスサイズが数倍になってしまい
took はミリ秒程度なのに実際にレスポンスをうけとるのに数十秒かかってしまいます

余計なデータを除去する方法
あるいはレスポンスサイズをなるべく小さくする方法はないでしょうか

行動規範の内容に同意します

回答1件

ベストアンサー

Response Filteringを使うと、必要なフィールドだけ返すことができます。
https://www.elastic.co/guide/en/elasticsearch/reference/current/common-options.html#common-options-response-filtering

必要な_source以下の項目だけを指定しておけば、metaデータのfieldも返らなくなります。

使用例

POST metricbeat-6.6.0/_search?filter_path=hits.hits._source.host.os.name
{
  "query": {
    "match_all": {}
  }
}

返される結果例

json
1{
2  "hits" : {
3    "hits" : [
4      {
5        "_source" : {
6          "host" : {
7            "os" : {
8              "name" : "Windows 8.1 Pro"
9            }
10          }
11        }
12      },
13      {

また、jsonの｛や”の記号部分すらも削りたい、ということであれば、SQL queryでフォーマットをCSVに指定するなどが考えられそうです。

https://www.elastic.co/products/stack/elasticsearch-sql

POST _xpack/sql?format=csv
{
  "query": "SELECT host.os.name FROM \"metricbeat-6.6.0\" LIMIT 10" 
  
}

とすると、こうなります。

csv
1host.os.name
2Windows 8.1 Pro
3Windows 8.1 Pro
4Windows 8.1 Pro
5Windows 8.1 Pro
6Windows 8.1 Pro
7Windows 8.1 Pro
8Windows 8.1 Pro
9Windows 8.1 Pro
10Windows 8.1 Pro
11Windows 8.1 Pro