ElastAlert on elasticsearch

Question

ElastAlertをelasticsearch7.0のアラート用プラグインとして使っているのですが、コンフィグファイルを上手く読み込んでくれないです
timestamp_formatを変える必要がありelastalert/config.yamlを以下の様に設定しているのですが

es_host: ******
es_port: ******

rules_folder: rules

run_every:
  seconds: 5

buffer_time:
  minutes: 1

highlight=send_get_body_as#transport

writeback_index: elastalert_status

alert_time_limit:
  days: 2

timestamp_type: custom
timestamp_format: "%Y-%m-%dT%H:%M:%SZ"

起動すると以下のエラーが出てしまいます。
ElastAlertがtimestamp_formatを読み込んでなさそうなのですがその原因が分かりません。

elastalert_container | 22:57:40.254Z ERROR elastalert-server:
elastalert_container |     ProcessController:  ERROR:root:Error running query: RequestError(400, u'search_phase_execution_exception', u"failed to parse date field [2019-05-12T22:56:40Z] with format [yyyy-MM-dd HH:mm:ss Z]: [Text '2019-05-12T22:56:40Z' could not be parsed at index 10]")

Answer 1

そのプラグインは使ったことがないのでエラーメッセージからの推測になってしまいますが、フォーマットが yyyy-MM-dd HH:mm:ss Z のフィールドに対して2019-05-12T22:56:40Z という文字列で検索をかけようとし、パースに失敗しているように見えます。

よって、timestamp_format: "%Y-%m-%d %H:%M:%S Z"とZの前にスペースを入れることで、ご記載のエラーは解消するのではないかと思います。

Comments

[yakult1995]

回答ありがとうございます。

`timestamp_format: "%Y-%m-%d %H:%M:%S Z"`

と変更したのですが、以下のエラーとなってしまいます。
今回は見た目は完全に一緒なのでどうしたものかと…
```
ProcessController: ERROR:root:Error running query: RequestError(400, u'search_phase_execution_exception', u"failed to parse date field [2019-05-13 01:04:13 Z] with format [yyyy-MM-dd HH:mm:ss Z]: [Text '2019-05-13 01:04:13 Z' could not be parsed at index 20]")
```

[iwamot]

たしかに一緒ですね。引き続き調べてみますが、突き止められなかったらすみません。

[iwamot]

調べたのですが分かりませんでした。可能性として、インデックス済みのドキュメントのタイムスタンプフィールドの値がUTCでなく、「Z」という文字列では検索できない状況もありえるかもしれないと思いました。もしそうだとしたら「timestamp_format_expr」を駆使するのがよいのかもしれません。