質問編集履歴

2 td-agent.confの内容 sonic883 score 6 2018/12/11 15:48 投稿

ElasticSearch+Kibanaで0時を超えるとデータ収集が止まる

ElasticsearchとKibana6.1.1をCentOS7で動かし、Syslogで送られてきたログを読み込ませて可視化させています。

12/7-12/9　23：59までは動いていましたが、12/10　0:00以降のログがElasticSearch上に取り込まれていません。

Curl http://localhost:9200の結果

{

"name" : "L4Lz3U_",

"cluster_name" : "elasticsearch",

"cluster_uuid" : "mdxQ5guUQPmaPQbirY8Xmw",

"version" : {

"number" : "6.1.1",

"build_hash" : "bd92e7f",

"build_date" : "2017-12-17T20:23:25.338Z",

"build_snapshot" : false,

"lucene_version" : "7.1.0",

"minimum_wire_compatibility_version" : "5.6.0",

"minimum_index_compatibility_version" : "5.0.0"

"tagline" : "You Know, for Search"

}

メモリヒープのサイズを2GBに変更しましたが変化なし。

Curl http://localhost9200/_cat/health?v&ts=0%27の結果は以下の通りでした。

{"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Failed to parse value [0'] as only [true] or [false] are allowed."}],"type":"illegal_argument_exception","reason":"Failed to parse value [0'] as only [true] or [false] are allowed."},"status":400}

また、/var/log/elasticsearch/elasticsearch.logには、該当する時間の記録は特にありませんでした。

/var/log/messageもElasticsearch関連の内容はありません。

皆目見当がつかないので、ここをチェックするべき…など情報をいただけますでしょうか。

以下、2018/12/11 13:00追記

このページ　https://qiita.com/Kotatsu/items/1675231f857aaeec26d4　を参考にして、

mail_access-201812というindexを、sendmailのmaillogをもとにkibana上で作成しています。

curl http://localhost:9200/mail_access-201812/_mappingの結果は以下の通りです。

```json

{"mail_access-201812":

　{"mappings":

　　{"mail_log":

　　　{"properties":

　　　　{"@timestamp":{"type":"date"},

　　　　"address":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},

　　　　"date":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},

　　　　"host":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},

　　　　"key":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},

　　　　"message":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},

　　　　"process":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}}

　　　　}

```

2018/12/11 15:46追記

一つ抜けておりました。rsyslogで転送されたmaillogは、td-agentでelasticsearchへ投げるようになっています。

td-agent.confの内容は

```

type tail

path /var/log/monitor/maillog

tag mail_log

pos_file /var/log/td-agent/mailmanmail_log.pos

format /^(?<date>[^ ]* [^ ]* [^ ]*) (?<time>[^ ]+) (?<host>[^ ]+) (?<process>[^:]+): (?<message>((?<key>[^ :]+)[ :])? ?((to|from)=<(?<address>[^>]+)>)?.*)$/

time_format %H:%M:%S

</source>

```

です。

Elasticsearch

230 questions

Elasticsearchは、クラウド向けに構築された、RESTful な API を提供する分散型のサーチエンジンアプリケーションです。

Kibana

45 questions

Kibanaとは、ElasticSearchをバックエンドとする、データを可視化するGUIツールです。

1 indexのmapping追記しました sonic883 score 6 2018/12/11 13:17 投稿