ElasticsearchとKibana6.1.1をCentOS7で動かし、Syslogで送られてきたログを読み込ませて可視化させています。
12/7-12/9 23:59までは動いていましたが、12/10 0:00以降のログがElasticSearch上に取り込まれていません。
Curl http://localhost:9200の結果
{
"name" : "L4Lz3U_",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "mdxQ5guUQPmaPQbirY8Xmw",
"version" : {
"number" : "6.1.1",
"build_hash" : "bd92e7f",
"build_date" : "2017-12-17T20:23:25.338Z",
"build_snapshot" : false,
"lucene_version" : "7.1.0",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
メモリヒープのサイズを2GBに変更しましたが変化なし。
Curl http://localhost9200/_cat/health?v&ts=0%27の結果は以下の通りでした。
{"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Failed to parse value [0'] as only [true] or [false] are allowed."}],"type":"illegal_argument_exception","reason":"Failed to parse value [0'] as only [true] or [false] are allowed."},"status":400}
また、/var/log/elasticsearch/elasticsearch.logには、該当する時間の記録は特にありませんでした。
/var/log/messageもElasticsearch関連の内容はありません。
皆目見当がつかないので、ここをチェックするべき…など情報をいただけますでしょうか。
以下、2018/12/11 13:00追記
このページ https://qiita.com/Kotatsu/items/1675231f857aaeec26d4 を参考にして、
mail_access-201812というindexを、sendmailのmaillogをもとにkibana上で作成しています。
curl http://localhost:9200/mail_access-201812/_mappingの結果は以下の通りです。
json
1{"mail_access-201812": 2 {"mappings": 3 {"mail_log": 4 {"properties": 5 {"@timestamp":{"type":"date"}, 6 "address":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}}, 7 "date":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}}, 8 "host":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}}, 9 "key":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}}, 10 "message":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}}, 11 "process":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}} 12 } 13 } 14 } 15 } 16}
2018/12/11 15:46追記
一つ抜けておりました。rsyslogで転送されたmaillogは、td-agentでelasticsearchへ投げるようになっています。
td-agent.confの内容は
<source> type tail path /var/log/monitor/maillog tag mail_log pos_file /var/log/td-agent/mailmanmail_log.pos format /^(?<date>[^ ]* [^ ]* [^ ]*) (?<time>[^ ]+) (?<host>[^ ]+) (?<process>[^:]+): (?<message>((?<key>[^ :]+)[ :])? ?((to|from)=<(?<address>[^>]+)>)?.*)$/ time_format %H:%M:%S </source>
です。
あなたの回答
tips
プレビュー