質問編集履歴

2 td-agent.confの内容

sonic883

sonic883 score 6

2018/12/11 15:48  投稿

ElasticSearch+Kibanaで0時を超えるとデータ収集が止まる
ElasticsearchとKibana6.1.1をCentOS7で動かし、Syslogで送られてきたログを読み込ませて可視化させています。
12/7-12/9 23:59までは動いていましたが、12/10 0:00以降のログがElasticSearch上に取り込まれていません。
Curl http://localhost:9200の結果
{
 "name" : "L4Lz3U_",
 "cluster_name" : "elasticsearch",
 "cluster_uuid" : "mdxQ5guUQPmaPQbirY8Xmw",
 "version" : {
   "number" : "6.1.1",
   "build_hash" : "bd92e7f",
   "build_date" : "2017-12-17T20:23:25.338Z",
   "build_snapshot" : false,
   "lucene_version" : "7.1.0",
   "minimum_wire_compatibility_version" : "5.6.0",
   "minimum_index_compatibility_version" : "5.0.0"
 },
 "tagline" : "You Know, for Search"
}
メモリヒープのサイズを2GBに変更しましたが変化なし。
Curl http://localhost9200/_cat/health?v&ts=0%27の結果は以下の通りでした。
{"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Failed to parse value [0'] as only [true] or [false] are allowed."}],"type":"illegal_argument_exception","reason":"Failed to parse value [0'] as only [true] or [false] are allowed."},"status":400}
また、/var/log/elasticsearch/elasticsearch.logには、該当する時間の記録は特にありませんでした。
/var/log/messageもElasticsearch関連の内容はありません。
皆目見当がつかないので、ここをチェックするべき…など情報をいただけますでしょうか。
以下、2018/12/11 13:00追記
このページ https://qiita.com/Kotatsu/items/1675231f857aaeec26d4 を参考にして、
mail_access-201812というindexを、sendmailのmaillogをもとにkibana上で作成しています。
curl http://localhost:9200/mail_access-201812/_mappingの結果は以下の通りです。
```json
{"mail_access-201812":
 {"mappings":
  {"mail_log":
   {"properties":
    {"@timestamp":{"type":"date"},
    "address":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},
    "date":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},
    "host":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},
    "key":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},
    "message":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},
    "process":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}}
    }
   }
  }
 }
}
```
```
2018/12/11 15:46追記
一つ抜けておりました。rsyslogで転送されたmaillogは、td-agentでelasticsearchへ投げるようになっています。
td-agent.confの内容は
```
<source>
type tail
path /var/log/monitor/maillog
tag mail_log
pos_file /var/log/td-agent/mailmanmail_log.pos
format /^(?<date>[^ ]* [^ ]* [^ ]*) (?<time>[^ ]+) (?<host>[^ ]+) (?<process>[^:]+): (?<message>((?<key>[^ :]+)[ :])? ?((to|from)=<(?<address>[^>]+)>)?.*)$/
time_format %H:%M:%S
</source>
```
です。
  • Elasticsearch

    230 questions

    Elasticsearchは、クラウド向けに構築された、RESTful な API を提供する分散型のサーチエンジンアプリケーションです。

  • Kibana

    45 questions

    Kibanaとは、ElasticSearchをバックエンドとする、データを可視化するGUIツールです。

1 indexのmapping追記しました

sonic883

sonic883 score 6

2018/12/11 13:17  投稿

ElasticSearch+Kibanaで0時を超えるとデータ収集が止まる
ElasticsearchとKibana6.1.1をCentOS7で動かし、Syslogで送られてきたログを読み込ませて可視化させています。
12/7-12/9 23:59までは動いていましたが、12/10 0:00以降のログがElasticSearch上に取り込まれていません。
Curl http://localhost:9200の結果
{
 "name" : "L4Lz3U_",
 "cluster_name" : "elasticsearch",
 "cluster_uuid" : "mdxQ5guUQPmaPQbirY8Xmw",
 "version" : {
   "number" : "6.1.1",
   "build_hash" : "bd92e7f",
   "build_date" : "2017-12-17T20:23:25.338Z",
   "build_snapshot" : false,
   "lucene_version" : "7.1.0",
   "minimum_wire_compatibility_version" : "5.6.0",
   "minimum_index_compatibility_version" : "5.0.0"
 },
 "tagline" : "You Know, for Search"
}
メモリヒープのサイズを2GBに変更しましたが変化なし。
Curl http://localhost9200/_cat/health?v&ts=0%27の結果は以下の通りでした。
{"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Failed to parse value [0'] as only [true] or [false] are allowed."}],"type":"illegal_argument_exception","reason":"Failed to parse value [0'] as only [true] or [false] are allowed."},"status":400}
また、/var/log/elasticsearch/elasticsearch.logには、該当する時間の記録は特にありませんでした。
/var/log/messageもElasticsearch関連の内容はありません。
皆目見当がつかないので、ここをチェックするべき…など情報をいただけますでしょうか。
皆目見当がつかないので、ここをチェックするべき…など情報をいただけますでしょうか。
以下、2018/12/11 13:00追記
このページ https://qiita.com/Kotatsu/items/1675231f857aaeec26d4 を参考にして、
mail_access-201812というindexを、sendmailのmaillogをもとにkibana上で作成しています。
curl http://localhost:9200/mail_access-201812/_mappingの結果は以下の通りです。
```json
{"mail_access-201812":
 {"mappings":
  {"mail_log":
   {"properties":
    {"@timestamp":{"type":"date"},
    "address":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},
    "date":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},
    "host":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},
    "key":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},
    "message":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},
    "process":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}}
    }
   }
  }
 }
}
```
  • Elasticsearch

    230 questions

    Elasticsearchは、クラウド向けに構築された、RESTful な API を提供する分散型のサーチエンジンアプリケーションです。

  • Kibana

    45 questions

    Kibanaとは、ElasticSearchをバックエンドとする、データを可視化するGUIツールです。

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る