fluentd(td-agent)でelasticsearchへデータを投入したい。

Question

やりたいこと

fluent(td-agent)でelasticsearchへデータを投入したい。

やったこと

時刻                                        タグ(fluentの)        値
2017-08-02T09:29:37+09:00       oioi    {"host":"oreore"}
2017-08-02T09:29:37+09:00       oioi    {"host":"oreore"}
2017-08-02T09:29:46+09:00       oioi    {"host":"oreore"}
2017-08-02T09:29:46+09:00       oioi    {"host":"oreore"}

という形でデータが入ってきているので（fluentのstdoutで確認）

<match oioi>
  @type elasticsearch
  host 192.168.1.100
  port 9200
  user elastic
  password *****
  index_name oioi
  logstash_format true
  logstash_prefix oioi
</match>

こういう形で設定したのですが、elasticsearchにデータが入ってきません。

どこに問題があるかお分かりの方いらっしゃいましたらご教授いただけませんでしょうか？
足りない情報等ございましたら追記させて頂きます。

環境
CentOS 7.2
elasticsearch (elasticsearch-5.4.3-1.noarch)
td-agent (td-agent-2.3.5-1.el7.x86_64)

Comments

[over]

「oioi」とタグをつけている前段の処理(恐らくインプット処理 <source>?)ではどのようにデータを取り込んでいるのでしょうか?また、Elasticsearchは同一のサーバですか?別サーバですか?

[EzrealTrueshot]

回答ありがとうございます！① [oioiとタグ付け] => nginx + lua の lua 部分のでつけております。②[同一サーバーかどうか] => 違います。AとBというサーバーがあり、Aにはnginx+luaが動いており、Bにはfluentd + elasticsearchが動いております。

Answer 1

詳細を確認させてください。

そもそも方式が不明なのですが、以下何れの方式でしょうか?

1. Aサーバ fluentd → Bサーバ fluentd → Bサーバ ElasticSearch
2. Aサーバ fluentd → Bサーバ ElasticSearch

1)だった場合、

という形でデータが入ってきているので

とありますが、これはAサーバで確認できたのでしょうか?
それともBサーバで確認できたのでしょうか?

（fluentのstdoutで確認）

上記は、挙げてもらっているコードを以下に変更して確認できたということでしょうか?

<match oioi>
  type stdout
</match>

nginx + lua の lua 部分のでつけております。

こちらが不明なのですが、fluentd以外でタグ付けしたものがfluentdで処理されるとは考えにくいのですが・・・
何かドキュメント参照しての設定ですか?

Comments

[EzrealTrueshot]

はい、こちらのqiitaを参照しました。http://qiita.com/sfujiwara/items/f8b5e004abff0c7c36aa
<match oioi>
type stdout
</match>
できちんと td-agent.logに出力されているので、タグ付けは問題ないかと思うのですが、これが原因なんでしょうかね。

[EzrealTrueshot]

Aサーバー(nginx + lua )　→　Bサーバー(fluentd)　→　Bサーバー(elasticsearch)です。

[over]

何度もすいません。教えてください。
> td-agent.logに出力されているので、タグ付けは問題ないかと思うのですが

上記はBサーバ fluentdで確認できたということで良いでしょうか?

[EzrealTrueshot]

失念しておりました。申し訳ございません。はい。その通りでございます。Bサーバー fluentdで確認できました。 type file path /tmp/hoge と記載しても書き込みされました。

[over]

承知しました。
では、Bサーバ fulentd → ElasticSearch が正常に動いていないとの理解で宜しいですね?

まず、Bサーバ fluentd stdoutで取得できたデータ形式はJSON形式となっていますか?

[over]

上記補足で
> Bサーバ fluentd stdoutで取得できたデータ形式はJSON形式となっていますか?

timeも含まれた状態で JSON形式となっていますか?

[EzrealTrueshot]

そのまま貼り付けさせて頂きます。

2017-08-02 12:20:55.000000000 +0900 oioi: {"host":"oreore"}
2017-08-02 12:20:55.000000000 +0900 oioi: {"host":"oreore"}

/var/log/td-agent/td-agent.logに上記のように出力されております。

[over]

データ問題ないようですね。
根拠薄いですが、elasticsearch のhost個所をlocalhostに変更して試してもらえますか?

[EzrealTrueshot]

解決致しました。
ご回答ありがとうございました！
localhostに変更してもダメでした。
数百行あったfluentdのconfigの中を
<match oioi>
@type elasticsearch
・
・
</match>
１つだけにしたところうまく値がはいってくるようになりました。
（何かと競合していたのでしょうか・・・）
お手数おかけしてしまい、申し訳ございませんでした。
ありがとうございました。