質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.47%

  • Elasticsearch

    108questions

    Elasticsearchは、クラウド向けに構築された、RESTful な API を提供する分散型のサーチエンジンアプリケーションです。

  • Fluentd

    44questions

    Fluentdは、オープンソースのログ収集ツールです。ログの収集方法、ログの記録先などのログデータ処理を柔軟にカスタマイズでき、インプットおよびアウトプットが全てプラグインとして実装されています。

fluentd(td-agent)でelasticsearchへデータを投入したい。

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 576

EzrealTrueshot

score 373

 やりたいこと

fluent(td-agent)でelasticsearchへデータを投入したい。

 やったこと

時刻                                        タグ(fluentの)        値
2017-08-02T09:29:37+09:00       oioi    {"host":"oreore"}
2017-08-02T09:29:37+09:00       oioi    {"host":"oreore"}
2017-08-02T09:29:46+09:00       oioi    {"host":"oreore"}
2017-08-02T09:29:46+09:00       oioi    {"host":"oreore"}


という形でデータが入ってきているので(fluentのstdoutで確認)

<match oioi>
  @type elasticsearch
  host 192.168.1.100
  port 9200
  user elastic
  password *****
  index_name oioi
  logstash_format true
  logstash_prefix oioi
</match>


こういう形で設定したのですが、elasticsearchにデータが入ってきません。

どこに問題があるかお分かりの方いらっしゃいましたらご教授いただけませんでしょうか?
足りない情報等ございましたら追記させて頂きます。

環境
CentOS 7.2
elasticsearch (elasticsearch-5.4.3-1.noarch)
td-agent (td-agent-2.3.5-1.el7.x86_64)

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • over

    2017/08/02 10:13

    「oioi」とタグをつけている前段の処理(恐らくインプット処理 <source>?)ではどのようにデータを取り込んでいるのでしょうか?また、Elasticsearchは同一のサーバですか?別サーバですか?

    キャンセル

  • EzrealTrueshot

    2017/08/02 10:45

    回答ありがとうございます!① [oioiとタグ付け] => nginx + lua の lua 部分のでつけております。②[同一サーバーかどうか] => 違います。AとBというサーバーがあり、Aにはnginx+luaが動いており、Bにはfluentd + elasticsearchが動いております。

    キャンセル

回答 1

checkベストアンサー

+1

詳細を確認させてください。

そもそも方式が不明なのですが、以下何れの方式でしょうか?
1) Aサーバ fluentd → Bサーバ fluentd → Bサーバ ElasticSearch
2) Aサーバ fluentd → Bサーバ ElasticSearch

1)だった場合、

という形でデータが入ってきているので

とありますが、これはAサーバで確認できたのでしょうか?
それともBサーバで確認できたのでしょうか?

(fluentのstdoutで確認)

上記は、挙げてもらっているコードを以下に変更して確認できたということでしょうか?

<match oioi>
  type stdout
</match>

nginx + lua の lua 部分のでつけております。

こちらが不明なのですが、fluentd以外でタグ付けしたものがfluentdで処理されるとは考えにくいのですが・・・
何かドキュメント参照しての設定ですか?

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/08/02 11:42

    はい、こちらのqiitaを参照しました。http://qiita.com/sfujiwara/items/f8b5e004abff0c7c36aa
    <match oioi>
    type stdout
    </match>
    できちんと td-agent.logに出力されているので、タグ付けは問題ないかと思うのですが、これが原因なんでしょうかね。

    キャンセル

  • 2017/08/02 11:44

    Aサーバー(nginx + lua ) → Bサーバー(fluentd) → Bサーバー(elasticsearch)です。

    キャンセル

  • 2017/08/02 11:47

    何度もすいません。教えてください。
    > td-agent.logに出力されているので、タグ付けは問題ないかと思うのですが

    上記はBサーバ fluentdで確認できたということで良いでしょうか?

    キャンセル

  • 2017/08/02 12:01

    失念しておりました。申し訳ございません。はい。その通りでございます。Bサーバー fluentdで確認できました。 type file path /tmp/hoge と記載しても書き込みされました。

    キャンセル

  • 2017/08/02 12:11

    承知しました。
    では、Bサーバ fulentd → ElasticSearch が正常に動いていないとの理解で宜しいですね?

    まず、Bサーバ fluentd stdoutで取得できたデータ形式はJSON形式となっていますか?

    キャンセル

  • 2017/08/02 12:13

    上記補足で
    > Bサーバ fluentd stdoutで取得できたデータ形式はJSON形式となっていますか?

    timeも含まれた状態で JSON形式となっていますか?

    キャンセル

  • 2017/08/02 12:21

    そのまま貼り付けさせて頂きます。

    2017-08-02 12:20:55.000000000 +0900 oioi: {"host":"oreore"}
    2017-08-02 12:20:55.000000000 +0900 oioi: {"host":"oreore"}

    /var/log/td-agent/td-agent.logに上記のように出力されております。

    キャンセル

  • 2017/08/02 13:36

    データ問題ないようですね。
    根拠薄いですが、elasticsearch のhost個所をlocalhostに変更して試してもらえますか?

    キャンセル

  • 2017/08/03 16:01

    解決致しました。
    ご回答ありがとうございました!
    localhostに変更してもダメでした。
    数百行あったfluentdのconfigの中を
    <match oioi>
    @type elasticsearch


    </match>
    1つだけにしたところうまく値がはいってくるようになりました。
    (何かと競合していたのでしょうか・・・)
    お手数おかけしてしまい、申し訳ございませんでした。
    ありがとうございました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.47%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Elasticsearch

    108questions

    Elasticsearchは、クラウド向けに構築された、RESTful な API を提供する分散型のサーチエンジンアプリケーションです。

  • Fluentd

    44questions

    Fluentdは、オープンソースのログ収集ツールです。ログの収集方法、ログの記録先などのログデータ処理を柔軟にカスタマイズでき、インプットおよびアウトプットが全てプラグインとして実装されています。