質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.76%

  • Ruby

    7027questions

    Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

  • Linux

    3472questions

    Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

  • AWS(Amazon Web Services)

    1836questions

    Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

  • Fluentd

    43questions

    Fluentdは、オープンソースのログ収集ツールです。ログの収集方法、ログの記録先などのログデータ処理を柔軟にカスタマイズでき、インプットおよびアウトプットが全てプラグインとして実装されています。

FluentdでForestとS3Pluginを一緒に使うと動かない

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 637
退会済みユーザー

退会済みユーザー

 現象

  • fluentd-0.14.21でfluent-plugin-forestとfluent-plugin-s3を同時に使用すると動かなくなる

 入っているもの一覧

OS AmazonLinux(4.9.58-18.51.amzn1.x86_64)

# td-agent-gem list | grep aws
aws-partitions (1.27.0)
aws-sdk (2.10.45)
aws-sdk-core (3.0.0, 2.10.85)
aws-sdk-ec2 (1.1.0)
aws-sdk-resources (2.10.45)
aws-sigv4 (1.0.2)

td-agent-gem list | grep fluent
fluent-logger (0.7.1)
fluent-mixin-config-placeholders (0.4.0)
fluent-mixin-plaintextformatter (0.2.6)
fluent-plugin-ec2-metadata (0.1.1)
fluent-plugin-file-alternative (0.2.2)
fluent-plugin-forest (0.3.3)
fluent-plugin-kafka (0.6.1)
fluent-plugin-mongo (0.8.1)
fluent-plugin-rewrite-tag-filter (1.5.6)
fluent-plugin-s3 (0.8.5)
fluent-plugin-scribe (0.10.14)
fluent-plugin-tail-ex (0.1.1)
fluent-plugin-td (0.10.29)
fluent-plugin-td-monitoring (0.2.3)
fluent-plugin-webhdfs (0.7.1)
fluentd (0.14.21, 0.12.40)
fluentd-ui (0.4.4)

 発生するログ

2017-11-17 06:08:11 +0000 [error]: #0 failed to configure/start sub output s3: Unable to activate aws-sdk-resources-2.10.45, because aws-sdk-core-3.0.0 conflicts with aws-sdk-core (= 2.10.45)
2017-11-17 06:08:11 +0000 [error]: #0 /opt/td-agent/embedded/lib/ruby/site_ruby/2.1.0/rubygems/specification.rb:2290:in `raise_if_conflicts'
/opt/td-agent/embedded/lib/ruby/site_ruby/2.1.0/rubygems/specification.rb:1410:in `activate'
/opt/td-agent/embedded/lib/ruby/site_ruby/2.1.0/rubygems/specification.rb:1444:in `block in activate_dependencies'
/opt/td-agent/embedded/lib/ruby/site_ruby/2.1.0/rubygems/specification.rb:1430:in `each'
/opt/td-agent/embedded/lib/ruby/site_ruby/2.1.0/rubygems/specification.rb:1430:in `activate_dependencies'
/opt/td-agent/embedded/lib/ruby/site_ruby/2.1.0/rubygems/specification.rb:1412:in `activate'

 導入手順

curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh

td-agent-gem install fluent-plugin-s3
td-agent-gem install fluent-plugin-forest
td-agent-gem install fluent-plugin-tail-ex
td-agent-gem install fluent-plugin-ec2-metadata
td-agent-gem install fluent-plugin-file-alternative

 使用しているコンフィグ(マスク済み)

<source>
        @type tail
        path /var/log/test.log
        tag test
        pos_file /var/log/td-agent/pos/test.log
        format 'none'
</source>
<match test>
        @type ec2_metadata
    output_tag    ${instance_id}
    <record>
        hostname      ${tagset_name}
            instance_id   ${instance_id}
            instance_type ${instance_type}
            az            ${availability_zone}
        vpc_id        ${vpc_id}
    </record>
</match>

<match **>
    type forest
    subtype s3
     <template>
      s3_bucket log-test-bucket
      s3_region ap-northeast-1
       buffer_path /var/log/td-agent/buffer/${tag}
      time_slice_format test/${tag_parts[0]}/${hostname}/%Y/%m/%d/${tag_parts[1..-1]}-%Y-%m-%d-%H
      flush_at_shutdown true
      flush_interval 1s
     </template>
</match>

 試したこと

以下のコマンドを試しました。
(いろんなバージョンをsdk-coreのみでなく、aws-sdkにも入れたり抜いたりしました)

td-agent-gem uninstall aws-sdk-core -v 3.6.0 

 困っていること  

td-agent自体は、/etc/init.d/td-agent startで起動するのですが、いざ、sourceに当てはまるログに書き込みがされると

[error]: #0 Cannot output messages with tag 'fluent.info'


のログが発生してしまいます。
s3pluginを使用しない場合はきちんとoutput_tagも反映されるのですがどうしたら良いでしょうか。

以上、よろしくおねがいいたします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

check解決した方法

0

fluent-plugin-ec2-metadata (0.1.1)をダウングレードすると正常に動きました。
どうやら、0.1.1の依存関係のaws-sdk-coreがs3プラグインと競合するようです。
下記コマンドで入れ替えて解決です。

td-agent-gem uninstall fluent-plugin-ec2-metadata
td-agent-gem install fluent-plugin-ec2-metadata -v 0.1.0

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.76%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Ruby

    7027questions

    Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

  • Linux

    3472questions

    Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

  • AWS(Amazon Web Services)

    1836questions

    Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

  • Fluentd

    43questions

    Fluentdは、オープンソースのログ収集ツールです。ログの収集方法、ログの記録先などのログデータ処理を柔軟にカスタマイズでき、インプットおよびアウトプットが全てプラグインとして実装されています。