質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.37%
Fluentd

Fluentdは、オープンソースのログ収集ツールです。ログの収集方法、ログの記録先などのログデータ処理を柔軟にカスタマイズでき、インプットおよびアウトプットが全てプラグインとして実装されています。

Q&A

解決済

1回答

6243閲覧

fluentd 最新版で type forest の書き方

退会済みユーザー

退会済みユーザー

総合スコア0

Fluentd

Fluentdは、オープンソースのログ収集ツールです。ログの収集方法、ログの記録先などのログデータ処理を柔軟にカスタマイズでき、インプットおよびアウトプットが全てプラグインとして実装されています。

0グッド

0クリップ

投稿2019/07/11 04:54

編集2019/07/11 04:58

td-agent 0.12.40 から最新の 1.3.3 にアップデートしたいです

apache log を S3 に飛ばすプラグインがあって forest という type が使われているのですが

https://qiita.com/pman-taichi/items/24d05f40c8d292e6698c

この記事を参考に

td-agent-gem install fluent-plugin-forest --no-rdoc --no-ri

を実行したところ

ERROR: Could not find a valid gem 'fluent-plugin-forest' (>= 0), here is why: Unable to download data from https://rubygems.org/ - timed out (https://api.rubygems.org/specs.4.8.gz)
となってインストールできません

http://innossh.hatenablog.com/entry/2018/02/28/211535
この記事によると 0.14 では forest が必要なくなったらしく
内容もほぼ同じだったので真似して以下のようにかいてみたのですが

<match api.**> @type s3 @id api_match <instance_profile_credentials> </instance_profile_credentials> s3_bucket api.serverlog.staging s3_region ap-northeast-1 check_apikey_on_start false path server_logs/%Y/%m/%d/${hostname}/${tag}/ s3_object_key_format %{path}%{time_slice}_%{index}.%{file_extension} time_slice_format %Y-%m-%d-%H <buffer tag,time> @type file path /var/log/td-agent/${tag} timekey 3600 timekey_wait 10m timekey_use_utc true # flush_interval 10m retry_wait 10s retry_limit 3 buffer_chunk_limit 16m </buffer> </match>

起動ログに
2019-07-11 04:31:11 +0000 [warn]: section <buffer> is not used in <match api.**> 2019-07-11 04:31:11 +0000 [warn]: section <buffer> is not used in <match api.**>
というのがでてしまいます
(2回でるのもよくわかりません)

そもそも forest というジェムが何をしているかもよくわかってないのですが
どのようにかけば最新バージョンで同様の処理が実現できるのでしょうか

補足:

そのサイトにない設定が

@id api_match check_apikey_on_start false # flush_interval 10m retry_wait 10s retry_limit 3 buffer_chunk_limit 16m

の部分でとりあえずおなじものをかいたら
flush_interval のところだけ
'flush_interval' is ignored because default 'flush_mode' is not 'interval': 'lazy'
という [warn] がでたのでコメントアウトしました

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

retry_wait 10s retry_limit 3 buffer_chunk_limit 16m

この3つを消したところ warn がでなくなりました
1つずつ消したところ警告も1つずつ少なくなりました

<buffer> 内すべてが使われないわけではなく
の一部の行が使われないという警告なのでしょうか

https://docs.fluentd.org/how-to-guides/apache-to-s3
によるとどうも設定名が変わってる?みたいで

timekey_wait 10 retry_max_times 3 chunk_limit_size 16m

こんな感じにかえてみたところうまく動くようになりました

投稿2019/07/11 07:30

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.37%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問