質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.01%

fluentdにて一つのログを複数ファイルに出力する方法

受付中

回答 0

投稿

  • 評価
  • クリップ 0
  • VIEW 2,439

turubee

score 8

 実現したいこと

集約側のfluentdにてfowardされたログを条件によって複数のログファイルに出力したいと思っています。

要件としては以下の通りです。

  1. 全てのログはsample.logとして出力
  2. loggerレコードが"jp.sample.*"と一致する場合、1.と合わせて以下のログも出力
    2-1. level(ログレベル)がERRORの場合はsample-error.logにも出力
    2-2. level(ログレベル)がWARN以下はsample-app.logにも出力

fluentdは初心者なのですが、上記要件を満たすために便利なプログインなどはありますでしょうか?
rewrite_tag_filterやcopy、forestを利用して設定しているのですが、もっと簡単に書けるものがあるのではと思いご質問させて頂きました。
よろしくお願いします。

 現在の設定

<source>
  type forward
  port 24224
  bind 0.0.0.0
</source>

# rewrite pattern of logger (jp.sample or not)
# tag: forward.{hostname}.app
<match forward.*.app>
  type rewrite_tag_filter
  rewriterule1 logger ^jp.sample.* rewrited.${tag_parts[1]}.app.sample
  rewriterule2 logger .* rewrited.${tag_parts[1]}.app.other
</match>

# rewrite pattern of log level (error or not)
# tag: rewrited.{hostname}.app.sample
<match rewrited.*.app.sample>
  type rewrite_tag_filter
  rewriterule1 level ^ERROR$ rewrited.${tag_parts[1]}.app.sample.error
  rewriterule2 level .* rewrited.${tag_parts[1]}.app.sample.app
</match>

# Output plain log
# tag: rewrited.{hostname}.app.{package}.{pattern}
<match rewrited.*.app.**>
  type copy
  <store>
    type forest
    subtype file
    <template>
      format single_value
      path /var/aggregate/${tag_parts[1]}/sample
      time_slice_format %Y%m%d
      append true
      buffer_type file
      buffer_path /var/tmp/td-agent/file_${tag}*.buffer
      flush_interval 1s
    </template>
  </store>
  <store>
    type record_reformer
    tag rewrited2.${tag_parts[1]}.app.${tag_parts[3]}.${tag_parts[4]}
  </store>
</match>

# Output sample error pattern
# tag: rewrited2.{hostname}.app.sample.error
<match rewrited2.*.app.sample.error>
  type forest
  subtype file
  <template>
    format single_value
    path /var/aggregagte/${tag_parts[1]}/sample-error
    time_slice_format %Y%m%d
    append true
    buffer_type file
    buffer_path /var/tmp/td-agent/file_${tag}*.buffer
    flush_interval 1s
  </template>
</match>

#  Output sample other patterns
# tag: rewrite2.{hostname}.app.sample.{pattern}
<match rewrited2.*.app.sample.*>
  subtype file
  type forest
  <template>
    format single_value
    path /var/aggregate/${tag_parts[1]}/sample-${tag_parts[4]}
    time_slice_format %Y%m%d
    append true
    buffer_type file
    buffer_path /var/tmp/td-agent/file_${tag}*.buffer
    flush_interval 1s
  </template>
</match>
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

まだ回答がついていません

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.01%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる