Fluentdでファイルアップロード後の元ファイル削除

概要

毎日0:00にアプリケーションのログファイル（下記コードの/var/log/staging.log）をS3にアップロードし、正常にアップロード完了後に元ファイルを削除する、といった処理を行いたいです。ファイル削除の理由は、サーバ容量圧迫のためです。愚直にcronでファイル削除のスクリプトを走らせるという手もあると思いますが、可能な限りfluentdのみで完結したいと思っております。良い方法ご存知でしたら、ご教示お願いいたします。

該当のソースコード

fluentd.conf
1
2<source>
3  @type tail
4  path /var/log/staging.log
5  pos_file /var/log/staging.log.pos
6  tag app.access
7  <parse>
8    @type none
9  </parse>
10</source>
11
12<match app.access>
13  @type s3
14  aws_key_id xxxxxxxxx
15  aws_sec_key xxxxxxxxx
16  s3_bucket bucket_name
17  s3_region ap-northeast-1
18  path stg/%Y%m/
19  <buffer time>
20    @type file
21    path /fluentd/log/buffer/app
22    timekey 24h
23    timekey_wait 0
24    timekey_zone Asia/Tokyo
25  </buffer>
26</match>
27

行動規範の内容に同意します

回答1件

ベストアンサー

fluentdのみで行うというのはあまり現実的じゃないです。
ログ一般の話ですが、ログの肥大化を防ぐためにはlogrotateを使いましょう。
ログのローテーションを適切に管理するのはfluentdを使っていてもいなくても必要です。
送信直後にではないですが容量ごと、またはある程度決まった時間ごとにログを分割して何世代か保持し、古い世代のログは消えていくように設定できます。

一応、fluentdのドキュメントにもlogrotateについて記載があります。(fluentdでnocreateオプションを使とうまくいかなくなるから気をつけてね、ぐらいでしょうかね）

ただ、24時間に１回しか処理しないのであればそもそもfluentdを使わずにcronの定期処理でシェルスクリプトを走らせる、でも十分なような気がします。
fluentdのいいところはリアルタイムに近い形でログを送信できることで、記載のやり方だとあまりfluentdを使う必要がない気がするのですが、逐次で送っていない理由はなにかあるのでしょうか？

投稿2020/02/20 02:15