fluentd：日ごとにスライスするファイルが9時間ずれる

現象

fluentdで日単位でログをまとめているが、スライス（ローテーション）されたファイルが9:00に作成され、9:00までのログが混じってしまう。

-rw-r--r-- 1 root root  152169 Feb  2 09:00 messages.20190201.log
-rw-r--r-- 1 root root  148755 Feb  3 09:00 messages.20190202.log
-rw-r--r-- 1 root root  155880 Feb  4 08:59 messages.20190203.log

fluentdのバージョンは td-agent 1.2.2
OSは Amazon Linux
localtimeのタイムゾーンは "Asia/Tokyo" を指定しているが、fluentdがlocaltimeをutcと思っていて、勝手にJSTに補正しているような感じがする。
日ごとにログをまとめているので、00:00でスライスされるようにし、ファイル内のログはその日のものだけにしたい。

現在の設定

/etc/td-agent/td-agent.conf

<source>
  @type tail
  format none
  path /var/log/messages
  pos_file /var/log/td-agent/messages.pos
  tag "ss-log.messages"
</source>

<match ss-log.messages.**>
  @type file

  format single_value
  append true
  path /data/system_log/messages.%Y%m%d

  <buffer tag,time>
    @type file
    path /var/tmp/fluent.messages.buffer
    flush_mode interval
    flush_interval 60s
  </buffer>
</match>

試したこと

matchセクションに
timekey_use_utc false
timekey_zone JST-9
などを追加したが改善されず

環境変数「TZ」を追加したが、こちらも改善されず

よろしくお願いします。

行動規範の内容に同意します

回答2件

take88さんからの情報提供で活路が開き、まずは最新バージョンへのアップデートを試みましたが、AmazonLinux1の最新バージョンは、インストールバージョンが最新となっており断念。（AmazonLinux2でないと最新バージョンにはならないとのこと）
情報提供のあったサイトのGitソースから、fluentd/plugin/output.rb を置き換えることで解決しました。

修正ソース
https://github.com/okkez/fluentd/blob/92225ca513dee17d5429fa53ed1df3d670d1579f/lib/fluent/plugin/output.rb

上記ソースから作成したパッチデータ

--- output.rb.org       2018-06-25 17:18:05.000000000 +0900
+++ output.rb   2019-02-05 18:40:15.577140674 +0900
@@ -803,20 +803,17 @@
           if !@chunk_key_time && !@chunk_key_tag
             @buffer.metadata()
           elsif @chunk_key_time && @chunk_key_tag
-            time_int = time.to_i
-            timekey = (time_int - (time_int % @buffer_config.timekey)).to_i
+            timekey = calculate_timekey(time)
             @buffer.metadata(timekey: timekey, tag: tag)
           elsif @chunk_key_time
-            time_int = time.to_i
-            timekey = (time_int - (time_int % @buffer_config.timekey)).to_i
+            timekey = calculate_timekey(time)
             @buffer.metadata(timekey: timekey)
           else
             @buffer.metadata(tag: tag)
           end
         else
           timekey = if @chunk_key_time
-                      time_int = time.to_i
-                      (time_int - (time_int % @buffer_config.timekey)).to_i
+                      calculate_timekey(time)
                     else
                       nil
                     end
@@ -825,6 +822,16 @@
         end
       end
 
+      def calculate_timekey(time)
+        time_int = time.to_i
+        if @buffer_config.timekey_use_utc
+          (time_int - (time_int % @buffer_config.timekey)).to_i
+        else
+          offset = Time.at(time_int).utc_offset
+          (time_int - ((time_int + offset)% @buffer_config.timekey)).to_i
+        end
+      end
+
       def chunk_for_test(tag, time, record)
         require 'fluent/plugin/buffer/memory_chunk'

投稿2019/02/07 07:35

kotekichi

総合スコア17