pythonのloggerのファイルローテーションについて

Question

実現したいこと

logをファイルで日付ごとに分けて保存したい。
ファイル名は「app_20230101.log」のようにし、日付が更新されると、「app_20230102.log」を新しく作成して書き込んでいくような感じ。

該当のソースコード

import os
from pathlib import Path
from datetime import datetime
import logging
from logging import Formatter, handlers, getLogger, Handler
import inspect

from rich.logging import RichHandler

class Logger:
    """
    ログを管理するためのクラスです。

    Attributes
    ----------
    log_level : str
        ログレベル ('DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL')。デフォルトは 'INFO'。
    save_log_dir : str
        ログファイルを保存するディレクトリのパス。デフォルトは 'logs/console'。

    Methods
    -------
    debug(msg: str) -> None
        DEBUG レベルのログを出力します。
    info(msg: str) -> None
        INFO レベルのログを出力します。
    warn(msg: str) -> None
        WARNING レベルのログを出力します。
    error(msg: str, exc_info: bool = True) -> None
        ERROR レベルのログを出力します。exc_info が True の場合、例外情報も表示します。
    critical(msg: str) -> None
        CRITICAL レベルのログを出力します。
    remove_oldlog(max_num_log: int = 100) -> None
        古いログファイルを削除します。max_num_log で保持するログファイルの最大数を指定します。
    """

    def __init__(
        self,
        *,
        log_level: str = "INFO",
        save_log_dir: str = "logs/console"
    ):
        self.log_level = log_level
        self.log_dir: Path = Path(save_log_dir)
        self.log_backupcount: int = 3
        self.log_file_path: Path = self.get_log_file_path()

        stdout_formatter: Formatter = Formatter(fmt="%(message)s")
        file_formatter: Formatter = Formatter(
            fmt="%(asctime)s.%(msecs)03d %(levelname)7s %(message)s [%(name)s:%(lineno)d]",
            datefmt="%Y/%m/%d %H:%M:%S",
        )

        stdout_handler: Handler = RichHandler(rich_tracebacks=True)
        stdout_handler.setFormatter(fmt=stdout_formatter)
        file_handler: Handler = handlers.TimedRotatingFileHandler(
            filename=self.log_file_path,
            when="midnight",
            encoding="UTF-8",
            backupCount=self.log_backupcount,
        )
        file_handler.setFormatter(fmt=file_formatter)

        logging.basicConfig(
            level=self.log_level,
            handlers=[stdout_handler, file_handler],
        )
        caller_func_name: str = inspect.stack()[1].filename.split("/")[-1]
        self.logger = getLogger(name=caller_func_name)

    def get_log_file_path(self) -> Path:
        log_filename = f"app_{datetime.strftime(datetime.now(), '%Y%m%d')}.log"
        return self.log_dir / log_filename

    def update_log_file(self) -> None:
        new_log_file_path = self.get_log_file_path()
        if new_log_file_path != self.log_file_path:
            self.log_file_path = new_log_file_path
            self.logger.info(f"ログファイルが更新されました: {self.log_file_path}")
            for handler in self.logger.handlers:
                if isinstance(handler, handlers.TimedRotatingFileHandler):
                    handler.baseFilename = new_log_file_path

    def debug(self, msg: str) -> None:
        self.update_log_file()
        self.logger.debug(msg, stacklevel=2)

    def info(self, msg: str) -> None:
        self.update_log_file()
        self.logger.info(msg, stacklevel=2)

    def warn(self, msg: str) -> None:
        self.update_log_file()
        self.logger.warning(msg, stacklevel=2)

    def error(self, msg: str, *, exc_info: bool = True) -> None:
        self.update_log_file()
        self.logger.error(msg, exc_info=exc_info, stacklevel=2)

    def critical(self, msg: str) -> None:
        self.update_log_file()
        self.logger.critical(msg, stacklevel=2)

    def remove_oldlog(self, *, max_num_log: int = 100) -> None:
        logs = list(self.log_dir.glob("*.log"))
        if len(logs) > max_num_log:
            log_name_pairs = [
                (log, datetime.strptime(log.stem[-8:], "%Y%m%d")) for log in logs
            ]
            log_name_pairs = sorted(log_name_pairs, key=lambda s: s[1])
            remove_log_path = log_name_pairs[0][0]
            os.remove(remove_log_path)
            self.info(f"古いログを削除しました: {remove_log_path}")
            for i in range(1, self.log_backupcount + 1):
                remove_rotating_log_path = f"{remove_log_path}.{i}"
                if os.path.exists(remove_rotating_log_path):
                    os.remove(remove_rotating_log_path)
                    self.info(f"古いログを削除しました: {remove_rotating_log_path}")

試したこと

上記のまま実行すると、ファイルは分かれずに同じファイルのまま書き込まれていきます。

ひとこと

かなりいろいろ試しましたが、なかなか希望通りに動いてくれなくて困っています。よろしくお願いいたします。

Answer 1

まず、最新のログファイルのファイル名ですが、これはハンドラを設定したときに1つだけ決めることができる仕様なので、新しいログファイルができるたびに日付を付けることはできません。通常は「app.log」などのような名前になります。
ハンドラそのものを自分で作れば、そのような動作をするようにすることはできます。pythonのソースを参考にすば、それほど難しくはないと思います。

ローテートした後のバックアップファイルの名前は変更することができます。
ログハンドラには、namerという属性があって、そこにローテートするときに名前を更新するための関数を設定することができます。

https://docs.python.org/ja/3/howto/logging-cookbook.html#using-a-rotator-and-namer-to-customize-log-rotation-processing

この例のnamerは

def namer(name):
    return name + ".gz"

ファイルを圧縮するようにしているので、末尾に「.gz」を付けるようになっています。
namerは、ベースの名前文字列(app.logとか)が渡ってきますので、その文字列を加工することになります。

こうすることで、 現在のログは「app.log」で、バックアップファイルは 「app_20230102.log」のようにすることができます。

---

以下のようにすることで、ローテートしたときに関数を呼んでくれるようになると期待しているのだと思いますが、関数がそのような仕様ではないので、期待通りにはなりません。

        file_handler: Handler = handlers.TimedRotatingFileHandler(
            filename=self.log_file_path,

Comments

[SPICA]

バックアップファイルだけですが希望のファイル名に変更できました。ありがとうございました！