pyhtonでのlogging操作の使い方で

Question

pythonのloggingについて勉強をしています。

スクレイピングツールを開発しており、ログを2種類別、ファイルに出力したいです。
0. ループごとに結果を出力
0. エラーが発生した場合

1.の結果はlogger.info('結果')で全て出力したら問題ないかと思いますが、2.の結果はエラーがない場合は出力しません。

from logging import Formatter, handlers, StreamHandler, getLogger, FileHandler,DEBUG
class browser_operation:

    # ログの準備
    # loggerを作成
    def __init__(self):
        self.logger_info = getLogger(__name__)
        # loggerに出力ファイルを設定
        log_file = FileHandler(filename="log.log")
        # formatterを作成
        formatter = Formatter('%(asctime)s %(name)s %(funcName)s [%(levelname)s]: %(message)s')
        log_file.setFormatter(formatter)
        self.logger_info.addHandler(log_file)
        # log levelを設定
        self.logger_info.setLevel(DEBUG)

そこで、loggingのマナーと、loggerの作成方法について質問です。

1. getLogger(name)とファイル名でloggerの作成をよく見かけますが、エラーのときは別のフォーマットで出力したい場合のgetLogger()はどうすれば良いのでしょうか？

2. logger.debug('')を表記するの場所はtry,exceptを使ってexceptの中に記入するのでしょうか？どこかに最初に設定して、エラーが出た場合はそのフォーマットで出力するやり方はありませんか？

Answer 1

getLogger(__name__)とファイル名でloggerの作成をよく見かけますが、エラーのときは別のフォーマットで出力したい場合のgetLogger()はどうすれば良いのでしょうか？

変わりません。
通常はファイル名ではなくピリオド区切りの階層を持つモジュール名です。

エラー用Formatで別のHandlerを作成し登録します。
エラーのみを捕捉したい場合は、そのHandlerに対してFilter を追加してください。

logger.debug('')を表記するの場所はtry,exceptを使ってexceptの中に記入するのでしょうか？
どこかに最初に設定して、エラーが出た場合はそのフォーマットで出力するやり方はありませんか？

エラー(例外情報)のログを取りたいのならtry/except 内に記述します。
既存のコードのインデントを弄りたくない場合は、
デコレーターを使って関数の実行自体を try/except で補足する方法もあります。

但し、一括で設定するような方法では、報告されるエラー箇所/スタックトレースの情報が変わってしまう点に注意してください。
実際にエラーがあった箇所とロギングの箇所が離れてしまいます。
（例えばフォーマットのfuncName等は意図通りに反映されません)

---

import logging

# ロガーは通常は、ファイル(モジュール)内で一つのみ
# ロガーを使い分けたいケースは、ハンドラーを適切に設定することで処理を振り分けます
# コード中ではどのロガーを使い分ける等を気にする必要はありません。

logger = logging.getLogger(__name__)


def _init_logging_handlers(logger=logger):
    from logging import FileHandler, Formatter, INFO, ERROR, DEBUG

    def info_handler():
        handler = FileHandler(filename="info.log")
        handler.setFormatter(Formatter('%(asctime)s %(name)s %(funcName)s [%(levelname)s]: %(message)s'))
        return handler

    def error_handler():
        handler = FileHandler(filename="error.log")
        handler.addFilter(lambda record: record.levelno == ERROR)
        handler.setFormatter(Formatter("%(asctime)s %(message)s"))
        return handler

    for handler in [info_handler(), error_handler()]:
        logger.addHandler(handler)

    logger.setLevel(DEBUG)


def main():
    _init_logging_handlers(logger)

    logger.info("start")
    logger.error("error")
    logger.info("end")

    if __debug__:
        # debug() はよく __debug__ 内で使います。
        # このif文内のブロックは最適化オプション付きで実行すると、
        # コンパイル時の最適化により無視されます。
        # 実行時のパフォーマンスに影響を与えることはありません。
        logger.debug("debug")


if __name__ == '__main__':
    main()

Comments

[Yuiti628]

詳しく説明して頂きありがとうございます。
最適化オプションを使わないので、if __debug__:を使いおうと思います

[teamikl]

逆ですよ。最適化オプションとデバッグ実行を使い別けないなら
if __debug__: は常に真なので、無駄になります。

Answer 2

質問１について

下記のコードをご参照ください。 getLogger(__name__) で取得するloggerについて、複数の
出力先を設定できます。ERROR以上のレベルのログは両方のログファイルに出力されますが、逆にこの方が使いやすいかと思います。
どうしても、ログの重複が許せないのであれば、getLogger("error." + __name) のように、getLoggerの名前を変えるのが一番てっとり早いかと（ログの種類を取り違える等、面倒が多いのでおすすめしません）

質問２について

おそらくそういう手段はないと思います。

from logging import Formatter, handlers, StreamHandler, getLogger, FileHandler,DEBUG,ERROR

class browser_operation:

    def __init__(self):
        self.logger_info = getLogger(__name__)

    def test(self):
        self.logger_info.info("info log test")
        self.logger_info.error("error log level = error")
        self.logger_info.info("error log level = info , これはエラーログに出力されない")

def init_logger():

    root_logger = getLogger()
    root_logger.setLevel(DEBUG)  # ここで出力レベルを絞るとすべてのログ出力の最低レベルが決まる

    # 通常のログ
    log_handler = FileHandler(filename="log.log")
    log_formatter = Formatter('%(asctime)s %(name)s %(funcName)s [%(levelname)s]: %(message)s')
    log_handler.setFormatter(log_formatter)
    log_handler.setLevel(DEBUG)  # エラーではないログはすべて出す
    root_logger.addHandler(log_handler)

    # ERROR以上のみがでるログ
    err_formatter = Formatter('DANGER!! %(asctime)s %(name)s %(funcName)s [%(levelname)s]: %(message)s')
    errlog_handler = FileHandler(filename="log-error.log")
    errlog_handler.setFormatter(err_formatter)
    errlog_handler.setLevel(ERROR)   # ERROR以上だけを出力する
    root_logger.addHandler(errlog_handler)

if __name__ == "__main__":
    init_logger()

    a = browser_operation()
    a.test()

Comments

[Yuiti628]

こちらと同じclass名などで例文を作って頂きありがとうございましたm(__)m
大変分かりやすく参考になります。