Pythonでのデバッグログ管理

Question

Pythonでデバッグのときのログを本番で消去したいです。
現在のやっていることは、

DEBUG=1
def _print(data);
    if DEBUG:
        print(data)

i = 10
_print(i)

しかし、大量のIF文の処理が発生するので、デバッグ時以外は処理を通したくないです。Javaではコンパイルがあるのでlog4jのように、いくら書いても処理速度に影響はありません。Pythonによい機能はありますか？

Answer 1

if debug: print～ 部分であれば可能です。
_print() の対応は難しいです。（マクロ、メタプログラミングの領域）

解決策: if __debug__:

# sample.py

def main():
    if __debug__:
        print("debug log")

if __name__ == "__main__":
    main()

最適化オプション有 (python -O)で実行すると、
バイトコードへのコンパイル時点で if 文自体がなくなります。

ディスアセンブラでバイトコードを確認 Disassembly of code object main ... の部分

python3 -O -m dis sample.py
python3 -m dis sample.py

詳細は省きますが、print の有無だけでも確認できると思います。
if 文は POP_JUMP_IF_FALSE という命令ですが、
if True, False, __debug__ 等の組み込み定数の場合は、コンパイル時に定数として評価されるので、
本運用の実行時のパフォーマンスに影響しないデバッグログを実現できます。

ちなみに、Pythonには他に(コンパイル時評価可能な)定数を作る方法は無いはずなので、
質問のコードのように、自分で定義した変数 DEBUG には対応できません。

方法がないわけではなく、バイトコードや構文木操作で、
ユーザ変数を定数に変換する手法がありますが、
保守コストが高くつく（Python側の仕様変更に追従しなければならない）為、
導入を見送ったことがあります。

拡張機能としてその様な最適化を施した処理系もありましたが、
現存してるものはないと思います。

---

追記: 表示の on/off だけなら、標準ライブラリの logging モジュールを調べて見て下さい。
パフォーマンスの影響については完全には解消しませんが、(I/O 抑制だけで、関数呼び出しは発生する)
本運用・デバッグ時のログ表示の切り替えは行えます。

Comments

[teefpc]

__debug__ ←　大変参考になりました。

Answer 2

オーバーヘッドが完全になくなるわけではありませんが、少なくはなります。

DEBUG = 1

if DEBUG == 1:
    def _print(*data):
        print(*data)
else:
    def _print(*data):
        pass

i = 10
_print(i)

Jupyter向きではありませんが、linuxなどでcppとmakeとかが使える環境であれば
cppを使って生成するという方法もあります。
こんな感じです。

$ cat test.pyx
#define DEBUG
#ifdef DEBUG
#define _print(data) print(data)
#else
#define _print(data)
#endif

i = 10
_print(i)

def foo(bar):
    _print(bar)
    return bar + 1
$ cpp test.pyx >test.py
$ python test.py
10

この最初の部分をincludeファイルに入れといて、各ソースはそれをインクルードし、
DEBUGが定義されているかどうかでソースを作り分けるようなMakefileを作って置けば
オーバーヘッドなしでできます。

Comments

[teefpc]

JupyterNotebookでは、この方法がよさそうです。