深い階層にある関数のプロファイリングを行いたい

Question

現在プログラムの高速化を行おうと考えており、プロファイリングを行っている最中です。

python -m cProfile Process.py

のようにしているのですが、１つ下の階層（Process.py が importしているファイル）までしか関数が評価されません。
さらに深い階層の関数を評価するためにはどのようにすれば良いでしょうか。
よろしくお願い致します。

Answer 1

ビッグバンテストならぬ、ビッグバンプロファイリングになりますが。
これ以上細分化したプロファイリングは難しいということでしょうか。

Comments

[simasima]

ビッグバンプロファイリングならぬ一斉プロファイリングといったレベルです。。。
現時点で2000行程度のプログラムですが、ドライバを用意してプロファイリングするのがベストなのでしょうか。

[mkgrei]

本当に一度限りのプロファイリングで、今すぐどこが時間がかかるのかだけ知りたくて、それを直したらもう二度とこのコードを使わいないのであればいいのです。
今後付き合っていくことを考えるとドライバを用意してやるほうが技術的負荷を背負わなくて済むかと思います。

ちなみに手元で試してみましたが、python3.5.2でプロファイリングがずっと下のモジュールまで行われていました。
むしろnumpyなどをインポートするとインポート関連のコールで埋め尽くされて見にくい状況になりました。
検索してみるとインポート部分をプロファイリングから外す方法のほうが議論されているようです。

使用しているバージョンについて変更しても同じような結果になりますか。

[simasima]

ありがとうございます！まだ経験が浅いので、ご指摘嬉しく思います。
私自身の環境も同じpython3.5.2でした。そう考えるとちょっと私の環境がおかしいようですね。。。
とりあえずline_profilerを導入することでなんとか解決は致しました。

[simasima]

その後コーディングを変更したところ、ご指摘の通りもっとも深い階層の関数がプロファイリングされました。
ありがとうございました。

Answer 2

python -m cProfile -s cumulative Process.py 

のようにファイル全体をプロファイリングするのではなく、

メインのプログラムをmain()で囲み、

if __name__ == "__main__":

    import cProfile
    cProfile.run('main()', sort='time')

として、

python Process.py

を実行すると、きちんともっとも深いレベルの関数がプロファイリングされました。