Pythonの部分的な文だけ実行速度を上げたい場合

Question

Pythonプログラムに全体的にinterpritar性を保持させながら、
一部の文だけコンパルさせるような手法はないでしょうか。
「部分的なCython化？」
或いはそれに近い。

宜しくお願いします。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝：
考えてみれば、実行時にloopの中の文は毎回毎回解釈しながらマシンコードにして実行する必要はないんではないかと思います。
その部分を自動に実行環境に合った最終的なマシンコードに置き換えて於けば、
それから直に実行できるようになりますね。
なぜ、Pythonの実行機構はそうしないのでしょうか。

Answer 1

Numdaを使ってみてはいかがですか。
JITコンパイラライブラリNumbaを使ってPythonコードを劇的に高速化する方法

Comments

[oookabe]

「Numda」！
どうしてこんなものがあるの？！
Pure Pythonを維持しながら数文字挿入だけで、コンパイルされたコードと同じ速度実行できるのは驚異的です。　Pythonの実行環境が最初から暗黙のうちにこうやってくれれば良いのに。。。
私が期待しているやり方とまったく合致しています。
こんな素晴らしい方法をご紹介くださって本当にありがとうございました！

Answer 2

つい先日、質問者様と似た様な境遇になったことがありました。
その時は以下のようなことを考えました、参考になればと思います。

for loopを使う場合

• LouiS0616さんが回答しているNumbaを使う
• cythonを使う

cythonを使う場合なるべくコードの修正をサボりつつ、高速に動作するようにすることを考えると
JupyterNotebooksで%load_cythonを使うのが良いのかなと思います
深入りしないCython入門

for loopを使わない場合

• for loop を使わずベクトルの内積などを利用して

結果を得る様に修正する(numpy, tensorflowなど)

その他

• 並列化を使ってみる、ただし標準のmultiprocessingは使わずjoblibを使う
• 関数のキャッシュ化ができる、lru_cacheを使ってみる(ただしpython3以降)

Comments

[oookabe]

丁寧なご解説有難うございます！

Answer 3

改良する前に
1,実行プロファイルをまず取ってボトルネックがどこにあるのかを確認する。
2,ボトルネック解消後の実行時間の目標値を決める。

この2点を確認したほうが良いのでは？と個人的に思いますが。。。

最初からソースコードのバイトコンパイルを行った状態で実行したいという話でしたら。
モジュールを作成して importするか、compileallを行ってくださいな。

Comments

[oookabe]

素晴らしいアドバス有難う御座います！

Answer 4

Cythonのinlineも。

fibonacci = """\
cdef int a, b
a, b = 0, 1
while b < n:
    yield b
    a, b = b, a + b
"""

import cython

for f in cython.inline(fibonacci, n=1000):
     print(f)

partialでラップしてあげればあたかもCythonを使っていないみたいに書ける。

from functools import partial
fib = partial(cython.inline, f=fibonacci)

for f in fib(n=1000):
     print(f)

Comments

[oookabe]

<Cythonのinlineも>素晴らしいやり方ですね。有難うございます。
ただ、LouiS0616さまに紹介された「Numda」には実に驚きました。
Pure Pythonを維持しながら数文字挿入だけでコンパイルされたコードと同じ速度実行できるのは驚異的ですね。