Python for文 処理速度 処理時間

Question

Pythonで、音声波形のDPマッチングを実装しようとしているのですが、処理時間が長すぎるので、助けてください。

処理時間が長い原因が二重for文です。以下は例ですが、

for i in range(8000):
   for j in range(3000):
      DPマッチングの累積コストなどを計算

のようなfor文を使っています。
上の二重for文は、サンプリング周波数1000で、8秒の音源と3秒の音源とした時のものですが、実際にはサンプリング周波数も大きくして、音源も長くしたいです。

自分のノートPCでは全然ダメだと思い、Google Colab のGPUを使って(pytorchを使用して)、実行してみたのですが、30分以上もかかりました(途中で止めた)。

調べてみたところpythonのfor文は遅いということなのですが、累積コストを計算するために、順番に実装することが必須です。

何か良い案、方法はありますか?
ちなみに、プログラム自体は、とても短い配列でDPマッチングを実行することができたので、プログラムに欠陥(永遠にfor文が回っているなど)は無いと思います。

Comments

[bsdfan]

1回の「DPマッチングの累積コストなどを計算」にかかる時間を計測してみてはどうでしょう。
最低でも、それと回数をかけた時間がかかることになります。
それが大きい数字ならforループを工夫しても限界があります。

Answer 1

for文の中身がNumpyの簡単な処理でできているのであれば、from numba import jitと@jitのおまじないで片付く可能性があります。

---

もし、@jitでエラーが出る場合には、@jit(nopython=True)に変更ください。
Numpyの簡単な処理（シンプルな関数）で処理できる場合にはエラーが出ませんが、複雑な関数が使われていたりNumpyの外側の処理が挟まるとエラーが起きます。そのエラーの回避策が上のnopythonの引数です。

いやいやそんな、CPUなんざ興味ありませんぜ。本命はGPUでござんす。という場合にはCUDA対応のjitを使ってください。
※GPUは確かに早いですがCPU<-->GPUのデータ移動のオーバーヘッドがバカになりません。計算対象があまりに小さいようであればCPUの方が早いこともあり得ます。また、CPU<-->GPUのデータ移動は最小限になるように工夫が必要（forで回すたびに都度CPU側からGPU側に移して捌いてCPUに戻すのではなく、forの外側でCPU側からGPU側に一気に引っ越して、GPU側で捌いた結果だけCPU側に戻す）です。

Comments

[purogutamu]

numbaを使ってみると、40倍近く高速になって驚きました....しかし、色々と使うにも制限があり、扱いづらそうですが、ありがとうございます。
numpyの内包表記やスライスなどを駆使して、より高速化を目指します。

[退会済みユーザー]

windowsPCであれば@jit(nopython=True)で大概の問題は回避できますが、Linuxだと何が違うのか@jit(nopython=True)が通用しなくなるのでちょっとめんどくさいですよね。

Answer 2

DPマッチングの累積コストなどを計算

で何をやっているかによります。

numpyに入れてSIMD命令を使えるような演算に書き換えることができれば高速化します。
うまくいくかいかないかは、やっていること次第です。

NumPyをよく読んで勉強して下さい。