Pythonの並列実行の性能について

Question

Pythonの並列実行の性能について経験者の方教えていただけないでしょうか
プログラムによる並列実行を行うかどうかで悩んでおります。

検証機器が４コアのCPUであったので
バッチをJOBスケジューラにて４多重実行して試してみました。
単体でのバッチ実行に比べ1SKU当たりの処理時間の向上が見られました.

ここで気になる点ですが、
Pythoneの並列実行はJOBスケジューラなどによる多重実行などと比較し
より性能が向上するものなのでしょうか。

ご存じの方がいらっしゃればご教授いただけないでしょうか。
よろしくお願いいたします・

Comments

[maisumakun]

Pythonの処理系と、並列実行を行う手法はどのようなものでしょうか？

Answer 1

並列処理の中には、独立して実行できる計算をたくさんやるだけのものと、計算の実行中に互いにデータを交換しなければならないような計算があります。

前者の例は、マンデルブロ集合の描画であるとか、大量にある画像ファイルの圧縮などがあり、後者の例は一つの巨大一次方程式の解を求めるリンパックなどがあります。

JOBスケジューラでできるのは前者だけです。
後者のものをやりたい場合は、メモリを共有するスレッド並列、一個のOSの中で並列処理をするプロセス並列、複数のOSがネットワーク経由で通信しながら並列処理をするMPIなどがあります。
Pythonの場合は、それぞれthreading、multiprocessing、mpi4pyを使います。

threadingはCpythonでは利用するC言語で書かれたライブラリの中にthread-safeでないものが存在するためGlobal Interpreter Lock (GIL)ということを行っており、ほとんど速くなりません。

また、並列処理にはつねにオーバーヘッドがあります。

このため、JOBスケジューラでできるような並列処理について、Pythonの並列処理を行って速くなることはほとんどありません。

Answer 2

Pythoneの並列実行はJOBスケジューラなどによる多重実行などと比較し
より性能が向上するものなのでしょうか。

「JOBスケジューラなどによる多重実行」で事足りているのであれば、わざわざPythonで並列実行をする必要はないと思います、もしも事足りていない状況だとしても、ほとんどのケースにおいて「いいえ、Pythonで並列実行するほうが速くなることはありません」という回答になると思います。