pythonでの並列処理、信号の入出力について

Question

pythonの並列処理について質問させてください。
今回のプログラムを作成するため１からプログラミングを学び始めたばかりなので分かりにくい説明になってしまうことご了承ください。

大学の研究室で使うプログラムを作成しています。やりたいこととしては毎日決まった時間に研究室のwebサイトから画像をダウンロードし、用途に合わせて加工を行うということです。

画像は複数枚あるのですが、１枚目の画像を保存し加工してから２枚目の画像を保存し加工......というのは時間がかかるので、画像を保存するプログラムAと画像を加工するプログラムBを並列で実行したいと思っています。

処理としては
・AとBを起動する。
・Aで画像を保存する度にBに保存した画像のパスを送る。
・Bはパスを受け取るまで待機処理、パスを受け取ったら画像を加工する。
・Bの処理中にAから送られてきたパスをストックしておく。

というのを考えているのですが、pythonでこのような他プログラムとの信号のやり取りや信号のストックといったことはできるのでしょうか？

Comments

[shin1845]

並列処理というよりパイプラインな感じですが所望の動作なのでしょうか。
保存→加工のプログラムが1度に複数走らないと処理時間は短くならないと思います。

[ChaosRepainter]

時間がかかるって……やってもいないのになぜ分かるんだい？

[meg_]

時間がかかる処理ならば夜中に走らせれば良いかと思います。
それでも朝までに終わらない場合は並列化を考えます。

Answer 1

pythonにも、マルチスレッドの仕組みはあります。
ただ、内容を見る限りゲームみたいなリアルタイム処理は不要だと思いますので、単に別プログラム（別プロセス）として取得用と画像処理用の二つのプログラムを別々に走らせればいいだけのように思います。

import subprocess
res = subprocess.call('ここに画像処理コマンドを記述')

callメソッドは非同期で処理されるため、呼び出したコマンドが終わらなくても処理が続行できるはずです。

ただし、処理時間が、画像処理＞＞画像の取得 の場合、画像処理用のプロセスが大量にたまってしまい、リソースを食い尽くす可能性があります。

ちゃんとした処理をするにはいろいろロジックがあると思いますが、とりあえず動けばよいレベルであれば、例えばpython関連のプロセスの数を調べて、一定以上だったらSleepなどでループを一時停止するみたいな感じにするのが簡単かなと思います。

実行中プロセスの確認