python project/script.py 147.182.168.82 & このような並列処理のshをpythonで書き直したい。

Question

for i in {1..8}; do {
    python project/script.py 147.182.168.82 &
};
done

このコードをpython のfor loopに書き換えたいです。 & を記入することで並列でコードが実行されるのですがpythonで同じ動作をさせるにはどのように書けばいいのでしょうか？
firstという関数を呼び出す際に並列で呼び出せればいいです。
どうぞよろしくお願いします。

from project.script import first
count=0;
while count<10:
     count=count+1
     first('147.182.168.82')

Comments

[jbpb0]

参考
https://qiita.com/desertfox_i/items/dbd6fd390f6db13fd3e4
https://myenigma.hatenablog.com/entry/2016/04/09/184215#subprocess%E3%81%AB%E3%82%88%E3%82%8B%E8%A4%87%E6%95%B0%E5%AD%90%E3%83%97%E3%83%AD%E3%82%BB%E3%82%B9%E5%87%A6%E7%90%86

[alizona]

ありがとうございます。みてみます

Answer 1

num_processは起動したいプロセス数に合わせてください

from project.script import first
from multiprocessing import Pool

if __name__ == "__main__":
    num_process = 10
    args_list = ['147.182.168.82']*num_process

    with Pool(processes=num_process) as p:
        p.map(first, args_list)

Answer 2

subprocess.runあたりで自身のスクリプトをPythonで実行するコマンドを渡して実行すればいいのでは

Comments

[alizona]

count=0;
while count<10:
count=count+1
subprocess.run(['python', 'service/scraping/script.py', '147.182.168.82', '&'])

としたところ、script.pyは複数起動できたのですが、並列の処理は行われませんでした。
for loopをsubprocess.runの中に入れ方調べてみます。
ありがとうございます。

[alizona]

ターミナルから、commandで実行すると並列で起動するので、書き方を探しているのですが、もし書き方アドバイスいただけたらよろしくお願いいたします。

[RiaFeed]

subprocess.Popenだと終了を待たないらしい

[alizona]

ありがとうございました。無事 docker-swarm の複数ノードを使用したスクレイピングを djangoアプリのuserの操作と連携することができました。