シェルスクリプトでpythonのプログラムを並列実行したいです。

Question

bashにおいて、シェルスクリプトを

#!/bin/sh

python3.7 1.py &
python3.7 1.py &
python3.7 1.py &
python3.7 1.py &
python3.7 1.py 

のように並列実行したのですが、並列実行する数が多くなるとプログラムの見栄えが悪いので、他の方法があればご教示くだい。
ちなみにxargsで以下のようにしても、うまく実行されませんでした。
ご教示願います。

$seq 10 | xargs -P 5  python3.7 1.py

Answer 1

seq 10 | xargs -P 5  python3.7 1.py

だと、python3.7 1.py 1 2 3 4 5 6 7 8 9 10という1つのコマンドが実行されます。

seq 10 | xargs -I@ -P 5 python3.7 1.py

にすると、python3.7 1.pyが10個、最大5並列で動きます。
(1~5番目のどれかが終わると6番目がスタートする）

動かす数と、並列数が同じでよい場合だと、下記がわかりやすいです。

for i in {1..5}
do  python3.7 1.py &
done

Answer 2

こうやってみてはどうですか？

#! /bin/sh
cnt=0
while [ $cnt -lt 10 ]
do
    python3.7 1.py &
    cnt=`expr $cnt + 1`
done
python3.7 1.py

-lt の右の数字がループ回数になるかと
最後の & 無し実行が含まれるので、計 11個起動する事になるかと思います。

Answer 3

sh -c で実行するのはどうでしょうか。

$ seq 10 | xargs -n 1 sh -c 'python3.7 1.py &'

Answer 4

質問の直接の答えではないですが、python code 内部で、複数のプロセスを作るっていうのはどうでしょう。

main() を既存のpython script で置き換えれば

python.exe program.py <count>

で、<count> のプロセスが、main() を実行します。

from multiprocessing import Process
import sys
import time

def main(index):
    print(f"start a program: {index}")
    ##
    time.sleep(index)
    ##
    print(f"end the program: {index}")

if __name__ == "__main__":
    if len(sys.argv) != 2:
        count = 1
    else:
        count = int(sys.argv[1])

    proc_list = []
    for i in range(0, count):
        proc = Process(target=main, args=(i + 1,))
        proc.start()
        proc_list.append(proc)

    for i in range(0, count):
        proc_list[i].join()