シェルスクリプトでの並列実行

Question

シェルスクリプトでの並列実行

test.txtの内容、1000行程度を
以下のコマンドで分割しました。
split -l 100 test.txt out.

ファイルリストが出来ました。

out.aa
out.ab
out.ac
out.ad
out.ae
out.af
out.ag
out.ah
out.ai
out.aj

以下のシェルで、1行ずつ.logファイルに書き出しております。
#!/bin/bash

cnt=0
cat out.aa | while read line
do
cnt=expr $cnt + 1
echo ${line} > ${line}.log
done

実現したい事、out.aaからout.ajまでの上記.logへ書き出す処理を並列で行いたいです。

cat out.aa部分を最初変数に入れて実行しようかと考えていたのですが、
結構時間がかかってしまうため…

何か良い方法をご存知の方がいらっしゃいましたら
ご教示頂けますと幸いです。

Comments

[KSwordOfHaste]

出力先ファイル名が${line}.logである点が混乱しました。各行の内容をログファイルの名前にするのはどのような意図でしょうか？並列処理したとすると出力先ログファイルが複数のプロセスで同時に出力することになる可能性があるためログファイル名がこうなっている意図を伺いました。

Answer 1

以下ではどうでしょう？

echo ${line} > ${line}.log &

但し、lineは実行番号を付加した名称にするなど、重ならないような変数にしておく必要があると思われます。

【 & 】 コマンドをバックグラウンドで実行する