シェルスクリプト qsubのjobが終わってから次に進みたい時

Question

#シェルスクリプト qsubのjobが終わってから次に進みたい時

例えば

#!/bin/sh -x
#$ -S /bin/sh
#$ -cwd
qsub -o test.txt script.sh
cat test.txt
qsub -o test2.txt -hold_jid script.sh script2.sh
echo finish

というスクリプトがあり
script.shの中身が
#!/bin/sh -x
#$ -S /bin/sh
#$ -cwd
date
sleep 50
date
だとします。

この場合、2つ目のqsubは-hold_jidによりscript.shが終わるまで始まらないと思うのですが、
1つ目のqsubの直後の
cat test.txt
が1つ目のqsubが終わってtest.txtが作成される前に始まるため、エラーとなります。

スクリプトの中で、qsubが終わるまで、次の処理を進めない方法はありませんでしょうか？
宜しくお願い申し上げます。

Answer 1

スクリプトからすると、Grid Engine ( おそらくUGE - Univa Grid Engine ) を利用するシステムかと思うのですが、あくまで qsub は「ジョブ投入」( ジョブの実行をシステムに予約する ) だけですので、cat 等、すぐに実行するコマンドと並べて書くのは向いてません。

※ qsub XX; qsub -hold_jid XX YY とした場合は、「ジョブ同士で順序関係を設ける」ことになるので、その間では不整合は出ない

なので、その cat の部分もジョブとして処理を切り出して qsub するようにするのが一番素直です。

それが難しいのであれば、ジョブ終了を待つ処理を書くしかないでしょう。
UGEの標準ではそういうコマンドはないはずですが、結構機能的に需要はあるものなので、サイト独自で用意しているかも知れません ( あるいはノウハウとして持っているか )。サイト管理者に問い合わせるのが良いと思います。

自分で実装する場合、qstat を定期的に繰り返してジョブのステータスを見るような形になると思いますが、あまり頻回に実行するとシステムに余分な負荷を与えかねません。
そこのバランス感覚を確認する意味でも、サイト管理者に相談する方が良いと思います。

Comments

[LanternRains]

有難うございます。
まさにUGEでした。標準では、そのようなコマンドはやはりなさそうなのですね。サイト管理者にも聞いてみます。

Answer 2

test.txtができるまで、数秒おきにファイルの存在チェックを行いながらループして待っていれば良いのではないでしょうか。

Comments

[LanternRains]

回答くださり、有難うございます。それで大丈夫そうです。
初歩的な所だったかもしれませんが、非常に助かりました。
感謝いたします。

[LanternRains]

すみません。qsubでjobを実行すると、出力ファイルが先に出来上がり、そこにデータが追加され、どんどんサイズが増えていくシステムでした。サイズが増え終わってから（jobが完了してから）、次に進む時も存在チェックのループで対処できるものでしょうか。
もし分かりましたら、お願い申し上げます。

Answer 3

qsubに盲目的だったのですが

#!/bin/sh -x
#$ -S /bin/sh
#$ -cwd
script.sh > test.txt
cat test.txt
script2.sh > test2.txt
echo finish

これを、qsubに渡すだけで大丈夫でした。お騒がせ致しました。