bashファイルでwhile文の途中で意図しないbreakが発生する。

Question

#やりたいこと
linux上で動作するCoCo-Beholderというネットワークエミュレーションツールがあります。CoCo-Beholderのリンクを以下に示します。
https://github.com/ZhenyaKh/coco-beholder

本ツールでは様々な輻輳制御手法が提供されており、pythonファイルを実行することで、エミュレーションを行います。
そこで、bashファイルで、様々な輻輳制御手法を一度に実行するプログラムを作成したいと考えています。

#困っている点
現在作成したプログラムを以下に示します。
本プログラムでは、テキストファイルから輻輳制御手法の名前を取り出し、CoCo-Beholderのrun.pyというプログラムを実行します。また。run.pyの"-sc"というオプション引数は私が追加した引数で、実行する輻輳制御手法を選択します。

そこで、困っている点として、"ledbat"という輻輳制御手法で"run.py"を実行し、"echo"でコマンドプロンプト上に"ledbat"と表示した後にwhile文を抜けてしまいます。他の輻輳制御手法ではwhile文を抜けることはありません。

そこで、何故while文から抜けてしまうのでしょうか？
有識者の方々、ご助力お願いします。

<bashファイル>

#!/usr/bin/env bash

while read line
do
    ./run.py -p ~/pantheon -t 10 -r 10 -q 800 -l layout/layout.yml  -sc $line
    #./run.py -p ~/pantheon -t 10 -r 10 -q 800 -l layout/layout.yml
    echo $line
done < cc.txt

<cc.txt>

ledbat
bbr
copa
cubic
fillp
fillp_sheep
indigo
pcc
pcc_experimental
quic
scream
sprout
taova
vegas
verus
vivace

#追記
set -oを追加した際に出力される設定内容

allexport      	off
braceexpand    	on
emacs          	off
errexit        	off
errtrace       	off
functrace      	off
hashall        	on
histexpand     	off
history        	off
ignoreeof      	off
interactive-comments	on
keyword        	off
monitor        	off
noclobber      	off
noexec         	off
noglob         	off
nolog          	off
notify         	off
nounset        	off
onecmd         	off
physical       	off
pipefail       	off
posix          	off
privileged     	off
verbose        	off
vi             	off
xtrace         	off

Comments

[takasima20]

つづり "ledbat" が間違ってるとか?

[otn]

> while文を抜けてしまいます。
というのはどういう現象でしょう？実際に目にしたものを主観を交えず書いてください。

[t_obara]

シェル経由でなく、-sc ledbatを指定して直接起動した場合、動作するのですか？例外が発生する場合whileから抜けますよ。

[man_]

takashima20さん質問ありがとうございます。
つづりは"ledbat"であっています。

[man_]

otnさん質問ありがとうございます。
”while文を抜けてしまいます。”というのは、ledbatのエミュレーションを行い、echoでコマンドプロンプト上に"ledbat"と表示された後に、bbrのエミュレーションを行わずプログラムが終了してしまうという意味です。

[man_]

t_obaraさん質問ありがとうございます。
シェル経由でなく、直接pythonファイルを実行した場合にも正常に動作します。

[otn]

> 例外が発生する場合whileから抜けますよ。
例外でも、Bashから見ると単なる「ステータスが0で無い終了」なので、それは無いです。

[otn]

> echoでコマンドプロンプト上に"ledbat"と表示された後に、
cc.txt側に問題がある可能性もあるので、./run.py をコメントにして、全行echoされるか確認ください。

[man_]

ontさん質問ありがとうございます。
./run.pyをコメントアウトし、while文の中をechoのみで実行した場合は、cc.txtの全行が表示されます。

[otn]

質問のコードには書いてないけど、実は set -e を書いていると言うことは無いですよね？

[man_]

otnさん質問ありがとうございます。
"set -e"は書いていません。

[68user]

ほんとうにこれだけのコードでその事象が再現しますか? って感じですね。

なぜかデフォルトで set -e 相当になっていたりというのは疑わしいので、run.py の終了ステータスを echo $? で表示するとか、set -o で現在の設定を出力してみる。

また、サブシェルでやっていることに起因するなら、下記のようにカレントシェルで実行してみる。

exec < cc.txt
while read LINE
do

あとは set -vx でデバッグ情報を表示するなど。

[otn]

そうですね。念のため、whileの前に、set -o を入れてみてください。現在の設定が表示されます。
errexit がoffであるのが普通です。errexit がonだと終了ステータスがゼロでないとスクリプトが終了します。

[man_]

otnさんコメントありがとうございます。
追記にset -oで出力される内容を記載しました。
errexitはoffでした。

[man_]

68userさんコメントありがとうございます。

run.pyの後にecho $?を追加したところ、echo $?の出力は0でした。

また、set -vxでデバック情報を出力しましたが、ledbatの出力は他の輻輳制御手法を実行した際と同様の出力であり、プログラムが終了される要因を確認することができませんでした。

[takasima20]

なるほど！そういう流れでしたか！！勉強になるなあ。(^_^)

Answer 1

わかった。
run.pyの中で、標準入力を読んじゃっているので、ledbat以降のデータがPythonに読まれてしまい、while readで読もうとしたがすでにccc.txtはEOFになっている。

何故もっと早くこの可能性に気づかなかったのか。

ということで、そもそもどういう処理をするのか、見直しましょう。
run.pyは、標準入力で何を読みたいのか？

参考：同様の例。

while read line  # 1行目はこれで読まれるが、
do 
  wc             # 2行目以降はこのコマンドが読んでしまう
  echo line=$line
done < ccc.txt

Comments

[man_]

上手く理解できていないです。
何が原因で、どう変更すべきなのでしょうか？
また、ledbat以外の輻輳制御手法ではループするのに,ledbatではプログラムが終了する理由は何でしょうか？

[otn]

> run.pyの中で、標準入力を読んじゃっているので、
というのが理解できないと言うことでしょうか？

参考のスクリプトの意味はわかりますか？
なお、wc コマンドは、標準入力を読んで、「行数、単語数、バイト数」を表示するコマンドです。

[man_]

分からないことは以下の2点です。
・標準入力を読んじゃっているということは、どういう意味でしょうか？run.pyでは、cc.txtを参照することはありません。
・bbrやcopaなど他の輻輳制御手法を選択し、run.pyを実行した際はwhile文でループして、cc.txtに記載されている次の輻輳制御手法でrun.pyを実行するのですが、ledbatを選択し、run.pyを実行した場合にはwhile文が終了し、プログラムが終了してしまいます。そこで、他の輻輳制御手法を選択した場合とledbatを選択した際の違いを教えていただきたいです。
よろしくお願いします。

[68user]

とりあえず下記でやってみては。これで動くなら otn さんのおっしゃるとおり run.py が標準入力を食べているのでしょう。
lines=(ledbat bbr copa)
for line in ${lines[@]}
do
./run.py ...
done

[man_]

68userさん

提示していただいたコードで実行したところ、プログラムが途中で終了せずに、最後まで実行することができました。

質問に記載したbashファイルと何が違うのでしょうか？

[otn]

違いとしては、ledbatの場合は標準入力を読んで、それ以外の場合は標準入力を読まないと言うことだと思います。

> un.pyでは、cc.txtを参照することはありません。
cc.txtじゃなくて標準入力です。input関数とか、sys.stdinとか。あるいは他の方法もあり得ます。

[otn]

「標準入力が端末なら何もしないが、標準入力が端末でなければ標準入力を読む」という仕様なんですかね。
プログラムを作った人に聞いてみましょう。

そういう仕様で、それでいいのなら、

for line in `cat ccc.txt`
do
./run.py ~~
echo $line
done

ですね。

[man_]

otnさん、回答ありがとうございます。
while文でcc.txtの行数文ループしたい場合はどう変更すべきでしょうか？

[man_]

otnさんに提示いただいたコードだと、㏄.txtが$lineとして渡されエラーが出力されました。

[otn]

ちゃとコピペしていますか？
` ` が漏れているのでは？

[man_]

追記で
echo $lineでcat cc.txtと出力されてしまいます。

[man_]

シングルクォーテーションも抜けていません

[otn]

シングルクォーテーションじゃないです。
ちゃんとコピペしていますか？

[man_]

何の記号でしょうか？

[man_]

コピペしたら上手く動きました。

[otn]

バッククォートです。
ちゃんとコピペしていますか？

[otn]

for line in `cat cc.txt`だと、ファイルを行単位に読んでいるわけじゃなくて、単語単位（空白文字で区切られた非空白文字の塊）で読むので、空白文字を含んだ行があると違いが出ます。あと、* などシェルの特殊文字とかも駄目です。

元のコードでも、./run.py 行に
</dev/tty
とリダイレクトを付ければ行けるかも。