バックグラウンド実行シェルの出力も受け取る

Question

##1.実現したいこと
以下のpythonコードでAシェルを動かしながらBシェルの出力をpythonで受け取ろうとしています。

Loc="string"
Linuxcmd = ["$0 $1","sh ./F.sh",Loc]
print("Please wait.....")
subprocess.run(Linuxcmd,shell=True, stdout = subprocess.PIPE, stderr = subprocess.STDOUT)

##2.実行スクリプト
F.shは以下。

#!/bin/bash

HOSTS="host1
host2"

sh ./B.sh &

for i in ${HOSTS};do

ssh -o StrictHostKeyChecking=no $i "df -h --portability | grep -E '\ /$'"  1>> ${dir}/Result/result.csv  2>${dir}/error/${i}_error.csv

done

B.shは以下

#!/bin/bash


File=`pwd`"/Result/restlt.csv"
echo ${cmd}

Total=7

while :
do
  Cnt=`wc -l ${File} | awk '{print $1}'` >/dev/null 2>&1
  Pro=`ps -ef | grep "GetLogs.sh " | \grep -v grep | wc -l` >/dev/null 2>&1

if [ ${Pro} = 1 ] ; then
Per=`echo "scale=3;${Cnt}/${Total}*100" | bc`
date;echo ${Per}"% completed...."

else
break
fi

sleep 5

done

F.shをPythonを介さずに実行すると
date;echo ${Per}"% completed...."
が問題なく画面出力するのですが、
Pythonから実行すると上記の出力がされることなく終了してしまいます。

Popenの.communicate()でもトライしてみましたが
戻り値が空っぽ（NONE)でした。
バックグラウンド実行の出力は標準出力ではないのでしょうか？
どうしたら表示されますでしょうか。

アドバイスいただけると幸いです。

Comments

[t_obara]

私自身確認していないのであれですが、次のURLは参考になりませんか？
https://stackoverflow.com/questions/41542960/run-interactive-bash-with-popen-and-a-dedicated-tty-python

[otn]

pythonコードにプロセスのstdoutを表示する部分が含まれていませんが？

[stweoigh]

>t_obara
ご回答ありがとうございます。
こちらはttyを操作するためのスクリプトのようなので
今回のエラーとは少し違うようです。

>otn
コメントありがとうございます。
stdoutを表示するコードが
``stdout = subprocess.PIPE``だと思っていたのですが
勘違いでしたらご教授いただけると幸いです・・・。

[otn]

違います。それは、「コマンド実行のstdoutをパイプに書け」と言う事です。パイプを読んで書く処理が必要です。

Answer 1

結局pipeをwriteして表示させても空っぽ。。
ということで再考しpython内でF.shで実行していたsshコマンドと
b.shで実行していた進捗表示を全て行うことにしました。
tqdmという便利なライブラリがあったのでこちらを使用。

参考：https://blog.amedama.jp/entry/2018/07/23/080000
https://qiita.com/pontyo4/items/76145cb10e030ad8186a

HOSTS=["HOST_A","HOST_B"]
RMcmd="uname -a" ##SSH接続先で実行すること
csv=RESULTS.csv
logfile = open(csv, 'w') ##logfileを作る

CNT=0
pbar = tqdm(total=len(HOSTS))

while CNT < len(HOSTS):
        
    for host in HOSTS:
        
        Loccmd = ("ssh -o StrictHostKeyChecking=no {}  '{}'".format(host,RMcmd))

        proc=subprocess.Popen(shlex.split(Loccmd), stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
         
        
        with open(csv, 'a') as f:
        
            for line in proc.stdout:
                errorfile = open(str(PyPath)+'/error/'+host+'_error.csv', 'w')　#ホスト毎にエラーファイルを作成
                f.write(str(line.decode('utf-8'))) #標準出力
                errorfile.write(str(proc.stderr))　#標準エラー出力
                proc.wait()    
                
        CNT +=1
        pbar.update(1)