Pythonから別プログラムを実行し、その出力を実行元で得たい。

Question

前提・実現したいこと

Pythonから別プログラムを実行し、その出力を実行元で得たい。
下記のようにプログラムを書いたのですが何も出力されず実行されたところで止まってしまいます。

該当のソースコード

elif text.lower() == 'restart':
    cl.sendMessage(to, "再起動中...")
    cl.sendMessage(to, "再起動しました。再ログインしてください。")
    #restartBot()
    path = "restart.txt"
    p = subprocess.Popen (('python x.py'), stdout = subprocess.PIPE, shell=True)
for l in p.stdout:
    print = l.strip ()
    #cl.sendMessage(to, str(print))
    with open(path, mode='w') as f:
        f.write(str(l))
    with open(path) as f:
        cl.sendMessage(to, f.read())
ret = p.wait ()
cl.sendMessage(to, '正常に再起動しました'.format (ret))

調べたものの、分からなかったためお分かりの方いらっしゃれば
ご教授お願い致します。

追記

OS：
# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)

Python：
# python --version
Python 3.5.0

実行はLINEから「restart」と言うメッセージを得たら、実行される仕組みになってます。

Answer 1

以下にてリアルタイムにサブ側の標準出力を取得することができます。
注意点としては、サブ側でのprint関数での出力だとバッファに溜まりリアルタイムで取得できないようです。
その代わりに直接stdout.write(＋バッファをフラッシュする必要があります。
参考：Pythonのsubprocessで標準出力をリアルタイムに取得する

メイン側(main.py)

import subprocess
import datetime

p = subprocess.Popen(('python x.py'), stdout = subprocess.PIPE, shell=True)
with open('restart.txt','w',encoding='utf-8') as f:
    while True:
        # サブ側の標準出力をうける
        line = p.stdout.readline()
        if line is not None:
            line = line.decode().strip()
            if len(line) > 0: # 最後にバッファから空文字が大量に吐き出される？対策
                f.write(line+'\n')
                print(line,datetime.datetime.now()) # リアルタイムか確認用に日時も出力
                # cl.sendMessage(to, line)

        # サブ側が終了
        if p.poll() is not None:
            ret = p.returncode
            break
print('正常に再起動しました[{}]'.format(ret))
#cl.sendMessage(to, '正常に再起動しました'.format (ret))

"""
x:0 2018-11-15 08:04:11.699754
x:1 2018-11-15 08:04:12.700563
x:2 2018-11-15 08:04:13.701458
x:3 2018-11-15 08:04:14.701805
x:4 2018-11-15 08:04:15.701997
正常に再起動しました[0]
"""

サブ側(x.py)

import time
import sys

for i in range(5):
    #print('x:',i)
    # 直接標準出力に吐き出しバッファをクリアする！
    sys.stdout.write('x:{}\n'.format(i))
    sys.stdout.flush()
    time.sleep(1)

検証環境

Win10+Anaconda(Python3.5.x)+コマンドプロンプト上に加え
以下のWSL(Windows Subsystem for Linux)のLinux環境でも正常動作することを確認。
OS：Ubuntu 14.04.5 LTS
Python：3.4.3
実行手段：ターミナル(bash)上からpython3 main.pyにて実行。

Comments

[TanakashiXr]

ご丁寧にありがとうございます！
出力が得られません。。。なぜなのでしょうか？
ちなみにメイン側とサブ側は同じプログラムです。

[8524ba23]

まずは回答コードの動作の結果について教えてください。正常に動作しますか？

[TanakashiXr]

エラーも何も出力されませんでした。
動作はしているのかと。。。

[8524ba23]

OS、Pythonバージョンなど環境、プログラムの実行手順（ターミナル、コマンドプロンプトから～）などの詳細を教えてください。
当方Windows10＋Python3.5にてコマンドプロンプト上からメイン側プログラムを実行しています。

[TanakashiXr]

追記いたしました！

[8524ba23]

もう一度確認なのですが
回答に示したメイン側コードを、Linuxでのターミナル上で実行した場合（サブ側は単純に１秒毎に出力するもの）、エラーも何も出力されなかったのでしょうか？

[TanakashiXr]

はい、されませんでした。
どこか違うとこに出力されているのでしょうか？

[8524ba23]

回答に追記しましたが、Win10に加えUbuntu上でも動作確認できました。
回答コードは最も単純な例なので、これで動作しないとなると、ちょっと手に負えない感じですね。

Answer 2

テキストファイルに直接記載し、それを読み込む方法をとりました

Answer 3

サブプロセスの出力をメインで再出力することをしてみました。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
#main
import sys
import os
import subprocess

p = subprocess.Popen (('python3 ~/python_folder/test/hello.py'), stdout=subprocess.PIPE, shell=True)

p.wait()
stdout_data, stderr_data = p.communicate()
out = str(stdout_data)
out = out[2:-3]

print(out + " main")

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
#hello.py
print("hello world")

出力結果
hello world main

短い文字出力ではp.stdout.read()でもできましたが、長い文字出力の場合は、p.communicate()を使用するようです。
100KBくらいまではいけるようです。
質問者のデータ出力量がどのくらいかわからないため、回答になっているかわかりませんが参考になれば幸いです。

参考リンク
https://qiita.com/mokemokechicken/items/a84b0aa96b94d1931f08

Comments

[TanakashiXr]

サブプロセスの終了を待たずにリアルタイムで出力するにはどうすればいいのでしょうか？