subprocessの標準出力を非同期で取得したい

Question

前提・実現したいこと

初歩的な質問かもしれませんが、調べても自己解決出来なかったため質問させていただきます。

Pythonから別のプログラムを起動してログ（標準出力）を取得するため、下記のようなプログラムを用意したのですがいくつか分からない点があります。

command = ['./program']
P_PATH = '/home/user/デスクトップ/NewFolder'

prco = subprocess.Popen(command, cwd=P_PATH, stdout = subprocess.PIPE, stderr = subprocess.STDOUT)

for line in prco.stdout.readline:
    print(line.rstrip().decode("utf8"))

print("finish")

• 変数prcoにメモリアドレスらしきものが代入されていたのですが、subprocessで起動したプロセスのメモリアドレスでしょうか？

• prco.stdout.readlineをforで回すとログが一行ずつ出力されるのですが、内部はどのようになっているのですか？（なにかしらをイテレータで処理していると思うのですが...）

• subprocessで起動したプロセスが終了しないとforループから抜け出せないのですが、非同期でログを出力することはできますか？（asyncなどで別の処理と並行して出力したいです）

asynce forを使えば実現出来そうな気もするのですが、仕様がよく分からず困っています。

Python、Linux系OS初心者なので細かいところまで解説していただけると幸いです。
※理解しきれていない事が多いので不明な点を指摘して頂けると修正致します。

環境

Python 3.6.9
Ubuntu 18.04.4 LTS

Answer 1

変数prcoにメモリアドレスらしきものが代入されていたのですが、subprocessで起動したプロセスのメモリアドレスでしょうか？

違います。生成されたsubprocess.Popen objectのアドレスで、親のPythonプロセスの仮想アドレス空間上のどこかにこのオブジェクトはいます。

prco.stdout.readlineをforで回すとログが一行ずつ出力されるのですが、内部はどのようになっているのですか？（なにかしらをイテレータで処理していると思うのですが...）

まずそのコードは動かないはずです。

for line in prco.stdout.readline():

または

for line in prco.stdout.readlines():

の間違いでは？

基本的に入出力などはioモジュールにまとめられているような方法で抽象化されていて、readlineやreadlinesの挙動についてはこちらが参考になります。

subprocessで起動したプロセスが終了しないとforループから抜け出せないのですが、非同期でログを出力することはできますか？（asyncなどで別の処理と並行して出力したいです）

readlinesの方だとプロセスが終わってから（厳密にはEOFが送信されてから、かな）値が返るので無理ですね。バッファをそのままイテレートするかreadlineを繰り返し呼び出すのであれば、プロセスの終わりは待たないかと。

Comments

[Reem]

ご回答ありがとうございます。
prco.stdout.readline():の間違いですね…
書き込むときに()が消えてしまっていたみたいです。
わかりやすい回答でとても勉強になりました。