並列処理で別のＰｙｔｈｏｎスクリプトを実行し、Ｐｒｉｎｔされた文字をこちらに返す。

Question

前提・実現したいこと

並列処理で別のＰｙｔｈｏｎスクリプトを実行し、Ｐｒｉｎｔされた文字をこちらに返す。

発生している問題・エラーメッセージ

No such file or directory
bufsize must be an integer
の二つ（書き方を変えるとエラーが変化する。）

該当のソースコード

import subprocess
import sys

try:
    result = subprocess.run('python','self.py', shell=True, check=True,
            stdout=subprocess.PIPE, stderr=subprocess.PIPE, universal_newlines=True)
    for line in result.stdout.splitlines():
        print('>>> ' + line)
except subprocess.CalledProcessError:
    print('error', file=sys.stderr)

試したこと

フルパスでの指定

補足情報（FW/ツールのバージョンなど）

pycharm

###追記

import subprocess
import sys

result = subprocess.run(r'py C:\Users\a\Desktop\py3\self.py', shell=True, check=False,
        stdout=subprocess.PIPE, stderr=subprocess.PIPE, universal_newlines=True)
for line in result.stdout.splitlines():
    print('>>> ' + line)

Answer 1

とりあえず、これでやってみてください。

    result = subprocess.run('python self.py', shell=True, check=True,  # result = の行を書き換え

複数の引数でコマンドを指定することはできないので、こうする必要があります。下のようにしても良いです。

result = subprocess.run('python self.py'.split(), check=True,  # この場合shell=Trueは外して良い
# あるいは
result = subprocess.run(['python', 'self.py'], check=True,  # 上と同じことだが、リストにして与える

No such file or directoryが出たら、フルパスでの指定を試してください。もしwindows環境だと、パスに入る\がエスケープと解釈されるので注意。その場合は文字列の先頭にrを付けてr'path'とし、raw string扱いにして回避できます。

Comments

[furdral]

回答ありがとうございます。
やってみた所エラーは回避できましたが、例外のprintの方が実行されてしまい実行したいスクリプトを実行できません・・・
どうすればよいでしょうか。

[hayataka2049]

質問文への追記で、どんな例外が出てるのか教えてください。スタックトレースまで載せていただけると助かります。self.py側で出ているようであれば、そちらも掲載してください

[furdral]

一応except Exception as e:
の方に変更してエラーを確認した所
Command 'py self.py' returned non-zero exit status 2.
とのエラーが出ていました

[hayataka2049]

なんでpyコマンドなんだろう・・・
python self.pyを直接ターミナルから実行すると、エラーは出ませんか？

[furdral]

pythonだとpython2 pyでpython3で実行するようにしているので変更しました。
質問文の方はなぜかpyにするとそれはそれでエラーが出るのでpythonのままにしておきましたが・・・
直接実行するとエラーは出ません。

[furdral]

self.pyの方のスクリプトはLINE BOT関連の物で、実行後にログインするためのURLが発行されるので、それをこちら（別のスクリプト）で受け取る。　と言うことがしたいのですが・・・並列処理が良く分からないので上手くいかない状況です

[hayataka2049]

「それはそれでエラーが出る」じゃなくて、self.pyはpyとpythonのどちらのコマンドで実行することを想定したプログラムなんですか？
python2と3で構文も当然違うし、それぞれの環境にインストールされているライブラリも違うでしょうから、そのまま変えても動かないのは当然でしょうに

[furdral]

どちらもpython3で　pyコマンドで実行することを想定しています。
同じライブラリの中で動かす予定です。

[hayataka2049]

そもそも怪しい並列処理なんかやめて、モジュールとして機能をまとめて関数呼び出しにでもすれば良いのでは？
で、それはそれとして、returned non-zero exit status 2.の正体を突き止めたいですね・・・とりあえずフルパスにしても出ますか？

[hayataka2049]

あと、py self.pyは当然そのまま実行できるんですよね（確認）

[furdral]

そのまま実行できます。
フルパスにしたところ
returned non-zero exit status 1.
になりました…

[furdral]

やりたい事としては、○○と言うと並列処理などでself.pyを実行し、printされたログインURLを受け取りこちらで表示する。（この時self.pyを実行したままで閉じずに。　なので並列処理かなと。）
と言うことがやりたいのですが・・・

[furdral]

subprocessにこだわるわけでもないので、他の方法でも可能ならそちらをお教え頂ければ・・・

[hayataka2049]

例外処理をすべて外して実行すると何が出るでしょうか。
追記：
あるいは、
except subprocess.CalledProcessError as e:
にしてe.outputをprintかなにかすると詳しく見れるかも

[furdral]

例外を外してしまうとどうしてもエラーになります。
SyntaxError: unexpected EOF while parsing

[hayataka2049]

スタックトレースをぜんぶ貼ってください

[furdral]

C:\Users\a>py C:\Users\a\Desktop\py3\test.py
File "C:\Users\a\Desktop\py3\test.py", line 9

^
SyntaxError: unexpected EOF while parsing

[furdral]

こうなります

[hayataka2049]

とりあえずtest.pyは問題が起こるファイル名なので、変えましょうか（汗
https://qiita.com/msmhrt/items/7e2a335a4c64bcc6e044

[furdral]

変えて実行してみましたが　エラー変わらずです

[hayataka2049]

変更後のプログラムを掲載してください。コメントではマークダウンが効かないので、質問への追記で

[furdral]

分かりました

[furdral]

追記で掲載しました

[hayataka2049]

tryとexceptはセットなので、両方外す必要があります
try:
の行を消して、以下のインデントを1段階浅くしてください

[furdral]

Traceback (most recent call last):
File "C:\Users\a\Desktop\py3\heiretu.py", line 5, in <module>
stdout=subprocess.PIPE, stderr=subprocess.PIPE, universal_newlines=True)
File "C:\Python36\lib\subprocess.py", line 418, in run
output=stdout, stderr=stderr)
subprocess.CalledProcessError: Command 'py C:\Users\a\Desktop\py3' returned non-zero exit status 1.

[furdral]

こんな感じになりました

[hayataka2049]

大した情報なかったですね・・・
ふと思ったけど、エラー情報はresult.stderrに入ってるんじゃないかしら。こっちをresult.stdoutと同様に見るとどうなります？

[furdral]

同様に見るとはどういう？

[hayataka2049]

check=Falseにして
for line in result.stderr.splitlines():
　　print('>>> ' + line)
とか追加してください

[furdral]

やってみたところ　何も実行されず空白のまま一瞬で処理が終わってしまいました

[hayataka2049]

stdoutにもstderrにも何も出てきませんか・・・謎
ところで、今気づいたけどr'py C:\Users\a\Desktop\py3'は正しいのですか？（ファイル名とか）

[furdral]

間違ってないです。
py3フォルダの中にheiretu.pyがあるので

[hayataka2049]

それならr'py C:\Users\a\Desktop\py3\heiretu.py'だと、どうなりますかね

[hayataka2049]

ん、というかself.pyを実行したいのでは？　heiretu.pyとか初めて聞きましたけど

[furdral]

さっき名前変えたtest.pyですね。

[furdral]

うーんと、もう１度やりたいことをまとめます

[furdral]

今回のheiretu.pyで並列処理を使用しself.pyを実行、printされた文字（URL)を取得してheiretu.pyでprint。
self.pyはそのまま動かしたままで、heiretu.pyでその処理を実行する度にself.pyが一つずつ増えていく。
heiretu.pyのこの処理の実行にはinputなどで何かを入力したときに実行させるようにします。

[furdral]

inputなどは文字を取得→printで表示と言う過程が出来てから付けるので今はまだないです。

[hayataka2049]

そしたら、とりあえずr'py self.pyのフルパス'にしないと動きませんね。ディレクトリまでの指定じゃなくて、ファイル名を含めて書いてくださいな。

[furdral]

やってみます

[hayataka2049]

「self.pyはそのまま動かしたままで」って書いてますけど、subprocess.runすると普通に処理が終了するとプロセス消えますけど・・・

[furdral]

ええと、処理を実行する度にself.pyが一つずつ増えて動いたままにする方法はないでしょうか。
このheiretu.pyを停止した場合にのみ全部が停止するようにしたいので

[furdral]

フルパスで指定した所、printがされなかったので文字を取得できてないみたいです。

[furdral]

追記の方のソースを更新しておきます

[hayataka2049]

二重投稿になっちゃったから消した

[hayataka2049]

＞ええと、処理を実行する度にself.pyが一つずつ増えて動いたままにする方法はないでしょうか。
＞このheiretu.pyを停止した場合にのみ全部が停止するようにしたいので
runを使う限り、たぶん無理だと思います。subprocess. Popenの方だと確か動かしっぱなしにも出来た気がしますが、面倒くさいわリソース食うわで（たかがしれてるけど）あんまり良いことはありません
threadingの方だと気楽にできますから、それ使うのは一つの選択肢でしょうね

[hayataka2049]

そして今気づいた、stderr=subprocess.PIPEを消すとエラーがそのまま画面に出てくると・・・

[furdral]

なるほど。
スクリプトはサーバーで動かすのでそのPopenでもいいのですが、threading?と言う方でやる場合はどの様にしたらいいですか？

[hayataka2049]

とりあえず、今のimport以外のコードをぜんぶ消して（コメントアウトで良いです）、
subprocess.run(r'py C:\Users\a\Desktop\py3\self.py', shell=True)
だけで実行してみましょうか。これでシェルから「py C:\Users\a\Desktop\py3\self.py」と打ったときと同じ出力にならなければ、もうこっちは諦めましょう

[furdral]

同じ表示でURLが表示されました

[hayataka2049]

関数としてまとめて走らせるだけです＞threading?と言う方でやる場合はどの様にしたらいいですか？
リソースのやり取りは工夫する必要がありますが、あとは走らせっぱなしにするのも（どんな処理が走るのかいまいち想像がつきませんが）割と自然に書けると思います
ただしマルチコアの恩恵は受けられないのですが

[furdral]

ふむ、ちょっと調べてみましたがthreadingの書き方が今一分からないので少しサンプルとして書いていただくことは可能ですかね？

[hayataka2049]

最近threading使う回答を書いたので、参考にしてください。あとはネットのとか見て頑張って＞サンプル
https://teratail.com/questions/128013

それよりURLが出た方が不可解なので、もうちょっとこっちを追求してみませんか。
2018/05/27 21:58のコメントのコードが動くなら、
result = subprocess.run(r'py C:\Users\a\Desktop\py3\self.py', shell=True, stdout=subprocess.PIPE, universal_newlines=True)
print(result.stdout)
これも走ると思うんですが

[furdral]

実行後何も表示されずに処理も終わらないまま停止します。

[hayataka2049]

そうですか。手元で適当なコード走らせた感じだと、普通に動くんですけどねぇ・・・。私はこれ以上は手も足も出なさそうです

[furdral]

なるほど。
長々とありがとうございました。
また機会がありましたら宜しくお願いします。