Pythonでファイル出力シェルを呼び出した場合の挙動について

Question

前提・実現したいこと

Python3.6.5からシェルを実行したいのですが、シェル内にファイル書き出し処理があるためか正常に動作しません。
シェル側はcsvファイルの文字列を置換し、別ファイルに出力する処理です。

##出力結果
file.csvが0byte

該当のソースコード

python側該当箇所

subprocess.run(["/batch/output.sh", "xxx.csv"])

シェル側問題箇所

sed -e "s/\r//" /tmp/xxx.csv > /export/file.csv

補足情報

Django2を使ったwebアプリ上で動作します。
/batch/output.shをコマンド実行すると正常に動作します。

追記

シェルの手動実行・・・ok
test.py の実行・・・ok

#!/usr/bin/env python
import subprocess
res = subprocess.run(["xxx.sh", "test.csv"], stdout=subprocess.PIPE)
print(res)

Webアプリ(Django)からの実行・・・NG

権限、PATH、Django仕様あたりを調べてみます。

Comments

[mkgrei]

どのような正常ではないことが起きたのでしょうか。

[kappan]

Webアプリからoutput.shを実行すると、file.csvが0byteとなります。output.shをターミナルからの手動実行をすると正常な結果を取得できます。

Answer 1

subprocess.run(["/batch/output.sh", "xxx.csv"])
↓
subprocess.run(["/batch/output.sh", "/tmp/xxx.csv"])

フルパスで記載すればよい、というシンプルな対応でいかがでしょうか。

おそらくDjango経由の場合、カレントディレクトリがWebサーバのプロセスのカレントになるため、書き込み権限が無くて何も書き出されず、空のファイルを入力としてsedしてるのでfile.csvも空になる。という流かと思います。

Comments

[kappan]

回答ありがとうございます。
どうやら直前にファイルアップロードして、そのファイルを操作すると0byteになるようです。
views.py
--
1.ファイルアップロード処理
2.シェル実行処理
--
1でアップしたファイルを2で処理すると0byte
直前にアップロードしたファイル以外を処理すると正常

Answer 2

ご意見、ご回答ありがとうございます。
結論を言いますと、ファイルクローズ漏れが原因でした。

--views.py--
//ファイルアップロード処理
destination = open(path, 'wb')
～
destination.close() ←追記
//アップロードファイルをシェルで操作
subprocess.run([SHELL_DIR + "xxx.sh", file.name], stdout=subprocess.PIPE)