subprocessで環境変数の宣言がうまく行かない

Question

Pythonから制御してNEUTRINOを動かしたい

subprocess内で記入した export LD_LIBRARY_PATH=$PWD/bin:$PWD/NSF/bin:$LD_LIBRARY_PATH と言う変数をNEUTRINO側がうまく受け取ってくれません。

subprocessのNEUTRINOを実行する直前に書いたりしましたが、全く受け取ってくれませんでした...

発生している問題・エラーメッセージ

./bin/NEUTRINO: error while loading shared libraries: libcublas.so.10: cannot open shared object file: No such file or directory

該当のソースコード

step1 = 'export LD_LIBRARY_PATH=$PWD/bin:$PWD/NSF/bin:$LD_LIBRARY_PATH && ./bin/musicXMLtoLabel score/musicxml/{0}{1} score/label/full/{0}.lab score/label/mono/{0}.lab'.format(score_data, ext)

subprocess.run(step1, shell=True)

試したこと

export = 'export LD_LIBRARY_PATH=$PWD/bin:$PWD/NSF/bin:$LD_LIBRARY_PATH'
step1 = './bin/musicXMLtoLabel score/musicxml/{0}{1} score/label/full/{0}.lab score/label/mono/{0}.lab'.format(score_data, ext)

subprocess.run(export, shell=True)
subprocess.run(step1, shell=True)

事前にPythonプログラムを実行するターミナル内で宣言しておけば、動作はしました。

補足情報（FW/ツールのバージョンなど）

Python 3.8

Comments

[otn]

ソースコード中で起動しているのは、./bin/musicXMLtoLabel で、エラーメッセージを出しているのは ./bin/NEUTRINOですが、この2つはどういう関係ですか？

[rumia_ch]

あ、ミスってました…

./bin/NEUTRINO が ./bin/musicXMLtoLabel で作成されたデータを読み込み、作成するといった感じです

楽譜データ → ./bin/musicXMLtoLabel → ./bin/NEUTRINO → ...

[rumia_ch]

step2(NEUTRINOの呼び出しのところ)にも書いてみましたが、変わりませんでした…

[otn]

質問文にコピペする部分を間違えたということでしょうか？
であれば、編集して正しくしてください。

Answer 1

step2(NEUTRINOの呼び出しのところ)にも書いてみましたが、

exportで設定したものは、そのsubprocess.runの中のそれ以降の部分でのみ有効です。
subprocess.runを複数回使うなら、その都度環境変数の設定が必要です。
あるいは、subprocess.runに先立ってos.environを使ってPythonプロセス自体の環境変数を書き換えて置くか。

変わりませんでした…

書き方が間違っていたのでしょう。書き直し後のコードを載せてください。

Comments

[rumia_ch]

step2 = 'export LD_LIBRARY_PATH=$PWD/bin:$PWD/NSF/bin:$LD_LIBRARY_PATH ./bin/NEUTRINO score/label/full/{0}.lab score/label/timing/{0}.lab ./output/{0}.f0 ./output/{0}.mgc ./output/{0}.bap ./model/{1}/ -n {2} -k {3} -t -m'.format(score_data, singer_data, CPUThreads, StyleShift)

と書いてました

[otn]

exportとNEUTRINOの間に、; か && が抜けてますね。それが原因でしょう。

これだとエラーメッセージも違ったはずですが。

[rumia_ch]

&& でつないでみましたが、変わりませんでした...

[otn]

変わらないというのは、最初と同じエラーメッセージ？
shell=True は書いてますか？

[rumia_ch]

書いてます
最初と同じメッセージです

[otn]

とすると、あとはタイプミス、コピペミスでしょうか。
間違いが見つかるまで探しましょう。

[rumia_ch]

ソフトの実行までは行けているのですが、ずっとソフト側が「環境変数が見つからないぞぉ〜」って言っている状態です...

コードからコピペ

import subprocess as cmd

step2 = 'export LD_LIBRARY_PATH=$PWD/bin:$PWD/NSF/bin:$LD_LIBRARY_PATH && ./bin/NEUTRINO score/label/full/{0}.lab score/label/timing/{0}.lab ./output/{0}.f0 ./output/{0}.mgc ./output/{0}.bap ./model/{1}/ -n {2} -k {3} -t -m'.format(score_data, singer_data, CPUThreads, StyleShift)

cmd.run(step2, shell=True)

※Pythonのコードは関数内に格納しており、ボタンクリック時に実行

もとのシェルスクリプト

※BASENAME=score_data
※ModelDir=singer_data
※NumThreads=CPUThreads
※StyleShift=StyleShift

export LD_LIBRARY_PATH=$PWD/bin:$PWD/NSF/bin:$LD_LIBRARY_PATH

./bin/NEUTRINO score/label/full/${BASENAME}.lab score/label/timing/${BASENAME}.lab ./output/${BASENAME}.f0 ./output/${BASENAME}.mgc ./output/${BASENAME}.bap ./model/${ModelDir}/ -n ${NumThreads} -k ${StyleShift} -t -m

Answer 2

まず、Pythonで環境変数を設定してからsubprocess.runを実行しましょう。

環境変数の設定は以下です。

import os
if 'LD_LIBRARY_PATH' in os.environ:
    os.environ['LD_LIBRARY_PATH'] = './bin:.//NSF/bin:' + os.environ['LD_LIBRARY_PATH']
else:
    os.environ['LD_LIBRARY_PATH'] = './bin:.//NSF/bin'

Comments

[rumia_ch]

無事動作しました！！

ありがとうございます！！

かと思ったら動かなくなっちゃいました...

まぁ、地道に自分のコードのあら捜ししていきます...

Answer 3

subprocess.runにはenvという環境変数を渡すための引数が用意されているので、
見通し的にはこう書くのもありかなと思いました。
※環境変数が渡ることだけ確認済み

https://docs.python.org/ja/3/library/subprocess.html#module-subprocess

import os
import subprocess

step1 = './bin/musicXMLtoLabel score/musicxml/{0}{1} score/label/full/{0}.lab score/label/mono/{0}.lab'.format(score_data, ext)
# 環境変数を引き継ぎつつ、必要な分を構築する
env = {
    **os.environ,
    # 環境変数をあらかじめ展開する必要がある（PWDや元のLD_LIBRARY_PATH）
    "LD_LIBRARY_PATH": "{0}/bin:{0}/NSF/bin:{1}".format(os.getcwd(), os.environ.get("LD_LIBRARY_PATH", "")),
}
subprocess.run(step1, shell=True, env=env)

Comments

[rumia_ch]

Expected expression というエラーがコーディング中に出てきます...

[rumia_ch]

.formatのあとにカッコを追加すればエラーは消えました...

でも動きません...

[attakei]

最初のコメントでフィードバックを貰った際と同様に「どう動かなかったか」が無いと返答がちょっと難しいです。

あり得るケースとしては、環境変数としてLD_LIBRARY_PATHが定義されていないとかなら最初の回答だとKeyErrorが出ます。
※文法エラー含めて直してみます

Answer 4

step1 = 'LD_LIBRARY_PATH=$PWD/bin:$PWD/NSF/bin:$LD_LIBRARY_PATH ./bin/musicXMLtoLabel score/musicxml/{0}{1} score/label/full/{0}.lab score/label/mono/{0}.lab'.format(score_data, ext)

ではダメでしょうか？

Comments

[rumia_ch]

動かないです...

[mather]

どう動きませんでしたか？

[rumia_ch]

全く同じエラーが出ていました…

subprocess内で宣言した変数が次のsubprocessでの実行で利用されていない感じです…