pythonのライブラリ「paramiko」にてpythonコマンドだけ実行できず困っております

Question

（2022/12/17 21:20追記）
（2022/12/17 21:35修正）
（2022/12/17 23:10追記）

サーバを二つ用意して
Aサーバの{paramikoファイル}.pyを実行してBサーバの{実行ファイル}.pyを実行したいのですが、どうしても実行できません。

■構成イメージ
<Aサーバ>
A_appディレクトリ
→{paramikoファイル}.py
→{paramikoファイル}.sh
<Bサーバ>
B_appディレクトリ
→{実行ファイル}.py
→{実行ファイル}.sh

■前提
・A,Bともにubutuサーバ
・下記各コーディング内容

# ■{paramikoファイル}.sh
source /home/xxx/.bashrc
echo $環境変数名
echo "アプリサーバ"
/usr/bin/python3 /フルパス/{実行ファイル}.py
echo "処理完了です"

# ■<{paramikoファイル}.py>
#別サーバのメイン処理実行
def {メイン関数名}(data):
    print(data) # テスト用メッセージ【X】
    with paramiko.SSHClient() as client:
        
        #logging.basicConfig()
        #logging.getLogger("paramiko").setLevel(logging.DEBUG)

        # 接続先情報(バッチサーバ)
        HOSTNAME = {'IPアドレス'}
        USERNAME = {'Iユーザー名'}
        KEY_FILENAME = {'秘密鍵格納先'}
        
        #  実行コマンド設定（★いくつかのコマンドをテスト用に実行）
        print("BB") # テスト用メッセージ 【Y】
        #LINUX_COMMAND = 'cd {{実行ファイル}.pyへのフルパス} ; python3 {実行ファイル}.py' # ケース1
        #LINUX_COMMAND = '/usr/bin/python3  {{実行ファイル}.pyへのフルパス}/{実行ファイル}.py' # ケース2
        LINUX_COMMAND = 'bash {{実行ファイル}.shへのフルパス}/{実行ファイル}.sh' # ケース3 
        #LINUX_COMMAND = 'ls -l {{実行ファイル}.pyへのフルパス}/{実行ファイル}.py' # ケース99

        # SSH接続
        client = paramiko.SSHClient()
        client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

        # 公開鍵認証方式
        client.connect(HOSTNAME, username=USERNAME, key_filename=KEY_FILENAME)

        # コマンド実行
        stdin, stdout, stderr = client.exec_command(LINUX_COMMAND)

        for line in stdout:
            print(line, end='')

if __name__ == "__main__":
    data = "バッチ実行"
    {メイン関数名}(data)

#■<{実行ファイル}.sh>
source /home/xxx/.bashrc
echo $環境変数名
echo "Webサーバ"
/usr/bin/python3 /フルパス/{実行ファイル}.py --pyファイル実行用
echo "処理完了です"　--テスト用メッセージ【Z】
done

# ■<{実行ファイル}.py>
##メインクラス
if __name__ == '__main__':
    
    touch_file = pathlib.Path( "./20221217test.txt" ) # 空ファイル作成　【★Bサーバで実行すると出力されるがAサーバからだと作成されない】
    touch_file.touch()
    
    print("print出力") # テスト用メッセージ【α】
    logger = LogOutTest.LogOutTest() # ログファイル出力用関数　【★Bサーバで実行すると出力されるがAサーバからだと出力されない】
    logger.info('処理中')
    a = 1
    b = 2
    c = a + b
    logger.info('変数a：' + str(a) + '|変数b：' + str(b) + '【処理結果：' + str(c) + '】')
    logger.info('処理済')

■試行内容　【print,echo結果】
①AサーバからsshコマンドでBサーバに接続してpython3コマンド（{実行ファイル}.py）実施【α】
②AサーバからsshコマンドでBサーバに接続してshコマンド（{実行ファイル}.sh）実施【Z,α】
③Aサーバpython3コマンド（{paramikoファイル}.py）実施 # ケース1,2【X,Y】
④Aサーバpython3コマンド（{paramikoファイル}.py）実施 # ケース3【X,Y,Z】

環境設定か、コーディングが悪いのか、それともparamikoの仕様か
どうか調査しても特定できないため、ご助力いただけないでしょうか。

Comments

[TakaiY]

もういちど、お聞きします。

質問などにある「失敗」とか「実行できません」とか「※実行結果無し」とあるのはどのようなことになったことを表わしていますか？

エラーメッセージが出る？
何も出力されていないようにみえる？
単にprint文で何かを表示するだけの.pyだとどのようになりますか？

[aluter]

全体的に質問の内容を修正いたします。

[TakaiY]

状況からすると、やっぱりエラーになっているんじゃないでしょうかね。
stderr に何か入っていると思うので、そちらも表示してみるとどうなりますか？

for line in stderr:
print(line, end='')

[aluter]

ご回答ありがとうございます。
下記にて原因がわかりました。
＞for line in stderr:
＞print(line, end='')

→自作アプリのため、環境変数（.bashrc)をいろいろ設定して
　{実行ファイル}.py内に環境変数を取得するようにしていたのですが、
　A = os.environ['環境変数名']
　それがエラーとなっておりました。

エラー内容：KeyError: '環境変数名'

A,Bサーバともに同じ環境変数を設定してましたが、何かしらの設定が必要かもしれないです。
試しに、{実行ファイル}.pyから環境変数等の設定を除いたところ、うまくいきました。
※Aサーバpython3コマンド（{paramikoファイル}.py）実施 # ケース3【X,Y,Z,α】

stderrについての理解がなくご指摘ありがとうございます。

[TakaiY]

いえいえ。 もうちょっと早く気づけばよかったです。

ただ、やはり、「失敗した」などの抽象的な言葉では、発している側と受けている側で認識が違ってしまうため、質問にはもっと具体的に書く必要がありますね。

解決済みにしやすいように、回答に追記しておきます。

[aluter]

早急な回答ありがとうございました。
とても助かりました！

[jbpb0]

> →自作アプリのため、環境変数（.bashrc)をいろいろ設定して 　{実行ファイル}.py内に環境変数を取得するようにしていたのですが、
　A = os.environ['環境変数名'] 　
それがエラーとなっておりました。

環境変数を「.bashrc」ではなく「.bash_profile」または「.profile」で設定してもダメでしょうか？

参考
https://techracho.bpsinc.jp/hachi8833/2021_07_08/66396

Answer 1

python3 をフルパスで指定したらいいのではないかと思います。
/usr/binにインストールされているなら、

LINUX_COMMAND = '/usr/bin/python3 ~/B_app/{実行ファイル}.py'

もしかすると、 B_appもフルパスにしたほうがいいかもしれません。

---

追記

状況からすると、やっぱりエラーになっているんじゃないでしょうかね。
stderr に何か入っていると思うので、そちらも表示してみるとどうなりますか？

        for line in stderr:
            print(line, end='')

---

さらに追記

→自作アプリのため、環境変数（.bashrc)をいろいろ設定して
{実行ファイル}.py内に環境変数を取得するようにしていたのですが、
A = os.environ['環境変数名']
それがエラーとなっておりました。

.bashrcは、普通にログインすると読み込まれますが、ツールによるログインなどでは読み込まれない場合があります。
どのようなときに読まれるかは意外と面倒なので、環境変数を使って情報をやりとりしたいのであれば、pythonファイルをshellから呼ぶようにして、しかもそのshellの中で明示的に ~/.bashrc をsourceするようにしたほうがいいですね。

source /home/xxx/.bashrc

/usr/bin/python3 /home/xxx/yyy.py

Comments

[aluter]

ご回答ありがとうございます。
試してみて下記ファイルにていづれのパターンもうまくいかない状態です。

<{paramikoファイル}.py>
LINUX_COMMAND = '/usr/bin/python3 /フルパス/{実行ファイル}.py'　【失敗】※実行結果無し
LINUX_COMMAND = 'ls -l /フルパス/{実行ファイル}.py'　【成功】　※フルパス情報が誤っていないかを確認

試しにshellでも実行してみてうまくいきませんでした。

<{実行ファイル}.sh>
ARRAY=(1 2)
for num in ${ARRAY[@]}; do
/usr/bin/python3 /フルパス/{実行ファイル}.py --pyファイル実行用
echo $num"回目のループです"　--本ファイル実行有無確認用
done

[TakaiY]

「※実行結果無し」とはどういうことでしょう？
コマンドがみつからないとかいうことであれば、ちゃんと動いているのでは？

コマンドを見ると、
for line in stdout:
print(line, end='')
これ、何も表示されなくてあたりまえだと思いますけど。

固定の文字を出力するprint文でためしてみたらどうなりますか？

[aluter]

早急なご回答ありがとうございます。
情報足らずで申し訳ございません。
print文は<{実行ファイル}.py>に仕込んでいて
下記イメージでコーディングしております。

***********************
{}=別名に変更した意

①<{paramikoファイル}.py>
#別サーバのメイン処理実行
def {メイン関数名}(data):
print(data) # どこまで処理がうまくいっているかテスト用メッセージ 【毎回出力される】
with paramiko.SSHClient() as client:

#logging.basicConfig()
#logging.getLogger("paramiko").setLevel(logging.DEBUG)

# 接続先情報(バッチサーバ)
HOSTNAME = {'IPアドレス'}
USERNAME = {'Iユーザー名'}
KEY_FILENAME = {'秘密鍵格納先'}

# 実行コマンド設定（★いくつかのコマンドをテスト用に実行）
print("BB") # どこまで処理がうまくいっているかテスト用メッセージ 【毎回出力される】
#LINUX_COMMAND = 'cd {{実行ファイル}.pyへのフルパス} ; python3 {実行ファイル}.py' # テストファイルを実行
#LINUX_COMMAND = '/usr/bin/python3 {{実行ファイル}.pyへのフルパス}/{実行ファイル}.py' # テストファイルを実行
LINUX_COMMAND = 'bash {{実行ファイル}.shへのフルパス}/{実行ファイル}.sh' # テストファイルを実行
#LINUX_COMMAND = 'ls -l {{実行ファイル}.pyへのフルパス}/{実行ファイル}.py'

# SSH接続
client = paramiko.SSHClient()
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

# 公開鍵認証方式
client.connect(HOSTNAME, username=USERNAME, key_filename=KEY_FILENAME)

# コマンド実行
stdin, stdout, stderr = client.exec_command(LINUX_COMMAND)

for line in stdout:
print(line, end='')

if __name__ == "__main__":
data = "バッチ実行"
{メイン関数名}(data)

②<{実行ファイル}.sh>
ARRAY=(1 2)
for num in ${ARRAY[@]}; do
/usr/bin/python3 /フルパス/{実行ファイル}.py --pyファイル実行用
echo $num"回目のループです"　--本ファイル実行有無確認用
done

③<{実行ファイル}.py>
##メインクラス
if __name__ == '__main__':

touch_file = pathlib.Path( "./20221217test.txt" )
touch_file.touch()

print("print出力") # この応答は返ってくる予定
logger = LogOutTest.LogOutTest()
logger.info('処理中')
a = 1
b = 2
c = a + b
logger.info('変数a：' + str(a) + '|変数b：' + str(b) + '【処理結果：' + str(c) + '】')
logger.info('処理済')
***********************
※念のため、一括してパッケージのアップデートしても変化なし

[TakaiY]

ここに書かれてもインデントが表示されないので、質問を編集して載せていただけますか。
上記のコメントは長いので削除いただければと。

[TakaiY]

見ていただいている方に伝わるように、基本的な質問を質問のコメントに書きました。

[aluter]

ご連絡ありがとうございます。
質問内容について、不得手で申し訳ございません。
質問を編集しました。

＞見ていただいている方に伝わるように、基本的な質問を質問のコメントに書きました。
→こちらも確認いたします。

[aluter]

ご回答ありがとうございます。
下記にて原因がわかりました。
＞for line in stderr:
＞print(line, end='')

→自作アプリのため、環境変数（.bashrc)をいろいろ設定して
　{実行ファイル}.py内に環境変数を取得するようにしていたのですが、
　A = os.environ['環境変数名']
　それがエラーとなっておりました。

エラー内容：KeyError: '環境変数名'

A,Bサーバともに同じ環境変数を設定してましたが、何かしらの設定が必要かもしれないです。
試しに、{実行ファイル}.pyから環境変数等の設定を除いたところ、うまくいきました。
※Aサーバpython3コマンド（{paramikoファイル}.py）実施 # ケース3【X,Y,Z,α】

stderrについての理解がなくご指摘ありがとうございます。

[aluter]

＞.bashrcは、普通にログインすると読み込まれますが、
＞ツールによるログインなどでは読み込まれない場合があります。
＞どのようなときに読まれるかは意外と面倒なので、環境変数を使って情報をやりとりしたいのであれば、
＞pythonファイルをshellから呼ぶようにして、
＞しかもそのshellの中で明示的に ~/.bashrc をsourceするようにしたほうがいいですね。

→ご指摘ありがとうございます。
　現在、試しておりますが、ちょっと上手くいかないです。。。
　＞source /home/xxx/.bashrc

　いろいろ試しながら実行中です。

[TakaiY]

> 上手くいかない

まあ、あれwwwですが、具体的に書いただければアドバイスできますよ。

[aluter]

ありがとうございます！
質問に記載しました。
{paramikoファイル}.shでは環境変数が設定されていることはechoで確認できております。
ただし、{実行ファイル}.shでは環境変数が設定されていることがechoで確認できずにかつ
{実行ファイル}.pyの実行で下記エラー(stderr)が発生している次第です。

Traceback (most recent call last):
File "{実行ファイルフルパス}/{実行ファイル}.py", line 6, in <module>
A = os.environ['環境変数名']
File "/usr/lib/python3.8/os.py", line 675, in __getitem__
raise KeyError(key) from None
KeyError: '環境変数名'

[aluter]

一応力技ですが、環境変数に設定した情報を{実行ファイル}.shに直接記載することで、環境変数名でのエラー（KeyError: '環境変数名'）がなくなりました！

[TakaiY]

source /home/xxx/.bashrc
echo $環境変数名

・ この /home/xxx/.bashrc のxxxの部分が本当に存在するパスになっている
・ その.bashrcの中に必要なあっその環境変数が含まれている
なのに、 echo $環境変数 で 表示されないのだとしたら、かなりおかしな状況ですね。

そんなことはありえないと思うので、あらためてちゃんと確認してみていただけますか。

[aluter]

更新がしばらくぶりとなりました。
↓備忘↓
調査して"source /home/xxx/.bashrc"が実行されていないことが分かりました。
引き続き調査中。

[aluter]

解決しました。

"/home/xxx/.bashrc"の改行コードがLFではなかったためとなります。