cron実行時にpythonプログラム中のシェルスクリプトの標準出力が受け取れない

Question

前提・実現したいこと

下記の構成でpython(venv)およびシェルスクリプトをcronで動作させようとしています。
手動では問題なく実行できますが、cronではsubprocess.runで実行したシェルスクリプトの結果が受け取れない状況で行き詰っています。
確認点などありましたら、どなたかご教示いただけますと幸いです。
(補足)
slappasswdでパスワードを入力後に標準出力される[{SSHA}SPciK5sfizFS*******************]のような文字列を取得し、
リストに追加したいと考えています。

発生している問題・エラーメッセージ

+ expect -c '
spawn slappasswd
expect "New password:"
send "文字列\n"
expect "Re-enter new password:"
send "文字列\n"
interact ;
'
spawn slappasswd
New password:
Re-enter new password:
None
None
Traceback (most recent call last):
  File "/hoge/hoge1/pytools/test.py", line 5, in <module>
    get_ssha()
  File "/hoge/hoge1/pytools/test.py", line 14, in get_ssha
    ssha_list.append(m.group())
AttributeError: 'NoneType' object has no attribute 'group'

該当のソースコード

ssha_list = []
def get_ssha():
    for i in range(len(df)):
        pw = str(df.loc[i, 'pw'])
        uid = str(df.loc[i, 'uid'])
        proc_ssha = subprocess.run(['bash', '-x' ,'/hoge/hoge1/pytools/test.sh', pw, uid], stdout=PIPE)
        proc_ssha_stdout = str(proc_ssha.stdout.decode('utf-8'))
        #print(proc_ssha_stdout)   #{SSHA}SPciK5sfizFS*******************]が表示されない
        #print(re.search("{SSHA}.*", proc_ssha_stdout))  #None
        m = re.search('{SSHA}.*', proc_ssha_stdout)
        #print(m)  #None
        ssha_list.append(m.group())
get_ssha()

#!/bin/sh

pw=$1
uid=$2

expect -c "
spawn slappasswd
expect \"New password:\"
send \"${pw}\n\"
expect \"Re-enter new password:\"
send \"${pw}\n\"
interact ;

試したこと

・cronの記載を変えてみる

0 0 * * * /hoge/hoge1/venv/bin/python /hoge/hoge1/pytools/test.py >> /hoge/hoge1/pytools/cron.log 2>&1
0 0 * * * cd /hoge/hoge1/pytools && /hoge/hoge1/venv/bin/python test.py >> /hoge/hoge1/pytools/cron.log 2>&1

・cronの指定をpythonではなくシェルスクリプトにする

#!/bin/sh
PATH=/hoge/hoge1/venv/bin:/sbin:/bin:/usr/sbin:/usr/bin
source /hoge/hoge1/venv/bin/activate
python /hoge/hoge1/pytools/test.py
deactivate

補足情報（FW/ツールのバージョンなど）

cronで実行時のみシェルスクリプトの結果が受け取れないため、エラーログでも「AttributeError: 'NoneType' object has no attribute 'group'」が出力されていると思われます。

        proc_ssha = subprocess.run(['bash', '-x' ,'/hoge/hoge1/pytools/test.sh', pw, uid], stdout=PIPE)
        proc_ssha_stdout = str(proc_ssha.stdout.decode('utf-8'))
        #print(proc_ssha_stdout)   #{SSHA}SPciK5sfizFS*******************]が表示されない

Comments

[otn]

影響無さそうな気もしますが、expectにinteractが入っている意図は何ですか？
また、expectを使わずパスワードをslappasswdのコマンドラインで指定すればいいのでは？

[popopo-v2]

当初シェルスクリプトを作成していた際、slappasswd後の標準出力が受け取れず、interactを入れると受け取れたため、そのままにしておりました。
質問の説明が不足しており、非常に分かりずらく申し訳ございません。
確認したところ、cronで実行する場合はinteractのあるなしに関わらず受け取れないようです。
また、データフレームに「アカウント,pw等」の情報を格納し、順番にpwをexpectで自動入力させたいと考えておりました。

[popopo-v2]

ご返答いただきありがとうございました。

[otn]

expectを削除しても同じ現象だと言うことですね。
コードが途中で切れてしまっていますが、書いてない部分に問題がるのかも。

[popopo-v2]

ご返答いただきありがとうございました。
ご回答いただいたにもかかわらず、理解できておらずすみません。
自分で調べきれず、expect以外の方法が分からなかったのですが、
これまでこのようなサイトで相談させていただいたことがなく、
にっちもさっちもいかず困っていたため、ご返答いただき非常に嬉しかったです。ありがとうございました！！

Answer 1

expectのスクリプトの最後にinteractが入っていますね。 これが原因だと思います。

このinteracetはどんな目的で入っていますか？
手動の時には、ここで制御が戻るので通常のログインだとしたら、いろいろなコマンドが実行できるようになります
cronでは入出力の仮想端末が用意されないので、ちゃんと動けなくなります。。

ただ、slappasswdはshaを返して終了するので、まあ、このinteractに意味はなさそうではありますが。

単にinteractの行を消せば動くと思いますが、ちゃんとした処理にするのであれば、

expect eof
exit

とか書いておけばいいのではいかと思います。

Comments

[popopo-v2]

ご返答いただきありがとうございました。
質問の説明が不足しており、非常に分かりずらく申し訳ございません。
下記対策を行った上で、python抜粋の下記をcron、手動で実行し表示させた場合、それぞれ下記のようになり、"stdout="の部分がcronだと1行目しか受け取れていないように見受けられることまで確認ができました。
手動で実行する場合、interactを消してしまうと、cronで実行した場合と同じ状況になってしまい、やはり1行目以降が受け取れないようです。

■対策
---------------
・interactを消す
・下記を追加する
expect eof
exit
---------------

■python抜粋
proc_ssha = subprocess.run(['bash', '-x' ,'/hoge/hoge1/pytools/test.sh', pw, uid], stdout=PIPE)
print(proc_ssha)　★
proc_ssha_stdout = str(proc_ssha.stdout.decode('utf-8'))
print(proc_ssha_stdout)　★

■cronで実行した場合
・print(proc_ssha)
---------------
CompletedProcess(args=['bash', '-x', '/hoge/hoge1/pytools/test.sh', '文字列(pw)', '********(uid)'], returncode=0, stdout=b'spawn slappasswd\r\n')
---------------
・print(proc_ssha_stdout)
---------------
spawn slappasswd
---------------

■手動で実行した場合
・print(proc_ssha)
---------------
CompletedProcess(args=['bash', '-x', '/hoge/hoge1/pytools/test.sh', '文字列(pw)', '********(uid)'], returncode=0, stdout=b'spawn slappasswd\r\nNew password: \r\nRe-enter new password: \r\n{SSHA}DbwPL6***************\r\n')
---------------
・print(proc_ssha_stdout)
---------------
spawn slappasswd
New password:
Re-enter new password:
{SSHA}DbwPL6***************
---------------

[popopo-v2]

重ねて投稿失礼いたします。
シェルスクリプトを下記のように修正し、(あまりよくないかもしれませんが)中間ファイルでテキスト出力させ、
そこからpythonで読み取らせることで一旦出力が読めるようになりました。
・(追加)bash
----
expect \"{SSHA}.*\"
#interact ;　#削除
expect eof
exit
----
コード自体全体的に見直しが必要ですが、
これまでこのようなサイトで相談させていただいたことがなく、
にっちもさっちもいかず困っていたため、ご返答いただき非常に嬉しかったです。ありがとうございました！！

[TakaiY]

解決したようでよかったです。

回答には「interactを消すだけでよい」と書いてましたが、上記を見てそれではだめなのに気づきました。

expectほspownしたプロセスの出力をバッファして、期待する出力を待ちますが、待ちのコマンド(expect xxx)が無いと、そこで止ってしまいますね。
なので、
expect eof # spawnしたプロセスの終了待ち
exit #expectの終了
は必須でした。

[popopo-v2]

ご返答に気づけず遅れてしまいました。申し訳ございません。
>expectはspawnしたプロセスの出力をバッファして、期待する出力を待ちますが、
>待ちのコマンド(expect xxx)が無いと、そこで止ってしまいますね。
なるほど。。ご回答いただき、改めて挙動が少し理解できました。
●●だから△△になるというような理解ができておらず、場当たり的に対応してしまっているため、
linuxやシェルスクリプトの造形(?正しいか分かりませんが…)を勉強しようと思います。
ご回答いただきありがとうございました。