RasberryPi【python】:G-mail送受信のcron定期実行が動作しない。

Question

お世話になります。
ラズパイにてG-MAILのAPIを使用してメール送受信を定期実行させるプログラムを製作しているのですが
うまく動作せず困っております。。。

pycharm上で正常動作を確認し、さらにラズパイにpythonファイルを転送してラズパイのterminal上で
コマンドを実行してラズパイ上でも動作するところまで確認できています。
ただ、これをcronで設定して動作させようとすると何故か動作しません。。。【添付画像】

プログラム自体はPC/ラズパイで動作しているので間違いはないと思っているのですが
cronで動かないのが何故か解らないのです。。。。

色々調べたのですが、どうしても解らずすいませんが熟練の方々の知恵でアドバイス頂きたく
お手数です何とか宜しくお願い致します。
※ラズパイでcronの起動確認コマンドを実施したところ、cronは起動しているようです。【追記】

from google.oauth2.credentials import Credentials
from googleapiclient.discovery import build
import json
import base64
import smtplib
from email.mime.text import MIMEText
from email.utils import formatdate


def get_header(headers, name):
    for h in headers:
        if h['name'].lower() == name:
            return h['value']

mail_data_list = []

def main_recieve():
    scopes = ['https://mail.google.com/']
    creds = Credentials.from_authorized_user_file('token.json', scopes)
    service = build('gmail', 'v1', credentials=creds)

    messages = service.users().messages().list(userId = 'me', q = 'from: [e-mail]').execute().get('messages')

    for message in messages:
        # print('=' * 30)
        m_data = service.users().messages().get(userId = 'me', id = message['id']).execute()

        # ヘッダー情報を取得
        headers = m_data['payload']['headers']

        # 日付情報を取得
        message_data = get_header(headers, 'date')
        # print('日付: ' + str(message_data))

        #差出人情報を取得
        from_data = get_header(headers, 'from')
        # print('差出人： ' + str(from_data))

        # 宛先情報を取得
        to_data = get_header(headers, 'to')
        # print('宛先： ' + str(to_data))

        #件名情報を取得
        sub_data = get_header(headers, 'subject')
        mail_data_list.append(sub_data)
        # print('件名： ' + str(sub_data))


def main_send():
    sendaddress = '[e-mail]'
    password = '*********'

    subject = 'テストメール'
    bodyText = f'テストプログラム{mail_data_list}'
    fromAddress = '[e-mail]'
    toAddress = '[e-mail]'

    smtpobj = smtplib.SMTP('smtp.gmail.com', 587)
    smtpobj.starttls()
    smtpobj.login(sendaddress, password)

    msg = MIMEText(bodyText)
    msg['Subject'] = subject
    msg['From'] = fromAddress
    msg['To'] = toAddress
    msg['Date'] = formatdate()

    smtpobj.send_message(msg)
    smtpobj.close()


if __name__ == '__main__':
    main_recieve()
    main_send()

progman-7916@raspberrypi:~ $ sudo /etc/init.d/cron status
● cron.service - Regular background program processing daemon
   Loaded: loaded (/lib/systemd/system/cron.service; enabled; vendor preset: enabled)
   Active: active (running) since Fri 2021-12-31 02:31:14 JST; 9h ago
     Docs: man:cron(8)
 Main PID: 370 (cron)
   CGroup: /system.slice/cron.service
           └─370 /usr/sbin/cron -f

12月 31 11:36:01 raspberrypi CRON[10157]: (CRON) info (No MTA installed, discarding output)
12月 31 11:36:01 raspberrypi CRON[10157]: pam_unix(cron:session): session closed for user progman-7916
12月 31 11:39:01 raspberrypi CRON[10220]: pam_unix(cron:session): session opened for user progman-7916 by (uid=0)
12月 31 11:39:01 raspberrypi CRON[10224]: (progman-7916) CMD (python /home/progman-7916/mail_recieve.py)
12月 31 11:39:01 raspberrypi CRON[10220]: (CRON) info (No MTA installed, discarding output)
12月 31 11:39:01 raspberrypi CRON[10220]: pam_unix(cron:session): session closed for user progman-7916
12月 31 11:42:01 raspberrypi CRON[10259]: pam_unix(cron:session): session opened for user progman-7916 by (uid=0)
12月 31 11:42:01 raspberrypi CRON[10263]: (progman-7916) CMD (python /home/progman-7916/mail_recieve.py)
12月 31 11:42:02 raspberrypi CRON[10259]: (CRON) info (No MTA installed, discarding output)
12月 31 11:42:02 raspberrypi CRON[10259]: pam_unix(cron:session): session closed for user progman-7916

Comments

[otn]

画像が見づらいですが、「動作しません」と判断した根拠となる具体的事実は何でしょうか？

[rockey_7625]

見て頂きありがとうございます。
動作しないと判断した理由はこのプログラムは実行すると最終的に自分のメールアドレス宛にメールが返ってくるのですが、コマンドによる手動スクリプト実行ではすぐにメールが返ってきます。
しかし、cronで実行させるとメールがいつまでたっても全く返ってこないので、動作しないと判断しました。
色々調べてやってみたのですが、原因が解っていないのです。。。

[otn]

> 色々調べてやってみたのですが
端末からなら実行できるのにcronからだと期待通りで無いという原因はいろいろありますが、どの原因についてどのように調べて、どういう結果だったかを質問に追記してください。

[rockey_7625]

今のところ当方がやってみたのは以下の通りです。
･)cronの起動確認で(CRON) info (No MTA installed, discarding output)の記載が出ているので
もしかしてpostfixを入れる必要があるのかと思いsudo apt-get install postfixでpostfixをインストール
↓
インストール後、再度cron動作確認したがNG
再度cron起動確認したが下記表示が抱ている状態で、これ以上自分ではどうすればよいか思いつかず
途方に暮れています。。
progman-7916@raspberrypi:~ $ sudo /etc/init.d/cron status
[sudo] progman-7916 のパスワード:
● cron.service - Regular background program processing daemon
Loaded: loaded (/lib/systemd/system/cron.service; enabled; vendor preset: enabled)
Active: active (running) since Fri 2021-12-31 16:35:38 JST; 22h ago
Docs: man:cron(8)
Main PID: 351 (cron)
CGroup: /system.slice/cron.service
└─351 /usr/sbin/cron -f

12月 31 16:36:01 raspberrypi CRON[991]: (progman-7916) CMD (python /home/progman-7916/mail_rec…e.py)
12月 31 16:36:02 raspberrypi cron[351]: sendmail: fatal: open /etc/postfix/main.cf: No such fi…ctory
12月 31 16:36:02 raspberrypi postfix/sendmail[993]: fatal: open /etc/postfix/main.cf: No such f…tory
12月 31 16:36:02 raspberrypi CRON[987]: (progman-7916) MAIL (mailed 195 bytes of output but go…m MTA
)
12月 31 16:36:02 raspberrypi CRON[987]: pam_unix(cron:session): session closed for user progman-7916

[otn]

> 端末からなら実行できるのにcronからだと期待通りで無いという原因はいろいろありますが、
については何も調べてないと言うことですね。
長くなるので、回答の方に書きます。

[rockey_7625]

すいません、端末とcronで動作する・しないについてはどういう調べ方をすればよいか思いつかず
調べてないです。。。【cronは今回初めて使用したのでまだ細かい部分まで理解できていないため。】

Answer 1

端末からなら実行できるのにcronからだと期待通りで無いという原因はいろいろありますが、
・実行ユーザーの違い（さすがにこれは気づくはず）
・環境変数の違い（この原因が多い。特にPATH）
・カレントディレクトリーの違い（これもたまにある）
・umaskの違い（これが原因と言うことはまず無い）
・端末に紐付いているかどうかによる動作の違い（無くはない程度か）
くらいでしょうか。

このサイトでの質問のケースだと大部分がPATHの違いです。
OSの設定にもよるでしょうが、cronからの起動でのPATHのデフォルトは/usr/bin:/binと基本コマンドしか使えない状態ですので、そこに無いコマンドを使うには、PATHを自分で設定するか、コマンドはフルパスで指定するかします。
それ以外の環境変数が動作に影響している可能性もあります。

cronから実行したコマンドで何らかの出力がある場合は、その結果がメールで実行ユーザーに送られます。

コメントにあるようにcronからメールを送ろうとしている（送ろうとして失敗した）ということは、cronで指定したコマンドが何らかの出力を行ったと言うことで、おそらくエラーメッセージでしょう。
メールを送る設定がされていないのであれば、

* * * * * sh -c "実行したいコマンド" >/tmp/cron.log 2>&1

のようにそれをファイルに書いて内容を確認します。

PATHの設定ですが、端末でecho $PATHを実行してその結果が、仮に/usr/local/bin:/foo/bar/bin:/usr/bin:/binであれば、crontabの先頭にコピペします。

PATH=/usr/local/bin:/foo/bar/bin:/usr/bin:/bin
* * * * * コマンド 引数1 引数2

Comments

[rockey_7625]

アドバイス頂き誠にありがとうございます。
すいませんが当方、Linuxはまだ初学者レベルで解っていない部分が多いのですが、頂いた指示を
以下行いました。
まず、crontabには以下を記載しました。
----------------------------------------------
*/3 * * * * python /home/progman-7916/mail_recieve.py
* * * * sh -c "python mail_recieve.py" >/tmp/cron.log 2>&1
----------------------------------------------
※上記、何か入力おかしい部分があればご指摘下さい。

PATHについてはecho $PATHの実行結果は以下の通りです。
progman-7916@raspberrypi:~ $ echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/games:/usr/games

すいません、ご指示頂いたcrontabへの記載 ”* * * * * コマンド 引数1 引数2” の部分は
当方の理解不足でどう入力すればよいか解らなかったので入力例ご教授頂けると幸いです。

取り急ぎ返信いたします。

[otn]

> のようにそれをファイルに書いて内容を確認します。
を無視しないで確認しましょう。

2022/01/01 16:44 のコメントの /var/log/syslog の部分は無意味で邪魔なので、編集で消しておいてください。

[otn]

> すいません、ご指示頂いたcrontabへの記載 ”* * * * * コマンド 引数1 引数2” の部分は
当方の理解不足でどう入力すればよいか解らなかったので入力例ご教授頂けると幸いです。

「コマンド」とか「引数」という単語の意味が理解できないと言うことですか？

[rockey_7625]

すいません、少し細かく確認致します。
･)2022/01/01 16:44 のコメントの /var/log/syslog の部分は無意味で邪魔なので、編集で消しておいてください。→削除しました。

･)”> のようにそれをファイルに書いて内容を確認します。を無視しないで確認しましょう。”の部分は　　　crontabに以下を記載したのですが、”確認”とはlogの確認ではないのでしょうか？
【logの確認かな？と思い/var/log/syslogの結果を記載したのですが。。】
----------------------------------------------
*/3 * * * * python /home/progman-7916/mail_recieve.py
* * * * sh -c "python mail_recieve.py" >/tmp/cron.log 2>&1
----------------------------------------------

･)「コマンド」とか「引数」という単語の意味が理解できないと言うことですか？
→いえ、意味が理解できないのではなく今回のケースでどういうコマンド/引数を入力すればよいか解らない、という意味です。

[otn]

なるほど。リダイレクトを知らないのですね。
「それをファイルに書いて」というのは、
コマンド >/tmp/cron.log
は、コマンドの出力を/tmp/cron.logというファイルに書くという意味です。2>&1 の説明は割愛。

[otn]

> 今回のケースでどういうコマンド/引数を入力すればよいか解らない、という意味です。
自分の実行したいコマンドと引数です。

2つの独立した話が並行して進んでいるのが理解しにくいようなので、
回答の「PATHの設定ですが、」以降は、問題が解決するまで保留にしておくのが良いでしょう。

[setoppu]

横から失礼。
>----------------------------------------------
>*/3 * * * * python /home/progman-7916/mail_recieve.py
>* * * * sh -c "python mail_recieve.py" >/tmp/cron.log 2>&1
>----------------------------------------------
>※上記、何か入力おかしい部分があればご指摘下さい。

2行目のスクリプトのパスはフルパスて書くべきではないかと。
たぶん、/tmp/cron.logにはmail_recieve.pyが見つからない。って残ることになると思いますよ。

動作しない。って原因については、おそらく指摘されている環境変数あたりだと思いますけど。

[otn]

そうですね。ただ、今はまだ「原因の調べ方」を教えている途中なので、ファイルに書かれたエラーメッセージを見てもらって、原因を認識してもらい、それから修正です。

[rockey_7625]

すいません、>/tmp/cron.logの中身の確認について詰まってしまいました。。
申しわけないのですがアドバイス頂きたく。
以下の通り作業を行いましたが、cron.logの中身を見ようとしたらPermission deniedが出てアクセス拒否されました。。。
ファイルモードは読取可なので読めると思うのですが、何故か拒否されてしまいます。。
※下記、もし見当外れの作業を行っているのならお手数ですがご指摘下さい。

以下、端末上で
progman-7916@raspberrypi:~ $ cd /tmp
progman-7916@raspberrypi:/tmp $ ls
cron.log pulse-PKdhtXMmr18n ssh-ytGRnF1N3EdD
dhcpcd-(null) ssh-NcCAJjF8dP0U systemd-private-9e8ac93cbfc14c6ab1b9c8396afe3b64-rtkit-daemon.service-xUqMoZ
progman-7916@raspberrypi:/tmp $ ls -l
合計 24
-rw-r--r-- 1 progman-7916 progman-7916 61 1月 1 22:00 cron.log
drwx------ 2 progman-7916 progman-7916 4096 12月 31 16:35 dhcpcd-(null)
drwx------ 2 root root 4096 12月 31 16:35 pulse-PKdhtXMmr18n
drwx------ 2 progman-7916 progman-7916 4096 12月 31 16:35 ssh-NcCAJjF8dP0U
drwx------ 2 progman-7916 progman-7916 4096 12月 31 16:35 ssh-ytGRnF1N3EdD
drwx------ 3 root root 4096 12月 31 16:35 systemd-private-9e8ac93cbfc14c6ab1b9c8396afe3b64-rtkit-daemon.service-xUqMoZ
progman-7916@raspberrypi:/tmp $ sudo cat cron.log
[sudo] progman-7916 のパスワード:
sh: 1: /home/progman-7916/mail_recieve.py: Permission denied

[rockey_7625]

すいません、当方勘違いしていますかね？上記についてcron.logの中身は以下の通りということでしょうか？
sh: 1: /home/progman-7916/mail_recieve.py: Permission denied

[otn]

そうですね。ファイルの中身がそのエラーメッセージで、それがcronで起動しない原因です。
が、メッセージが不審です。
* * * * sh -c "python mail_recieve.py" >/tmp/cron.log 2>&1
の行のエラーメッセージじゃないですね。
何を実行したのでしょう？

[rockey_7625]

すいません、自分でcrontab変えて試したので再度以下の通りcrontab元に戻してcron.log見てみました。
以下crontabです.
----------------------------------------------------
*/3 * * * * python /home/progman-7916/mail_recieve.py
* * * * sh -c "python mail_recieve.py" >/tmp/cron.log 2>&1
-----------------------------------------------------

下記がcron.logの中身の結果です。
-------------------------------------------
progman-7916@raspberrypi:/tmp $ sudo cat cron.log
File "mail_recieve.py", line 54
bodyText = f'テストプログラム成功！{mail_data_list}'
　　　　　　　　　　　　　　　　　　　　 ^
SyntaxError: invalid syntax
--------------------------------------------
構文エラー？？と出ていますが、意味不明です。。
手動によるスクリプト実行では動作しているので、何故cronで動作させると上記エラーがでるのか。。。
再度、手動によるスクリプト実行してみましたが動作します。

うーん、意味がわかりません。。どう直せばいいのか。。。

[otn]

違うバージョンのPythonが動いているのでしょうね。
回答に書いたように、デフォルトだとcronで動くのは/usr/bin/pythonです。
実行結果が異なると言うことは普段は別のPythonを使っていると思うので、そのPythonのパスを type python で調べて、cronでもそれを指定しましょう。
私の手元の環境では/usr/bin/pythonを使っているので、cronのデフォルトでも同じ結果です。

あと、
> progman-7916@raspberrypi:/tmp $ sudo cat cron.log
むやみにsudoする癖を付けると、いずれ痛い目を見ます。

[rockey_7625]

先ほどcrontabを以下の通り修正したら動作しました！！！
---------------------------------------------------
*/3 * * * * /usr/local/bin/python3 /home/progman-7916/mail_recieve.py
---------------------------------------------------

すいません、動かない意味が解りました。
･)ラズパイのpythonのversionは3.7が入っており、手動スクリプト実行では問題なく動いているが
cronで動作するpythonのバージョンは3.5以下のversion？？で実行していたため、F文字列の構文が
エラーになり実行できていなかった。【F文字列はverが3.6以上でないと動かない。】

最近、ラズパイのpythonのversionを3.7に上げたので当然そのversionで動くものと思い込んでいました。。
今回、非常勉強になりました！

本当に助かりました、ありがとうございます！
※むやみにsudoする件、今後なるべく付けないようにしたいと思います。

[otn]

回答に書いた、
> ・環境変数の違い（この原因が多い。特にPATH）
ですね。