Flaskでメールの送信を非同期で行う際にwith app.app_context()を使う理由がわからない

Question

#質問の内容
Flaskでメールの送信を行うプログラムを書いています。
同期処理の場合と非同期処理の場合とで２種類書いているのですが、
非同期処理の場合のみ、with app.app_context()ブロック内で送信処理を行わなければ下記のようなエラーが出てしまいます。

This typically means that you attempted to use functionality that needed
to interface with the current application object in some way. To solve
this, set up an application context with app.app_context().

なぜ非同期処理の場合のみ、with app.app_context()を利用してapplication contextをスタックへpush？する必要があるのか、がわかっていません。

なおapplication contextに関してはFlaskのドキュメントを一読した状態で、
「リクエストなど特定の処理におけるFlaskアプリの各データにアプリのインスタンスを直接扱うことなくアクセスできる仕組み、と認識しています。

#ソースコード
同期処理の場合

#!/usr/bin/python3

#===モジュールのインポート
import os
from flask import Flask, render_template, session, redirect, url_for
from flask_mail import Mail, Message
from threading import Thread

#===Flask用にアプリのインスタンス作成と秘密鍵の設定
app = Flask(__name__)
app.config['SECRET_KEY'] = 'hard to guess string'

#===flask_mailの設定
app.config['MAIL_SERVER'] = 'smtp.googlemail.com'
app.config['MAIL_PORT'] = 587
app.config['MAIL_USE_TLS'] = True
app.config['MAIL_USERNAME'] = os.environ.get('MAIL_USERNAME')
app.config['MAIL_PASSWORD'] = os.environ.get('MAIL_PASSWORD')
app.config['FLASKY_MAIL_SUBJECT_PREFIX'] = '[Flasky]'
app.config['FLASKY_MAIL_SENDER'] = '[e-mail]'
app.config['FLASKY_ADMIN'] = os.environ.get('FLASKY_ADMIN')

mail = Mail(app)

def send_email(to, subject, template, **kwargs):
     msg = Message(app.config['FLASKY_MAIL_SUBJECT_PREFIX']+subject, sender = app.config['FLASKY_MAIL_SENDER'], recipients = [to])
     msg.html = render_template(template + '.html', **kwargs)
     mail.send(msg)

非同期処理の場合

#===flask_mailの設定
app.config['MAIL_SERVER'] = 'smtp.googlemail.com'
app.config['MAIL_PORT'] = 587
app.config['MAIL_USE_TLS'] = True
app.config['MAIL_USERNAME'] = os.environ.get('MAIL_USERNAME')
app.config['MAIL_PASSWORD'] = os.environ.get('MAIL_PASSWORD')
app.config['FLASKY_MAIL_SUBJECT_PREFIX'] = '[Flasky]'
app.config['FLASKY_MAIL_SENDER'] = '[e-mail]'
app.config['FLASKY_ADMIN'] = os.environ.get('FLASKY_ADMIN')

mail = Mail(app)

def send_email(to, subject, template, **kwargs):
    msg = Message(app.config['FLASKY_MAIL_SUBJECT_PREFIX']+subject, sender = app.config['FLASKY_MAIL_SENDER'], recipients = [to])
    msg.html = render_template(template + '.html', **kwargs)
    thr = Thread(target=send_async_email, args=[app, msg])
    thr.start()
    return thr

def send_async_email(app, msg):
    with app.app_context():
        mail.send(msg)

どちらもsend_emailを特定のパス内で呼び出すことでメールを送信しています。
お力お貸しいただけますと幸いです！

Comments

[ppaul]

スレッド、コンテキストという言葉はわかりますか。
わからないなら、そこから説明しなければならないですね。

[baboo]

スレッドは処理単位、くらいにしかわかっていないですね・・・。
処理を独立・並行させる際に非同期でマルチスレッドにする、くらいの認識です。

コンテキストは正直これ！と明言できるほど理解できておらず、ぼんやりと任意の処理における何かの「状態」、といった認識です・・・。
（current_appは任意の処理が走っている際のFlaskアプリの状態、という認識です）

Answer 1

スレッドとコンテキストについて説明します。

レストランでスパゲティミートソースを作ることを考えてみましょう。
この作業は以下の作業に分けられます。
1 ミートソースを作る
2 スパゲティを茹でる
3 お皿を準備して、スパゲティを載せ、ミートソースをかける。

1は以下の手順で行います。
1-1 タマネギを炒める。
1-2 挽肉を炒める。
1-3 いためたタマネギと挽肉に固形コンソメとトマトを加えて煮る。
1-4 塩こしょうで味付けする。

2は以下の手順で行います。
2-1 3リットルのお湯を沸騰させる。
2-2 塩30グラムを加える。
2-3 約5分茹でる。(太さと好みにより時間は異なる)

3は以下の手順で行います。
3-1 お皿を人数分用意する。
3-2 お皿にスパゲティを載せる。
3-3 スパゲティの上にミートソースをかける。
3-4 その上に粉チーズをかける。

非同期ではない通常の手順で行うと、1が終わってから2を始め、2が終わってから3を始めます。
これでは時間がかかり過ぎるので、もう少し速く作りたいと思ったとしましょう。

タマネギを炒めながら、挽肉を炒め、お湯を沸騰させながら、お皿の準備をすればもっと速くなりますが、体が一つでは足りません。
そこで、時間を細かく使うことを考えてみます。
まず、タマネギのための鍋に油を入れ、次に挽肉のための鍋に油を入れ、次にお皿の準備をして、タマネギのための鍋に火を付け、次に挽肉のための鍋に火を付け、次にスパゲティを茹でる鍋を準備して、というように、短い時間で作業を切り替えることです。
このように時間で切って短い仕事次々にやっていくと、まるで体が三つか四つあるように仕事ができます。忍術では分身の術といいますが、コンピュータの世界ではマルチプロセスとかマルチスレッドとよびます。

この手順を全部考えながらやるのは大変なので、今はタマネギの時間だよ、今はスパゲティを茹でる時間だよ、というように誰かが指示してくれれば楽です。

マルチプロセスやマルチスレッドではOSが仕事の切り替えの指示をしてくれるので、プログラムを刷る人はタマネギの手順、挽き肉の手順、煮込みの手順などをそれぞれ書いておき、それらをどの順番でどのように実行するかを書けばよいようになっています。
マルチスレッドでは作業のための分身をスレッドといいます。
非同期処理を行うというのは、分身つまりスレッドを作って仕事をさせることです。

それぞれのスレッドは手渡された指示書とそのときの条件に従って仕事を進めます。このときの作業内容と作業条件のことを環境とかコンテキストと呼びます。もしも全ての分身(スレッド)が同じ指示書や作業条件を見ていると、2人分のミートソースを作っている最中に3人分の注文が入ると途中から3人分のつもりになって間違った作業をすると困ります。

そこで、作業の始めに掲示板に書かれた作業条件(2人分)を紙に書いておいてそれをみながら作業をする方が安全です。このように紙にメモした作業条件(つまりコピー)をつくるのが
with app.app_context()
の行なのです。
そしてwithブロックを抜けるとき、つまり作業が終わったときにはこのメモはゴミ箱にはいります。

感覚的な説明ですが、それほど間違ってはいません。
詳しいことは、OSの時分割によるプロセスやスレッドの制御の勉強をしてください。

Comments

[baboo]

こちらとてもわかりやすく教えていただき、よく理解できました！
ありがとうございます！

Answer 2

気になったので、調べてみました。

手短に言うと、以下の理由でapplication contextがpushされている必要があるようです。

• flask_mailの実装では、質問のコードにある「mail.send」の中で「flask.current_app」を使用している
• 「flask.current_app」は、実行中のスレッドで事前にFlaskのapplication contextがpushされている必要がある

---

少しソースコードとか見た感じでは、以下のような状況になるようです

1. Flaskクラスのインスタンス（質問のコードでは「app」変数のオブジェクト）はWSGIアプリケーションになる
2. WSGIアプリケーションでは、実際にHTTPリクエストを処理するときは、Webサーバ（WSGIサーバ）によってHTTPリクエストごとにFlaskインスタンス（appオブジェクト）が作成される
3. WSGIサーバは複数のHTTPリクエストを並列処理するため、HTTPリクエストごとにスレッドが作成される（WSGIサーバの実装によってはgreenletなどスレッドではないものを使う場合もありますが、ここでは深入りしません）
4. Flaskの実装では、WSGIサーバからHTTPリクエストの処理をするよう呼び出されたとき、そのときにactiveなスレッドに固有な（他のスレッドからは見えない）dictのようなオブジェクト（Flaskのドキュメントでは「Context Locals」とあります）を作成し、そこにapplication contextなどを格納する
5. flask_mailで、質問にあるコードでの「mail.send」処理では、内部的に「flask.current_app」を使用している
6. 「flask.current_app」は、必要に応じて「Context Locals」のデータにアクセスする
7. 質問にある非同期のコードでは、「mail.send」を実行するスレッドが、#4で「Context Locals」を作成したスレッドと異なるため、「with app.app_context()」を使わないと「flask.current_app」が#4の「Context Locals」相当の参照先にアクセスできない

---

「with app.app_context()」を実行すると、先ほどの#4のように、そのときactiveなスレッドに「Context Locals」を作成するなどの処理を行うようです

参考：

• Web Server Gateway Interface - Wikipedia
• flask/app.py at master - pallets/flask - GitHub: 「Flask」クラスの「__call__」「wsgi_app」「request_context」メソッドあたり参照
• flask/ctx.py at master - pallets/flask - GitHub: 「RequestContext」クラスの「push」「pop」メソッドあたり参照
• flask/globals.py at master - pallets/flask - GitHub: モジュール変数「_request_ctx_stack」「_app_ctx_stack」「current_app」あたり参照
• コンテキストの局所的オブジェクト（Context Locals）
• Context Locals — Werkzeug Documentation (1.0.x): 「Context Locals」の実装に使われているライブラリの説明
• flask-mail/flask_mail.py at master - mattupstate/flask-mail - GitHub

Answer 3

以下のリンク先が理解の役に立ったりしませんか？

手作業でのコンテキストの登録（Manually Push a Context）

Using Flask-Mail asynchronously results in “RuntimeError: working outside of application context”

• 1つめのAnswerのコメント[2](What if we ... possible.)

The Flask Mega-Tutorial Part X: Email Support

• Asynchronous Emails

個人的には、非同期の場合 別スレッドで動く影響で app(current_app)にアクセスできなくなるのでアクセスできるように頑張っていると理解していますが、それ以上詳しい説明はできないですね・・・。

Comments

[baboo]

ご回答ありがとうございます！
current_appへアクセスできるスレッドとはまた異なるスレッドを作成している（マルチスレッドにしている）から、ということでしょうか？