uWSGI+Flaskで、gevent.sleepが並行動作しない

Question

uWSGI+Flaskで、gevent.sleepが並行動作しない

uWSGI+FlaskのWebアプリをgeventを使って並行動作させようとしています。
具体的には時間がかかる外部IO処理をロングポーリング方式で実装しようとしており、
そのIO待ちをgevent.sleepで待機したいと考えています。

その前段階として、以下のコードでgevent.sleep動作確認したところ、期待と異なる結果となりました。

ソースコード

# 必要なモジュールのimport, Flaskの設定等

@app.route('/sleep1/<int:seconds>')
def sleep1_response(seconds: int):
    gevent.sleep(seconds)
    return jsonify(sleep=seconds)


def func(seconds, data):
    gevent.sleep(seconds)
    print(data)


@app.route('/sleep2/<int:seconds>')
def sleep2_response(seconds: int):
    gevent.spawn(func, seconds, 'test')
    return jsonify(sleep=seconds)

結果

• /sleep1/10 を同時に2つ開く -> 10秒後にひとつめ、20秒後にふたつめのページが表示される
• /sleep2/10 を同時に2つ開く -> ページはすぐに表示され、10秒後にuWSGIのログにtestが2つ表示される

解決したいこと

以上の結果から、 /sleep1/10 はsleep動作が並行動作しておらず、
/sleep2/10 はsleepが並行動作していると考えられます。

geventはgevent.sleepを呼ぶとコンテキストスイッチが起こるそうなので、
/sleep1/10 も並行動作することを期待したのですが、
なぜこのような動作となるのでしょうか？

また、Flaskのレスポンスをgevent.sleepで遅延させたい場合、
どのようにすれば良いでしょうか？

uWSGIの設定ファイル

[uwsgi]
base = /path/to/foo
chdir = %(base)
module = webapp.view:app
master = true
processes = 2
gevent = 1024
socket = /tmp/uwsgi_foo.sock
chmod-socket = 666
vacuum = true
die-on-term = true

# ロギング
logto = /var/log/uwsgi/foo.log
log-maxsize = 10485760
log-backupname = %(logto).1
log-encoder = format ${strftime:%%Y/%%m/%%d %%H:%%M:%%S} - ${msgnl}
ignore-sigpipe = true
ignore-write-errors = true
disable-write-exception = true

harakiri = 90   # 処理のタイムアウト秒

# 更新
touch-reload = .uwsgi_touch

その他

• WebアプリはMySQLへの読み書き処理を含む
• MySQLの読み書きはSQLAlchemy+PyMySQLを使用している
• uWSGIのgevent-monkey-patchオプションを有効に有効にすると、SQLAlchemyで例外が発生するようになったため、モンキーパッチは使用していない （DBアクセス中にコネクションが切断される。scoped_sessionをgevent経由で並行アクセスするようになるのが原因？）

Answer 1

自己解決いたしました。
テスト方法に問題があったようです。

一本のコネクションでリクエストを出していたため、
応答が返ってくるまで次のリクエストが送られず、
同時にリクエストを送信するという状況を作れていなかったようです。

複数のコネクションでリクエストを出すことで、
/sleep1/10 も、並行して gevent.sleep していることが確認できました。

誤ったテスト方法

Google Chromeで同じURLのタブを複数開く

改善後のテスト方法

Siegeというツールで当該URLにアクセスする

• siege --concurrent=3 --reps=1 --benchmark http://foo.com/sleep1/10

⇒ 10秒後に全ての応答が得られる

• siege --concurrent=1 --reps=3 --benchmark http://foo.com/sleep1/10

⇒ 30秒後に全ての応答が得られる