Flaskで作成したアプリケーション内でcurlを実行するとスタックする

Question

事象

今Flaskの処理で他サーバーのAPIを叩くコードを書きました。
Flaskの組み込みサーバーはでちゃんと動作するのですが、これをGunicornで実行するとHTTPリクエストを投げた時点でスタックしてしまいます。なぜでしょうか？

再現用のコードは以下です。(簡略化のためにlocalhostの別パスに対してHTTPリクエストを投げるように変更しています。)

from flask import Flask, request, Response
import os

app = Flask(__name__)

@app.route("/healthz")
def healthz():
    return Response(response="OK", status=200)

@app.route("/test")
def test():
    os.system("curl -I http://127.0.0.1:8080/healthz")  # uWSGIやGunicornで実行するとここでスタックする。curlではなくwgetを使ってみたりrequestsモジュールを使っても同様にスタックする
    return Response(response="OK", status=200)

if __name__ == "__main__":
  app.run(host="0.0.0.0", port=8080, debug=True)

再現コードの実行方法

うまくいくパターン

以下のようにFlaskの組み込みサーバーで実行するとうまくいきます。

$ docker run -d -v $PWD:/app -w /app --entrypoint /bin/sh python:3.9 -c "pip install flask; python testfile.py"
$ curl http://[コンテナのIP]/test
OK

スタックするパターン

GunicornやuWSGIでこのコードを実行するとHTTPリクエストを投げる時点でスタックします。

$ docker run -d -v $PWD:/app -w /app --entrypoint /bin/sh python:3.9 -c "pip install flask gunicorn; gunicorn testfile:app"
$ curl http://[コンテナのIP]/test

dockerのログはこのようになります。curlコマンド自体は実行されているようですが応答がなく、30秒後にGunicornのタイムアウトでkillされます。

[2022-11-07 09:22:37 +0000] [17] [INFO] Starting gunicorn 20.1.0
[2022-11-07 09:22:37 +0000] [17] [INFO] Listening at: http://0.0.0.0:8080 (17)
[2022-11-07 09:22:37 +0000] [17] [INFO] Using worker: sync
[2022-11-07 09:22:37 +0000] [18] [INFO] Booting worker with pid: 18
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:--  0:00:30 --:--:--     0
[2022-11-07 09:23:27 +0000] [17] [CRITICAL] WORKER TIMEOUT (pid:18)
[2022-11-07 09:23:28 +0000] [17] [WARNING] Worker with pid 18 was terminated due to signal 9

uWSGIで実行しても同様です。

$ docker run -d -v $PWD:/app -w /app --entrypoint /bin/sh python:3.9 -c "pip install flask uwsgi; uwsgi --http :8080 --wsgi-file testfile.py --callable app"
$ curl http://[コンテナのIP]/test

バージョン

Python 3.9 (docker)
Flask 2.2.2
gunicorn 20.1.0

Answer 1

gunicornのワーカー数が、デフォルトでは1だからのようです。

gunicorn --bind '0.0.0.0:8080' testfile:app

ワーカー数を2にしたら、動きました。

gunicorn --bind '0.0.0.0:8080' --workers 2 testfile:app

ワーカー数が1なので、一つのレスポンスを返すまでは他のレスポンスを受け取れません。
(test関数でレスポンスを処理中に再度リクエストを出しているので、前のレスポンスが終わるまで待ち続けてしまいます)

逆になんで組み込みサーバだと起きないのか、と疑問に思ったのですが、flaskのソースコードを見てみると、flask.Flask.runの中でマルチスレッドでサーバを建てるよう指定がありました。

Comments

[SatoKenta]

ありがとうございます！！！！！！！！！！！！！

[SatoKenta]

ワーカータイプがsyncだからダメなのかとか色々試してたんですがそもそもワーカーが1だったらなのですね。盲点でした。