Python: 一定時間内に来たHTTPリクエストをまとめて処理する方法

Question

###前提・実現したいこと
HTTPリクエストが不定期に来る状況で、一定時間（例えば1秒間など）に来たリクエストをまとめて処理し、
処理後にその結果をそれぞれのリクエストに返すにはどうすればよいでしょうか。

というのは、ユーザが画像を投稿し、それに対し、「これはxxである」という回答を返すという画像認識のサービスを作ろうとしていて、
学習したニューラルネットワークの予測モデルをAPIとして用いようとしており、
一枚の予測の計算時間に500msほどかかるのですが、それをバッチ処理してスループットを上げたい、という状況です。
（GPUを積んでおり、並列処理のコストが低いです。）

自分でトライした時は、FlaskやAiohttpを用いようとしましたが、各リクエストごとにプロセスが決まっているのではなく、
全体のプロセスをどうまとめればよいのか分かりませでした。
Webサーバには疎く、基礎的な質問かもしれませんが、よろしくお願いします。

###補足情報

• Python3.6
• Flaskを用いた場合の、一枚の画像を処理する疑似コード

app = Flask(__name__)
net = My_net()

@app.route('/', methods=['POST'])
def main():
    image = Image.open(request.files["file"])
    prediction = My_net.predict(image)
    return prediction

app.run(debug=True, host='0.0.0.0', port=5050)

Answer 1

機械学習に疎くて申し訳ないのですが、処理に時間がかかるリクエストが複数来た場合に同時にリクエストを処理（並列処理）させたいという質問であっていますか？

まず Flask のテスト用サーバーで並列化させるには、app.run() に processes オプションに並列数を指定します。

app.run(debug=True, host='0.0.0.0', port=5050, processes=8)

もし Windows の場合は替わりに threaded オプションを使って下さい。

app.run(debug=True, host='0.0.0.0', port=5050, threaded=true)

これでリクエストが別プロセスで並列処理されるようになります。

ただしこれはあくまでテスト用サーバーの話です。実際にはWebサーバーに Apache や nginx を使うと思いますので、それぞれのシステムで設定を行って下さい。

たとえば Apache + mod_wsgi の組み合わせであれば、mod_wsgi をデーモンモードで使うことで任意のプロセス・スレッド数で Flask アプリを起動させることができます。

# Linux + Apache 2.4 + mod_wsgi 設定例
WSGIDaemonProcess gazou user=masaokb processes=8
WSGIScriptAlias / /home/masaokb/flask-gazou/webapp.wsgi

<Directory /home/masaokb/flask-gazou>
  WSGIProcessGroup gazou
  Require all granted
</Directory>