Python 3 の Bottle 上で multiprocessing を使ったバックグラウンド処理ができない。

Question

前提・実現したいこと

標題のようにPython3のBottleでバックグラウンド処理がしたいと考えております。
PythonのBottleでbackground taskを処理する を参考にしようとして、記載されているサンプルを自前のサーバー上で動かそうとしたのですが上手く行きません。

発生している問題・エラーメッセージ

前述のサイトの例のように1つ目のブラウザーは /run に、2つ目も /run に、3つ目は / に順にアクセスすると、1つ目の処理が終わってから2つ目の処理が実行され（ここまでは正しい）、2つ目の処理が終わってから3つ目が処理されてしまいます。
とくにエラーメッセージは出ませんでした。

該当のソースコード

使用したコードは以下のとおりで、前述のサイトのサンプルとの変更点は、1行目にshebangを追加したこと、末尾のrunのhostをlocalhostから0.0.0.0にした2点です。

#!/usr/bin/env python3

import datetime
import multiprocessing
import time

from bottle import Bottle, run

app = Bottle()
app.process = None


def task():
    time.sleep(10)


def start_task():
    if app.process:
        return False
    app.process = multiprocessing.Process(target=task)
    app.process.start()
    app.process.join()
    app.process = None
    return True


@app.route('/')
def index():
    dt = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    return f'index<br>{dt}'


@app.route('/run')
def run_task():
    start_dt = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    response = start_task()
    end_dt = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    return f"task complete. <br>Status={response}<br>start={start_dt}<br>end={end_dt}"


if __name__ == '__main__':
    run(app, host='0.0.0.0', port=8001)

試したこと

Bottleなしでmultiprocessingを使ったサンプルを動かしてみましたが、こちらは正しくバックグラウンド処理ができていることを確認しております。

補足情報（FW/ツールのバージョンなど）

自前で用意したサーバーは、Debian(Buster)、Python3のバージョンは3.7.3、Bottleのバージョンは0.12.15です。

Answer 1

質問の「バックグラウンド処理」にどのような動作を期待しているのかよくわからないので、そこから。

1. 時間のかかる処理を実施するときに、その処理を別プロセスにまかせてさっさと次の処理ができるようにする。

※ 応答がすぐに返るのでクライアントは待たされないが、処理が終っていないので処理結果はわからない。
2. Webサーバが複数のリクエストを同時に処理できるようにする。
※ 長い時間の処理をするときにはクライアントは待たされる。

1の場合
バックグラウンド処理というと、普通はこっちでしょうね。提示された処理(リンク先のサイト)もこういう動作を実現するための処理のように見えますが、そうなっていません。

    app.process.start()
    app.process.join()

1行目で別プロセスの処理を起動していますが、2行目で終了を待ち合わせています。 処理が終るまでjoin()は戻らないのでクライアントは10秒またされてしまいます。
また、その間、他のHTTP要求に答えられません。

1のような処理をbottleで実現するにはどうするのが一般的か、ちょっと調べてみたのですがわかりませんでした。
FlaskならCeleryを使ったりします。

2の場合
確認で複数ブラウザを使っているところを見ると、2のように複数の要求を同時に受けらるようにするのが目的のようにも見えます。だとすると、実現方法が異なります。
bottleをマルチスレッド対応にするモジュールpasteを導入するか、gunicornなどのwsgiサーバを導入してそちらのworke経由で動かすかでしょうか。
たとえば10こスレッドを作っておけば、10このリクエストを同時に処理できます。別のブラウザから/runに10個同時にアクセスするとすべてすぐにうけつけられて、すべて10秒後に応答が返るようになります。

Comments

[t_obara]

タイポ gnicorn → gunicorn ですよね。

[TakaiY]

でした。 直しました。

[karenDevice]

バックグラウンド処理ができればご提示の1も2も解決できるものだと勘違いしておりました。
pasteやgunicornのサンプルも見たのですがBottleのシンプルさがなくなる感じでぎりぎり許せる範囲がサイトの例でした。
Bottleのシンプルさが失われてしまうなら自前で用意したサーバーにApacheが入っているのでリクエスト毎にPHPで書く方が早いのかなと思い始めております。

勉強になりました。ありがとうございます。