pythonの非同期処理

Question

非同期に処理を実行したい

APIの処理で、DBに書き込む処理の後、通知を出したいが
通知の処理が完了する前にAPIの呼び出し側にレスポンスを返したい。

サンプルを作成して実行しているが非同期にならなくて困っている。

最初に試したもの

test.py

import asyncio
import requests

url = 'https://google.co.jp'


def ex():
    print(" 5 ")
    r = requests.get(url)
    print(r.status_code)
    print(" 6 ")


loop = asyncio.get_event_loop()
print(" 1 ")
loop.run_in_executor(None, ex)
print(" 2 ")

これだと以下の結果になりうまくいく
1
5
2
200
6

APIで試した

api.py

import asyncio
from django.utils.timezone import localtime
from hr.common import glgl as glgl


class testAPI(ViewSet):

    @action(detail=False, methods=['post'])
    def test(self, request):
        print("■■■ T1 ■■■　：　" + str(localtime()))
        loop = asyncio.new_event_loop()
        asyncio.set_event_loop(loop)
        loop.run_in_executor(None, glgl.glgl())
        loop.close()

        print("■■■ T2 ■■■　：　" + str(localtime()))
        return Response("A", status=status.HTTP_200_OK)

glgl.py

import requests
from django.utils.timezone import localtime


def glgl():

    print("■■■ G1 ■■■　：　" + str(localtime()))
    r = requests.get('https://google.co.jp')
    print(r)
    print("■■■ G2 ■■■　：　" + str(localtime()))

これだと上手くいかない
■■■ T1 ■■■　：　2020-09-13 16:30:38.730048+09:00
■■■ G1 ■■■　：　2020-09-13 16:30:38.730943+09:00
<Response [200]>
■■■ G2 ■■■　：　2020-09-13 16:30:39.237304+09:00
■■■ T2 ■■■　：　2020-09-13 16:30:39.239700+09:00

######以下の結果になるように非同期処理をするにはどうすればいいのでしょうか？
■■■ T1 ■■■　：　2020-09-13 16:30:38.730048+09:00
■■■ G1 ■■■　：　2020-09-13 16:30:38.730943+09:00
■■■ T2 ■■■　：　2020-09-13 16:30:38.730943+09:00
<Response [200]>
■■■ G2 ■■■　：　2020-09-13 16:30:39.237304+09:00

###追記
色々検索した結果
aiohttpを調べてみようと思います。

Answer 1

+ loop.run_in_executor(None, glgl.glgl)
- loop.run_in_executor(None, glgl.glgl())
- loop.close()

問題点: glgl.glgl() を呼び出してから
その戻り値を引き数として loop.run_in_executorへ渡しています。

また、loop.close() で run_in_executor の完了を待つことなく
asyncio の非同期ループを中断してるので、RuntimeError となります。

修正方法:
run_in_executor へ glgl.glgl オブジェクトを渡すように、括弧を外してください。

loop.close() に関しては、そのまま外しても良いのですが、
(丁寧に後始末するなら、run_in_executorの戻り値のFutureに add_done_callback(loop.close) とglglの実行が終わってから呼び出す)
このケースでは asyncio を使う恩恵があまり見られないので、
concurrent.futures.Executor で済んだりします。

asyncioを使う場合は、
非同期に対応したaiohttp ライブラリを検討して見て下さい。

Comments

[maeta]

回答ありがとうございます。
早速試してみます。

[maeta]

修正して試してみました。

修正方法に書いていただいた通り
glgl.glglのカッコをとって
loop.close()も消したところ
以下の結果になりました。

■■■ T1 ■■■　：　2020-09-13 18:06:53.667902+09:00
■■■ G1 ■■■　：　2020-09-13 18:06:53.760619+09:00
■■■ T2 ■■■　：　2020-09-13 18:06:53.761718+09:00
<Response [200]>
■■■ G2 ■■■　：　2020-09-13 18:06:54.205422+09:00

ありがとうございます。

[maeta]

教えていただいた、
concurrent.futures.Executor
aiohttp
も、引き続き調査していきます。
第一歩の非同期処理が実施できたので、これを実装して
レスポンスがどうなるか試していきます。

とても助かりました。ありがとうございます。