Pythonで時間の掛かる処理を投げっぱなしにする方法

Question

データ変換⇒NoSQL投入を行う処理をPythonで構築しています。

これはAWS API GatewayのバックエンドとしてLambda上で動作しますが、
5分ほど処理時間が掛かり、API Gatewayの最大稼働時間に抵触するため、
処理を投げて結果を待たずに返却したいと考えています。
※結果の取得は別関数でモニタリングするので、気にする必要がありません。

Pythonでこのような投げっぱなしの処理を実装する方法を教えてください。

Comments

[hoshi-takanori]

AWS Step Functions なるものを使えば良いのでは？
https://dev.classmethod.jp/cloud/aws/step_stepfunctions_tutorial/

Answer 1

AWS上であるならSQSにキューを投げ、Lambdaの外で処理させる、でよいのではないでしょうか。
（処理させる先は別のサーバなのか、別のAWSサービスなのか、はたまた別のLambdaなのか、そこは設計次第）
この場合特にPythonかどうかは関係なく、「重い処理を別のところで行う」という常套手段ですね。

よく使われるのはSNSと組み合わせたPub/Subモデルです。
どこが適切な参考ドキュメントかはなんともいえなかったのでとりあえず公式のブログ（英語）のものを置いておきます。

Answer 2

投げっぱなしの処理のイメージがよくわからないのですが、
いわゆる同時に処理する方法は、沢山あると思います。
下記は、threadingで、
比較的、一般的な方法だと思います。
（期待の回答が得られないようであれば、質問の情報をもう少し増やされたら
回答が得られるかもしれません。）

import time
import threading

def osoi():
    for i in range(5):
        print("osoi-fun",time.time())
        time.sleep(3)
        
def hayai():
    for i in range(10):
        print("hayai-fun",time.time())
        time.sleep(0.5)


thread1 = threading.Thread(target=osoi)
thread2 = threading.Thread(target=hayai)
thread1.start()
thread2.start()
thread1.join()
thread2.join()

print("owariiiiiiiii")