Q&A
ありがとうございます。
確かにどちらにせよDBでのステータス更新ありきになるので、APIは元ネタのアップロードだけして、加工はcronの定期実行にまかせてもいいのかもしれません…
概要
djangoでスクリプトをAPIから起動するにあたり、
manage.pyを使っていいのか（また使えるのか）について悩んでいます。
背景
Django REST framework（3系）にて、システムを作成しています。
APIの一つに「ユーザがPOSTしたデータを加工して保存する」という機能を実装する必要があります。
仕様はざっくり
- ファイル名、アップロード者などの情報をDBに保存
- 変換前データ、変換結果データを所定のクラウドストレージに保存
という二点です。
実装したところ物によってはワーカーがタイムアウトしてしまうほど加工に時間がかかっており（データ加工はライブラリ使用）、またファイルの内容はエンドユーザ（利用者）の都合が絡むため不明で、「様子見」という名目でファイルサイズに現状制限が無いため、ブラウザのタイムアウトに引っかかる可能性もある状況です。
対策としてDBに「変換ステータス」を持たせ、APIではデータ変換用のスクリプトをキックするだけにして「正常にキックできました」という応答に変更しようと思っています。
データ加工スクリプトはDB（できればDjangoのmodel）にアクセスする必要があるため、プロジェクト直下に「scripts」ディレクトリを作成し、スクリプトを格納しました。
manage.py runscriptで正常にデータ加工できるところまでは確認できています。
質問
ここまでの前提で、「APIからどうやってスクリプトを起動するか」の作法について悩んでいます。
manage.pyはその名の通り管理用のスクリプトである気がしているのですが、検索した限りお手軽にバックグラウンドでスクリプトを実行できる仕組みが見つかっていません。
このような要件において、「Djangoならこう」的な手法はあるのでしょうか。
ご教示のほど、よろしくお願いいたします。
回答3件
0
ベストアンサー
リクエストに対しては、リクエストを受け付けたことをレスポンスで返却して、時間のかかる処理は、RabbitMQなどのメッセージブローカーとCeleryなどを利用して、非同期実行する方法もあります。
投稿2021/03/24 22:29
総合スコア1277
0
DBを参照するだけなら、API経由である必要性があるのかわかりませんでした。
manage.pyを利用して、cronなどで所定のタイミングで実行するとか、空いていることを何らかの方法で把握してそのタイミングで実行するとかすれば良いかと。
また、DB自体にレプリケーション機能があるのであれば、別マシンにレプリケーションを行い、そちらで実行するのもありかと。負荷分散という意味で。
投稿2021/03/24 10:13
総合スコア5488
0
ご教示いただいた皆様、ありがとうございました。
現場で二転三転した結果、「タイムラグはできる限り無いほうがいい」との判断で結局APIからの非同期のシステムコールとなりました…。
ご教示いただいた手前、申し訳ございませんorz
ざっくりですが、このような感じの実装になります。
python
1command = '{} manage.py {} --script-args {} {} &'.format( 2 '/path/to/python', 3 'script_name(拡張子.pyは書かない)', 4 'param1', 5 'param2(script側ではtupleで受け取る)', 6) 7 8subprocess.Popen(command, shell=True)
蛇足となりますが特筆すべき点？としては、
- subprocess.Popenは必ず結果を待つため'&'で投げっぱなしにする
- subprocess呼び出しではminiconda配下のpythonにpathが通っていなかったため、pythonはフルパスで指定
- djangoのAPI上から実行した場合、pathがdjangoのrootになるため環境変数など全てよしなに読み込んでくれる
といったところでした。
以上、ありがとうございました。
投稿2021/03/25 11:41
編集2021/03/25 11:52総合スコア27
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2021/03/25 11:01
2021/03/25 11:54