Airflowで重いタスクを処理するときに、他のタスクの実行が止まります。
具体的には、
- 重いタスクdag1(1時間くらいかかるもの)
- 軽いタスクdag2(20秒程度のもの)
が同時に走っているときに、dag2は20秒では終わらず、dag1の終了を待ってから終わる形になります。
airflow.cfg
のパラメーターを変更すると良さそうなのですが、具体的にどのパラメーター変更すればいいのか分かりません。
教えていただけると幸いです。
よろしくお願いします。
重いタスクでない場合には並列に動作するのですか?
あなたの回答
tips
プレビュー