GateWay Timeoutの制限を解除したいです。

Question

###前提・実現したいこと
クローラーで情報を抽出し終わるまで動かせるようにしたいです。

###発生している問題・エラーメッセージ

504 Gateway Time-out

ローカルでは、情報を中止終わるまでクローラーが動き続けるのですが、
本番環境だと1分程度で動きを止めてしまいます。

とても、1分では情報を抽出しきれません。
なんとか本番環境でもクローラーを長時間動かしたいです。

confにkeepalive_timeout 1000;と記載しても状況は変わりません。。

どこらへんをいじれば良いのかざっくりとで構いません。アドバイスお願いします。

Answer 1

ざっくりですが・・・

nginx で upstream でクローラーの処理に接続しているのであれば、
nginx で以下のような設定をしてみたらどうでしょうか。

proxy_connect_timeout       3600;
proxy_send_timeout          3600;
proxy_read_timeout          3600;
send_timeout                3600;

Comments

[s.k]

ありがとうございます！
ちなみにこれは3600秒までなら繋いでくれる、というものでしょうか？

[gorogoroIT]

そうですね。
ざっくりですが、nginx が、proxy_pass で設定したサーバ側からのレスポンスを待ちきれず、
Time Out してしまっていると考えられます。
（なので、処理の Time Out を長くしてみようかと・・）

今回の場合、「proxy_read_timeout」の値を大きくすれば良さそうですが。
proxy_read_timeout： upsttream 側に処理をさせる場合に想定される最大時間。

[s.k]

勉強になります！