nginxで検出されたエラーがelbでは検出されない理由

Question

awsのelbの下にインスタンスがあって、その中でnginxとphpを稼働させているんですが、先日アクセスが重くなり、確認してみると、頻繁にtimed outのエラーが発生していました。30分間で100件ほどの以下のようなエラーがありました。

2020/04/xx xx:xx:xx [error] 1297#0: *15492593 upstream timed out (110: Connection timed out) while reading response header from upstream, client: xxxxxx, server: xxxxx.jp, request: "GET /favicon.ico HTTP/1.1", upstream: "fastcgi://unix:/var/run/php-fpm/php-fpm.sock", host: 

タイムアウトが発生しているということは、nginx=>elbに対して5xx系(timeoutなので504?)のエラーを返しているはずですが,この30分の間cloudwatchでelbの5xxx系エラーの返却した履歴が全くありません。
nginxでこのようなエラーが起きているのにelbではエラーが検出されない原因は何かあるでしょうか？

Answer 1

ELBはEC2インスタンスに対してリクエストを振り分けたり、ヘルスチェックをしたりしていますが、EC2がELBに対して何かリクエストを送っているわけではないはずです。（厳密にはなにもないわけでないかもしれませんが…）
EC2からのレスポンスはELBを経由して帰るのではなく、クライアントにそのまま帰ります（プライベートサブネットにEC2インスタンスがある場合はNATを経由します）
5xx系のエラーということはサーバ側の問題なので、ELBに５xx系のエラーがないということはELBではエラーになっていないということですね。
なので、ELBによってリクエストは振り分けられたけど、EC2インスタンスの方で5xx系のエラーが出た、ということかと思います。

正しい挙動のように思えます。

Comments

[renren643]

回答ありがとうございます。
>EC2からのレスポンスはELBを経由して帰るのではなく、クライアントにそのまま帰ります（プライベートサブネットにEC2インスタンスがある場合はNATを経由します）
そうなんですか？ソースってありますでしょうか？
プライベートサブネットですが、特にnatは設定してはいないはずですので、、、
ためにし、存在しないページにアクセスすると404が返ってきて、elbの4xx系のエラー記録にもしっかり記載がありましたがそれはどうなんでしょうか？

[yu_1985]

> ELBを経由して帰るのではなく
よく考えたら、この説明は正しくないかもしれませんね…。一旦忘れてください。
ちゃんと調べて後で修正します。

下記にELB（これはALBですが）のそれぞれのエラーの考えられる原因が書いてあります。
https://docs.aws.amazon.com/ja_jp/elasticloadbalancing/latest/application/load-balancer-troubleshooting.html#load-balancer-http-error-codes
こちらを見ても、エラーの種類ごとにもう少し挙動を見る必要がありましたね。

504が記録されていたのであればそれはタイムアウトです。
504についても記載があります。
すべてを貼ることはしませんが、ざっくり言うとELBからEC2インスタンスにアクセスが到達できずにタイムアウトしたときに出るようです。
でもそこでエラーが出ていないということは、サーバにはリクエストは到達しています。
nginxのほうでエラーになっているのは、ELBはリクエストは振り分けたけど、サーバの方でタイムアウトになった、ということでしょう。
つまるところ、ELBには問題なかったけど後ろにあるEC2インスタンス側の処理に問題があったのでそのようにエラーが出た、と考えられます。

404のケースも読み解いてみようと思ったのですが、上記ページには記載がないのでフォーラムのリンクを持ってきました。
https://forums.aws.amazon.com/thread.jspa?messageID=899159&tstart=0#

4xx系のエラーはクライアント側に問題があった場合のエラーなので、ものによっては双方に記録されることになる、ということだと思っています。
ただ、それも確実ではないですね。ELBの仕様に対してのリクエストに問題があった場合は当然サーバまでリクエストが到達しないので、ELBにしかエラーが残らない（nginxのログには出ない）と思われます。

自分もなんとなくの感覚で考えてましたが、この辺もうちょっと調べてみようと思います。