AWS EKSで稼働しているアプリケーションの反応速度が稀に遅いことがある原因

Question

AWS EKS pod上のspringで稼働しているアプリに対するAPIリクエストのレスポンスが稀に3秒かかったりすることがあり、その原因がわからず困っています
基本的には0.2秒程度のレスポンスですが、数十回に1回程度3秒以上かかることがあります
構成は以下です

Route53
↓
ALB(kubectlにて作成したalb ingress)
↓
EKS
↓
RDS

ALBはパブリックサブネット
EKSはパブリックサブネットにNATGWでルーティングされたプロテクテッドサブネット
RDSはどこにもルーティングされていないプライベートサブネット

調査したところ、ALBログでのtarget_processing_timeが数秒かかっており、ここが原因のようです。
短くする方法を調べています。

8/25 15:13追記

---

対象のEKSクラスタのアプリのアップデートをCodeBuildから以下のように実施しています

kubectl rollout restart deployments/foo

過去のターゲットグループのモニタリング情報から、どうやらeksに対して上記コマンドにてデプロイを実施しているタイミングで遅延が発生しているようです。
EKSはfargateを利用しています。
また、Deploymentのreplicasは3, readinessProbeは以下です

          readinessProbe:
            httpGet:
              path: /api/bar
              port: 443
              scheme: HTTPS
            initialDelaySeconds: 180
            periodSeconds: 180
            successThreshold: 1

replicasが3が少なすぎるのでしょうか？いくつに設定すべきなど目安となる情報がなかなかでてこず

Comments

[yu_1985]

この情報だと同様に見ている側もわからないので、まず現象発生時にどこで時間がかかっているかを特定する必要があるかと思います。
ALBはログが出せますし、RDSもクエリのログを出すことができます。
Springもログを出せますよね。その他関連しそうなログを見比べてみてください。

[pen_ari]

やはりそうですよね。。すみません。もしよくある事例なら勘所のある方もいるかと思い雑に投稿してしまいました。
とりあえず、springで処理時間計測してログに出してみた感じRDSへの接続含むspring内の処理が原因ではなさそうでした。
ログを詳しく調べてみます

[inductor]

ALBはAWS Load Balancer controllerで作成されたIPモードのALBで合っていますか？
特定のAPIだけで発生しているなどの情報もヒントになることもあると思うので、もし余裕があればAPMの導入も検討されるとよいかもしれません。

[pen_ari]

すべてのAPIで発生しているように見受けられます
調査続けて情報が増えたので追記致します

[inductor]

Springboot側でGracefulshutdownは設定されていますか？
Startup Probeに関しては設定してないでしょうか？デプロイ時であればJVMの暖気などにも影響がありそうなので。