AWSを運用していて504 Gateway timeoutが発生した

Question

現状

今回、AWSでアプリケーションを運用しており、突然読み込みが遅くなり、504 Gateway timeoutのエラーが発生しました。
リロードすれば、504は回避できています。

構成

• AWS EC2 × 2
• AWS ELB
• AWS RDS（MySQL 5.6）：t2.small
• Nginx
• PlayFramework

EC2を2台立てており、ELBで負荷分散をしております。
クライアントサーバーはNginxを利用しております。
データベースはRDSを利用しております。
RDSは複数のアプリケーションのデータベースが共存しております。（テーブル数：約500）

確認事項

今回の原因としては、RDSのメモリ領域の圧迫 -> スワップ領域の圧迫 -> スラッシングではないかと考えております。
504 Gateway timeoutが確認できたのは本日の8時となります。

ご協力いただきたいこと

• まず、今回の原因として、スラッシングが原因なのか知りたい -> 原因の確認方法をご教授いただきたい
• 原因がスラッシングであるならば、どのような解決策があるのか知りたい
• 原因が他にあるのであれば、どのようにアプローチしていけばいいのか知りたい

情報として、足りない部分があるかと思いますので、
どのような情報があれば、いいのかもご教授いただけると助かります。

何卒、よろしくお願いいたします。

Answer 1

まず、今回の原因として、スラッシングが原因なのか知りたい
原因がスラッシングであるならば、どのような解決策があるのか知りたい

グラフからはRDS側に問題が発生しているとは思えません。
仮にRDS側であればスケールアップすれば解消する可能性が高いです。（インスタンスタイプの変更）

原因が他にあるのであれば、どのようにアプローチしていけばいいのか知りたい

ウェブ、アプリ、OS側のログは如何でしょうか？
私が経験してきた中で多かったのはコネクションが不足してるとか、nofileが足りていないとか。

Comments

[sequence]

ご回答ありがとうございます。

結論として、インスタンスを再起動することで、メモリを解放できたため、今回の問題は解決致しました。
しかし、メモリが徐々に溜まっていってしまうという問題は解消できておりません。

Nginxのログ, ELBのログ, Applicationログと見てみましたが、特に変わった部分はありませんでした。
メモリが溜まってしまう原因の追求をしていきたいと思います。

ありがとうございました。

Answer 2

関連するメトリクスはどうなっていますか？

FreeableMemory
SwapUsage
ReadIOPS
WriteIOPS
ReadLatency
WriteLatency
ReadThroughput
WriteThroughput

Comments

[sequence]

ご返答ありがとうございます。
上記、関連するステータスの画像を貼り付けました。
よろしくお願いいたします。

[moonphase]

現在の状態ではなく、「突然読み込みが遅くなり、504 Gateway timeoutのエラーが発生」した前後のグラスをある程度の範囲で確認すれば何かわかるかもしれません。

[sequence]

失礼いたしました。
画像を変更いたしました。
504の確認できたのは、本日の8時となります。
よろしくお願いいたします。