AWS上でWordpressを運営していますが、サイトが頻繁に停止する原因

Question

###AWS上でWordpressサイトが頻繁に停止する原因

####環境：
LAMP　ELB＋EC2（t2.micro+30GEBS）
バーチャルホストで2つのサイトを作成｡
現在アクセス数は1つのサイトは日に数百PV程度で､もう一つは不明ですが、数十PV程度かと思います。
URL:https://www.mobyinfo.com & https://news.mobyinfo.com

####現象：
月に数回の頻度で作動停止。AWSのコンソールに入って確認しますと、EC2が「実行中」と表示されても､サイトは無反応。EC2を「再起動」しても改善なし。EC2を「停止」してもう一度「開始」したら、サイトは「データベース接続確立エラー」になり、サーバーにログインして、手動でMySQLをStartしたら、サイトが回復します。

####原因究明：
AWSのCloudWatchを見たら、作動停止のタイミングは「EBS読み込み数」の急増と重なっています。しかもこの急増ぶりは普通のアクセス増には見えず、なにかの攻撃かと思います。


####とった対策：
DoS 攻撃を防ぐ「mod_dosdetector」をApacheに実装しましたが、改善していません。

####質問：
そもそもEC2かEBSのスペックが低すぎるためで、スペックを上げれば改善するものでしょうか。それともなにかの対策で解決できるものでしょうか。アドバイス頂けると助かります。

###アドバイスを戴いてからやったこと

下記2つのプラグインをhttps://www.mobyinfo.comにインストール
①Server IP & Memory Usage Display（サーバーヘルスチェック）
②Error Log Monitor（エラーログ）
③PHPメモリー上限を変更

####①ヘルスチェック結果

不勉強でチェック結果の意味は理解しておりませんが、すべてのプラグインを無効化にして再チェックしてもエラーが消えません

####②4月26日と27日2日連続でサイト停止したエラーログ
AWSのCloudWatch記録

このようなログは大量発生

####③PHPメモリー上限を128M→512Mに変更

###その後の経過報告
5月2日と5日にサイト（実際はMySQL）はまた停止しました。AWSのCloudWatchで「EBS読み込み数」が急増しました。

エラーログを調べました。5月2日と5日この2回の停止はDoS攻撃によるもののようです。

####対策：
ローカルの何かの処理の暴走による攻撃とのご指摘とアドバイスを受けて、IPv6を無効化しました。しばらく様子を見ます。

Comments

[mike2mike4]

＞バーチャルホストで2つのサイトを作成｡
これt2microでやるの無理があると思うんですが

[JiulianusRyoh]

アドバイスいただきありがとうございます。１つ上のものに切り替えて試してみます。

Answer 1

これだけでは「停止時にEBSの読み込み数が大きく増加している」という事実だけで、原因がわかりません。
また、mod_dosdetectorを入れたところでDOSが原因なのかも特定できていないので効果を期待する段階でもないでしょう

なので、やるべきことは調査です。

しかもこの急増ぶりは普通のアクセス増には見えず、なにかの攻撃かと思います。

DOSが原因なのだとしたらPVが急増してるはずですし、他のものが増えていないのにEBSの読み込み数だけ増えてるのも不自然です。
アクセス増なのか判断できる材料がないこれだけでは判断する根拠が薄いです。
まして、定期的に発生するのであれば個人的にはサーバ内でなにかの処理がボトルネックになっている可能性が高いと考えます。
今度同じ事象が発生したときに

• 必要以上に発生しているプロセスはないか
• メモリ使用率等、他のリソースにに問題はないか
  • 問題があるならどのプロセスがそのリソースを使用しているか
• 普段は発生していないがその時だけ発生しているプロセスはないか
• 普段はないような不審なアクセスは発生していないか
  • Wordpressへのアクセスの他、知らないアクセス元からサーバログインされていないかなど

等をサーバ内に入って調べてください。
情報がないことには判断できません。

EC2を「停止」してもう一度「開始」したら、サイトは「データベース接続確立エラー」になり、サーバーにログインし手、手動でMySQLをStartしたら、サイトが回復します。

こちらについてはMySQLを自動起動する設定を入れていないのが原因だと思われるので、設定を追加してください

sudo systemctl enable mysqld

Comments

[退会済みユーザー]

> EBSの読み込み数が大きく増加している

グラフのスケールを見る限り、誤差レベルな気がします。

Answer 2

最後の対策してから1か月たちました。途中5XXエラーが頻発したため、5月13日にEC2を１つ上のものにスケールアップしました。それ以来、エラーはでていますが、サイトが死んだような事態は発生しませんでした。
AWSのCloudWatchで「EBS読み込み数」の最後の急増（サイト死亡）は対策前の5月5日で、その後は発生していません。

5XXエラーは最後の対策後も数回発生しましたが、いずれもメモリアウトで、EC2のスケールアップ後少なくなりました。

結局、メモリが足らなかったのが主な原因かと思いますが、スケールアップ前の各エラーの原因は今一つ理解できておりません。皆さまのアドバイスのおかげでとりあえずサイトは安定しております。再度感謝の意を表します。

Comments

[AbeTakashi]

解決されて何よりですが、そのPV数でメモリが足りなくなるのも不思議というか。よっぽどWEBサイトで特殊なことをしてない限りはt2.microでも問題ないとおもうのですけれどね。何がトリガーとなってメモリをいっぱい使ってしまうのかは早めに見つけておくといいかもしれません。今後さらにPV数増えたらまたスケールアップしないとなりませんし。

[yu_1985]

メモリが足りないというのは結果であって、スケールアップは暫定対処ですね。
実用上はまあよくある話ですが、書かせていただいたように何が原因でメモリをそんなに使用しているのかをもうちょっと調べたほうが長期的にはよいでしょう。

「DOS攻撃によるもの」と断定しているのもちょっと違っていて、正確には「dosdetectorがログにエラーを出していた」です。ループバックアドレスなので誤検知ではないかと思いますけど。
また、実際にはELB配下にあるのでX-Forwarded-Forを見ないとELBのIPばっかり見ちゃうことになりますけど、そこはちゃんと設定しましたか、など。

つまるところ、既に書いたことと同じで理解するためには調査が必要です。

Answer 3

とりあえずt2.microから一つ二つ上に切り替えてテストしてみると良いかもしれませんね。あと、swapの設定も合わせて確認して、メモリが増えた分を加味して適切な設定をするとより安全かもしれません。

Comments

[JiulianusRyoh]

アドバイスいただき、ありがとうございます。スペックに無理がありますね。試してみます。

[AbeTakashi]

あと、書き忘れましたがPHPのメモリの設定も調整した方がよさそうです。
参考）
https://www.sejuku.net/blog/78621

[AbeTakashi]

warningはとりあえず無視するとしても、メモリのエラーがちょくちょくでていますよね。

https://illc-next.com/blog-diary/php-memory-limit-wordpress
この辺見て調整してみるとどうでしょうか？ サーバのスペックアップも合わせて検討すべきでしょうが。スペック上げたくないのであればメモリを使う処理がどこかにあるので、それを探して削除するしかないでしょう。非推奨の変なプラグイン入れてないかとか？

[JiulianusRyoh]

アドバイスいただきありがとうございます。いまphpメモリーの上限を128M→512Mに変更してみました（ヘルスチェックプラグイン上では256Mですが、php.iniをみたら128Mでした）｡EC2のスペックアップまで、しばらく様子を見ます。素人でPHPメモリーの使用率調査の仕方は分かりませんが、勉強してみます。

[AbeTakashi]

PHPのメモリ上限が上がっていれば、ログに出ていたエラーは出なくなるか減るとは思います。ただ、サーバのメモリがたしかmicroプランだと512MBでしたので、PHPがメモリを多用した場合はスワップが発生して遅くなったり、場合によってはOOM Killerが走ってhttpdのプロセスごと落ちる可能性もあります。個人的な感覚ですが、ここまでメモリを上げてもそのようなエラーが出るなら、やはりWordPress側で何らかの不具合が発生してる気がします。WordPressやプラグインのバージョンを最新に上げてみる、プラグインを外してみるなどの対策を取った方が良さそうです。

[JiulianusRyoh]

2日経ってまた同じ現象が起こりました。メモリーが足らないことと、EBSとの相性も悪いのかなと勝手に推測しております。次はRDSへの切り替えをトライしてみます。いろいろ教えていただき、大変勉強になりました。結果がありましたらまたご報告します。

[JiulianusRyoh]

今回の停止はDoS攻撃によるものと推測しております。RDS移行とともにDoS攻撃対策をもう少し考えておきます。

[AbeTakashi]

dosdetectorのログのデータを見ましたが、クライアントが"::1"で、これってループバックアドレスですよね？（私はIPv6詳しくないのでなんともですが）　となるとこれはDOS攻撃というよりはローカルの何かしらの処理が暴走してるとかじゃないですかね？　試しにサーバのIPv6を無効にしてみるとどうでしょう？

[JiulianusRyoh]

なるほど、謎の攻撃は自分から仕掛けた可能性はあるということですね。IPv6を無効化しました。しばらく様子を見て、状況をご報告します。