AWSデプロイしたアプリが突如アクセス不可に。原因を教えて頂きたいです。

Question

課題

初めて質問させて頂きます。至らぬ部分あると思いますが、
何卒お力を頂きたいです。

Rails6.0で作成したアプリをAWS（EC２、route53、S3、Mysql)でデプロイ
して先日まで問題なく開発、デプロイができておりましたが、昨日アクセスしようと
したところ、アクセス不可となりました。

自身のPC環境の問題かと考えましたが、知人のPCからもアクセスできないようです。
herokuでデプロイしているアプリは問題なくアクセスできるので、AWS関連の問題
と思われます。

アクセスできていた時から触ったこととしては、

・別アプリケーションでdocker、travisにてCI/CDを初めて実装。

のみです。Qiita記事を書く為に環境変数入力画面を開いた事もありますが、
再度確認したところ、不備はありませんでした。

発生している問題・エラーメッセージ

ActionController::RoutingError (No route matches [POST] "/Autodiscover/Autodiscover.xml"):
ActionController::RoutingError (No route matches [GET] "/wp-content/plugins/wp-file-manager/readme.txt"):
ActionController::RoutingError (No route matches [GET] "/console"):
ActionController::RoutingError (No route matches [GET] "/index.php"):
ActionController::RoutingError (No route matches [POST] "/vendor/phpunit/phpunit/src/Util/PHP/eval-stdin.php"):
ActionController::RoutingError (No route matches [GET] "/solr/admin/info/system"):
ActionController::RoutingError (No route matches [GET] "/vendor/phpunit/phpunit/src/Util/PHP/eval-stdin.php"):

のように多量のルーティングエラーが発生しております。

加えて、nginxのログをみようとすると、 sudo less /var/log/nginx/error.log,

何もデータが出てきませんでした。

[ec2-user@ip-172-31-45-207 text-31024]$ ps ax | grep nginx
10589 ?        Ss     0:00 nginx: master process /usr/sbin/nginx
10616 ?        S      0:00 nginx: worker process
10699 pts/0    S+     0:00 grep --color=auto nginx
[ec2-user@ip-172-31-45-207 text-31024]$ ss -natu | grep LISTEN
tcp  LISTEN 0      128                             0.0.0.0:111          0.0.0.0:*                                                                               
tcp  LISTEN 0      128                             0.0.0.0:80           0.0.0.0:*                                                                               
tcp  LISTEN 0      128                             0.0.0.0:22           0.0.0.0:*                                                                               
tcp  LISTEN 0      100                           127.0.0.1:25           0.0.0.0:*                                                                               
tcp  LISTEN 0      128                                [::]:111             [::]:*                                                                               
tcp  LISTEN 0      128                                [::]:80              [::]:*                                                                               
tcp  LISTEN 0      128                                [::]:22              [::]:* 

この状態であればnginx自体は稼働しているのでしょうか？

試したこと

・EC2の再起動→解決せず。EC２自体は実行中、ステータスチェックも問題ありません。
・unicornの再起動。調べて、起動中のunicornをkillして再起動すれば解決した
事例がありましたが、そもそもkillできるunicornが無い状態。

[ec2-user@ip-172-31-45-207 text-31024]$ ps aux | grep unicorn
ec2-user 10276  0.0  0.0 119436   964 pts/0    S+   04:21   0:00 grep --color=auto unicorn

補足情報

このアプリは就活用のPFで作成しているので、それほど負荷がかかる程のアクセスは考えにくいです。
初学者でエラーの内容があまりに馴染みがなさすぎて、どこから手をつけていいか分からず困っております。
AWSの体系的な部分を調べていきたいと思いますが、何か原因がわかる方いらっしゃりましたら、何卒宜しく
お願い致します。

Comments

[no1knows]

> ActionController::RoutingError (No route matches [GET] "/wp-content/plugins/wp-file-manager/readme.txt"):
> ActionController::RoutingError (No route matches [GET] "/vendor/phpunit/phpunit/src/Util/PHP/eval-stdin.php"):

エラーからは、PHPやワードプレスのような記述が見受けられますが本当にRailsでしょうか？

[koji_tanimoto]

ご連絡ありがとうございます！
そうですね、rails6とjavascript少しです。私自身がPHPやワードプレスは全く触ったことがありません。
なので、エラーの内容が全く分からなくて困っております。

[yu_1985]

unicornを使っていなければunicornのプロセスがないのは当然なのですが…。
もし使ってるなら、起動してなくてエラーになるのは当然なのでまずunicornを立ち上げる必要があります（多分使ってないので関係ないと思いますが）

いいのかわかりませんが、今メッセージに見えるドメインにアクセスしたらRailsのエラー画面っぽいものが見えたので恐らく問題はそこです。
エラーログをもっとよく見てみてください。

[tanat]

アクセスログからはアタックされているであろうことが見受けられるので、Basic認証やIP制限を掛けて攻撃を回避してから問題を切り分ける事をお勧めします

[inductor]

systemctl status nginx
journalctl -xe

はそれぞれ何を示していますか？

[koji_tanimoto]

yu_1985様
ご連絡ありがとうございます！ unicornは使っており、
log/unicorn.stderr.log
http_server.rb:205:in `pid=': Already running on PID:13932 (or pid=/var/www/text-31024/tmp/pids/unicorn.pid is stale) (ArgumentError)
となっておりますが、
ps aux | grep unicorn
ec2-user 24999 0.0 0.0 119436 908 pts/0 S+ 00:40 0:00 grep --color=auto unicorn
となっており、PID:13932 が稼働している形跡がありません。
これはどういった状態でしょうか？

[koji_tanimoto]

tanat様
ご連絡ありがとうございます！
basic認証は設定しました。IP制限を掛ける為に現在AWSやネットワークの体系的な部分を再学習しております。進展あればご連絡致します。

[koji_tanimoto]

inductor様
ご連絡ありがとうございます！
systemctl status nginx
Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled; vendor preset: disabled)
Active: active (running) since 木 2020-12-10 05:29:38 UTC; 1 day 19h ago
systemd[1]: Failed to read PID from file /run/nginx.pid: Invalid argument
というエラーになっております。
journalctl -xe
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit session-477.scope has finished starting up.
--
-- The start-up result is done.
こちらは問題なさそうでしょうか。上記のエラーをヒントに探ってみます！

Answer 1

どうにもunicornがエラーで落ちてしまっているのではという気がしますが、ログの抜粋されたその箇所だけだと変なアクセスがあったであろうことしかわかりませんね…。

/var/www/text-31024/tmp/pids/unicorn.pid
にpidファイルが残っているなら、それを手動で消して再度unicornを立ち上げてみてください。
コマンド例

sudo rm -f /var/www/text-31024/tmp/pids/unicorn.pid

とりあえずそれで復活はすると思います。
ただ、unicornが起動していない状態になった原因がまだこれではわかりません。
unicornのstderrログをもう少しよく見ると何かしら手がかりがあるかもしれないので抜粋した箇所だけではなく、RoutingErrorでないところをたどってみてください。
あと、攻撃のようなアクセスがあったということで、どの程度のアクセスが有ったのかとか、その間サーバリソースがどうだったのかとかが気になるところです。