AWS EC2のディスク容量逼迫に伴う Log管理方法の検討

Question

前提・実現したいこと

EC2のボリューム圧迫の解消。

ここに質問の内容を詳しく書いてください。
現在、RailsアプリをEC2にアップしています。しかしlogが毎日格納されていくことから、
今後、容量圧迫が懸念されております。

現在のディスクを確認した所、log配下の容量が日に日に増えている事がわかりました。
（当たり前のことですが、、）

9016584	/var
7248300	/var/log
2257812	/usr
1695808	/var/log/journal/ec239da046efe33c7665d4508a7d0a61
1695808	/var/log/journal
1117300	/var/www/rails/psychology
1117300	/var/www/rails
1117300	/var/www

容量が逼迫すると、アプリの挙動がおかしくなるので、事前に対処をしたいと考えております。
（削除？ or どこかに転送して管理する。）

試したこと

下記URLを参考にCloudWatchを試してみようと考えております。
しかし、CloudWatchへの転送にて解決できることがわからず、念の為ここで質問支えていただいてから、URLを参考に対処しようと考えております。また、他に良い案が無いかも模索中です。
https://colsis.jp/blog/tech/awslogs.html

お手数ですが、コメントいただけると非常に助かります。
よろしくお願いいいたします。

Answer 1

転送するだけではログは減りません。
ログを転送するのは、外部からサーバ内のログを確認したり、サーバ内のログを長期保存したりすることが主な目的です。
目的を満たすにはlogrotateを使って適切にローテーション設定をするといいでしょう。
フレームワークの設定でもできたりするかもしれませんが、おすすめしません。
ログのローテーションはlogrotateに集約することをおすすめします。

logrotate入門
任意のログをlogrotateを使って管理する

どこかへ転送する方法は色々あります。
AWSにおいては

• CloudWatch Logsに送る
• S3に送る

が典型的な方法で、CloudWatch Logsはリアルタイムに近い感じでログを確認したいとき、S3はログを長期保存する用途で使うことが多いです。
CloudWatch Logsはデータストアとしては高額なので、ログの長期保存にはあまり向きません。

https://colsis.jp/blog/tech/awslogs.html

これは古いエージェントの情報です。
今ではawslogsではなくCloudWatch Agentを使います。
CloudWatch Agentはメトリクスの収集だけでなく、ログをCloudWatch Logsに送ることもできるようになっています。
もし使うなら下記をご参照ください。
CloudWatch エージェントを使用して Amazon EC2 インスタンスとオンプレミスサーバーからメトリクスとログを収集する
公式ドキュメントは読みづらいので、こちらも参考にしてみてください。
ちょっと古い記事ですが、今でも多分問題ないはずです。
新しいCloudWatch Agentでメトリクスとログの収集が行なえます

Comments

[r.haja]

logrotate初めて知りました。。ありがとうございます。
設定変更し、一旦静観しています。助かりました。