webサーバのエラーログってどうやって監視してますか？

Question

たまに、自分のサービスでデプロイ後に、warningが出てたりして、
apacheのエラーログが出ている場合があります。
このエラーログを定期的に取得して、気付けるようにしたいです。

現状の対応

• webサーバを数台にバッチを仕込んである
• 1日1回、エラーログをcatとgrepして、errorやwarningがあったら、「エラーがありました。ログを確認してください」というメールを送信

やりたい事

• リアルタイム(数分単位でもOK)にエラーログを監視
• 監視で検知出来たものは、エラーの内容と、どのサーバで出ていたのかをセットで通知

皆さんはこの辺ってどうやって検知してるのでしょうか。
AWSで動かしてるので、SQSにためて通知とか、S3にあげて定期的にAthena使うとかも考えたのですが、何かもっとシンプルにやりたいなぁ・・と考えております。

Answer 1

Apache ならばログをパイプで別のプログラムに送ることで、

• ログレベルを Warning 以上とする
• エラーログをパイプで syslog に送る
• syslog の設定で、メールを送信するようにしておく

とかすれば、エラーがメールでほぼリアルタイムに通知されます。
※別に syslog を使わなくても、パイプの送り先を自作のプログラムにすればもっといろいろできますが

まあ、メール通知するとすれば Error 以上にするのが普通でしょうけれども。

Comments

[coffee]

ありがとうございます。
あまりapacheの設定周りを詳しくないのですが、
`エラーログをパイプで syslog に送る ` ← これはapacheの設定ファイルでこのような設定を追加するという事でしょうか？

[tacsheaven]

https://httpd.apache.org/docs/2.4/ja/logs.html
ここにあるように、 | を先頭に記述してやれば標準入力にログを入れてきます。

Answer 2

お金を払えるならLogglyが最高です。CloudWatchやlogstash/fluentd、Zabbix等もありますが、インフラや設定の難しいところを面倒見てくれて、なおかつダッシュボード側が素晴らしく高機能なのがLogglyです。

https://www.loggly.com

Comments

[coffee]

ちょっと値段が高いのがネックですが、少し見た感じ確かにダッシュボードも素晴らしく是非使ってみたいですね。
まずはフリートライアルしてみて、良さそうなら検討してみようかと思います。ありがとうございます。

Answer 3

トラブル対応の時に使ったメモがあるので貼り付けておきます。
【メモ】access.log 監視 → サービス再起動用シェルスクリプト

nginx のアクセスログを監視して、問題発生時に php-fpm をリスタートするスクリプトですが、ログを吐き出すシステムなら、なんにでも使えると思います。

Answer 4

最近の流行は、Zabbix でしょうか。

• Zabbixでログ監視

Comments

[coffee]

Zabbixも知りませんでした。ありがとうございます。
これも触ってみます。