サーバーに問題が発生した際に、直ぐに気付ける仕組みを作りたいです

Question

cronによって定期的にPythonプログラムが実行するよう設定していたのですが、先日10日程前から実行されていなかったことが判明しました。
このプログラムは計算処理などを行い、TwitterAPIを使用しツイートを行うというものなのですが、ツイートもされていない状態でした。
原因は、実の所ハッキリとはしていないのですが、サーバーへ入った際に「cannot create temp file for here-document: No space left on device」との文言が表示されていた事から、サーバーの容量不足によりサーバーが何かしらの問題を抱えてしてしまったからではないかと推測しています
今回、こういった事が起きてしまった為、同様にプログラムが動作していなかった場合に、直ぐに気付ける仕組みを作っていきたいと思っております。
少々調べてみました所、Amazon CloudWatchというインスタンスの状態を監視するサービスが存在するようなのですが、今回インスタンス自体は落ちておらず、ターミナルから「SSH」で接続する事が出来たといった状態でした。
そのため、サーバー自体はダウンしていないものの容量オーバーなどのエラーが発生した場合に通知で気付きたいのですが、そのような方法はありませんでしょうか...？
どなたか、ご助言頂けましたら幸いです。

※サーバー情報
・AWS EC2( Ubuntu Server 18.04 LTS )

Comments

[t_obara]

外部からサーバーの動作を確認・監視するようなソフトウェアがあるので、そのようなものを利用すると良いのではないでしょうか

[ruuuu]

ご助言ありがとうございます。
少々、説明不足な点がありました為、追記しました。
お手数ですが、ご確認頂けましたら幸いです。

[y_waiwai]

プログラムが動作してるのか動作してないのかどっちかな？

[ruuuu]

サーバーは落ちていないものの、プログラムは動いていませんでした

Answer 1

単身赴任している夫に病気の時は知らせてと言っておいても、本当に知らせが来るかどうかは当てになりませんが、毎朝電話をかけてくると言う約束をしておけば、電話がかかってこないことで、何か異常があったということがわかります。

というのを、プログラムでやってください。

Answer 2

少しハードルが高いですが、
CloudWatch Logs を文字列検知してログ内容をメールを送信してみたのような形で、CloudWatch Logsを使うととてもきれいにアラートを出せます。

• アプリケーション側では処理が成功した時以外にはエラーログを出すように機能を追加することが前提になります。
• ディスク使用率なども監視できるようになるのでとても便利です。

---

もっと大雑把でよければ、処理が成功しなかった場合はEC2を落とすみたいな機能を実装してしまえばCloudWatchでインスタンス異常を簡単に把握できるようになります。

• 処理自体が起動しなかった場合を考えるのであれば、他のEC2上でTwitterAPI経由で想定している時間に投稿がされているかを確認し、されていなかったら異常とみなしてAWSのAPI経由で投稿役のインスタンスを落とす等が考えられます。

---

また、AWSのメリットは生かしにくくなりますが、Linux 監視ツールあたりで検索して出てくる監視ツールを使って監視するのも一般的です。
CloudWatchと組み合わせて使うとインスタンス１台でもそれなりに隙の無い監視が実現できます（もう一台監視用のインスタンスを立てて、相互に監視させる&Cloudwatchでも監視すればかなり安心）

Comments

[ruuuu]

ご回答ありがとうございます。
今回は、頂いたご回答を元に以下２つの対策が必要だと考えております。
・定期実行プログラムの例外(エラー)が発生した際に、通知を行う仕組み
・cron自体が動作しているかどうかをチェックする仕組み

まず、定期実行プログラムのエラーに関しては、スクリプトにエラーが発生した際にメールを送る仕組みを実装したいと考えております。
cronに関しましては、Linuxの監視ツールなど何か動作をチェックするツールがないか探ってみたいと思います。

[tanat]

加えて、最終的な結果(ここではTwitterへの投稿)をAPIで確認するのもありですね。

何を何のために監視して、どういったケースについては諦めるのかという整理をされるといいかと思います

[ruuuu]

> 加えて、最終的な結果(ここではTwitterへの投稿)をAPIで確認するのもありですね。
こちら、思ったのですが、別サーバーにて、Twitterへの投稿を監視するスクリプトを作成すれば、定期実行プログラムを走らせているサーバーに問題が発生してもツイッターへの投稿を監視しているスクリプトが動作しないといった問題は防げますし、そちらの方法が良いかもしれないですね。

[tanat]

監視スクリプトや別サーバそのものやAPI側が動作しないケースもあり得るので、複数サーバで複数の層を監視しつつ、どこで諦めるかの線を引くと良いですね。
基準があれば、問題発生時に基準を見直すのか実装が不味かったのかの判断から入れるため、少しずつ改善することもできます

[ruuuu]

ご助言ありがとうございます。
可能なリソースの範囲で、しっかりと考慮し対策していきたいと思います。

Answer 3

今回、こういった事が起きてしまった為、同様にプログラムが動作していなかった場合に、直ぐに気付ける仕組みを作っていきたいと思っております。

雑な回答すると、cron の実行成否を mail するだけで解決しそうですけど。
もしくは、実行されるスクリプトに成否を mail(or 適当な通知先に投稿) させるとか。

ちゃんとやるなら、監視/運用設計って呼ばれる非常に面白い専門分野があります。
結構深いので、基礎から体系的に学ぶと良いです。

Comments

[ruuuu]

ご回答ありがとうございます。
実は以前はcronの実行ログ自体が「/var/log/syslog」に残っていたのですが、何故か今は全く残っていない状態で、ログファイルをチェックする仕組みも作れない状態なのですよね...
今回の場合、cron自体、正常に動作しているかどうかをチェックする仕組みを考えなければならないと思っています