AWS EC2でディープラーニングのトレーニングを動かしているのですが、EC2が勝手に再起動される現象に悩まされています。どのログを監視すれば原因追求できるでしょうか。

Question

AWS EC2のDeep Learning AMIを使用してディープラーニングのトレーニングを動かしています。

ある日、トレーニングを動かしたままインスタンスを放置していたところ、トレーニングが最後まで実行されず終了しているのに気づきました。CloudWatchメトリクスを確認したところ、ステータスチェックに失敗していて、勝手に再起動されてしまっているようでした。（再起動されたのが原因でステータスチェックに失敗している？？）

経験的にメモリエラーあたりが怪しいかなと思っているのですが、こういったエラーを検知するにはどのログを監視するのがいいのでしょうか。
ここら辺のAWSドキュメントを参考に、CloudWatch Logsで/var/log/messagesのログ監視をしてみましたが、まだインスタンスの再起動が再現できていないため、このログ監視で原因究明できるのかがわかりません。

こうすれば原因究明できるよ、とか、このログ監視しとけ、みたいなアドバイスあれば、ご教授いただけると幸いです。
よろしくお願いいたします。

Answer 1

原因が特定できないのでなんとも言えませんが、リソース不足でサーバがステータスチェックを受け付けなくなっている可能性が高いような気がしますね。
ただ、再起動される原因がよくわかりません。再起動されていた、というのは何を根拠にして判断しましたか？

CloudWatchでは標準のメトリクスのみだとメモリ使用率を確認できないですが、CloudWatch Agentを入れたなら見られるようになっているはずなので、ステータスチェックがエラーになっている時間帯付近の各リソースをチェックしてみてはどうでしょうか？
CPU使用率なりメモリ使用率なりディスク容量なりがいっぱいになるとサーバは想定しない動作をしたりします。
リソース不足な部分があればまずはそこを解消すべきかと思います。

Comments

[kazuki__]

回答ありがとうございます！

トレーニングの実行プロセスが終了していたので、再起動されたのかと思っていたのですが、ただ単にプロセスがエラーで落ちただけかもしれません。

CloudWatch Agentを入れるとメモリ使用率を監視できるのは知りませんでした。見てみます。

ちなみにメモリエラーで落ちる場合はどこのログにエラー内容が吐かれるんでしょうか？

[yu_1985]

自分はなんとなくですがプロセスが途中で落ちてしまったのでは、と思います。

CloudWatch Agentはあくまで一つの方法であって、自分でサーバログインしてコマンドを打って確認してもいいですし、Zabbixを使うなり（地味に色々面倒なので個人的にはオススメしません）、別の監視サービスを使うなりするのもいいでしょう。
CloudWatchでまとめて確認したいならCloudWatch Agentでいいかなと。

「メモリエラー」と呼んでいるのがどのような現象かがわかりませんが、リソースが不足して正常に動かない場合はそもそもきちんとログが出るかすらわかりません。
なので、まずはリソースが不足していないかを見て、明らかに不足している場合はまず十分なリソースがある状態にしてやりましょう。
それ以外の原因を探るのはその後になるかと。

[kazuki__]

なるほど。
まずリソースが不足していないかを確認してみます。

回答ありがとうございました！助かりました！