AWS インスタンスを停止させ起動するとカスタムメトリクスが表示されない

Question

数日前、
Pribate-Subnet内にインスタンスを構築、
インターネットには出ずにWindows Serverから
Diskとメモリ使用率のカスタムメトリクスをCloudwatchで表示させる方法を質問しました。

そちらに関しては、
IAM Roleにポリシーをアタッチ、エンドポイントを作成、
Cloudwatch agentをインストール、RunCommandで無事に設定を入れ、
CloudwatchメトリクスにCWagentが表示されるようになりました。
SNSとも連携させ、低く設定した閾値を超えた場合はメールも無事飛んでくることまで確認しました。

しかし、
一度インスタンスを停止させた後、また起動した際、
Cloudwatchのメトリクス欄にCWagentは引き続き表示されているものの、
確認したいインスタンスをクリックしても、
グラフを拾ってきていない状態が発生しております。

デフォルトで取得できるCPU使用率などは、インスタンスを起動した段階から
すぐグラフにきちんと表示されているものの
カスタムメトリクスとして作成したものだけリアルタイムにグラフに表示されていない状態です。

何かこういった事象をご存じの方がいらっしゃいましたら、
教えていただきたいです。

よろしくお願い致します。

Comments

[yu_1985]

下記を参照してログや実行ステータスを確認してみてください。

https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/troubleshooting-CloudWatch-Agent.html#CloudWatch-Agent-troubleshooting-cannot-start

[退会済みユーザー]

@yu_1985さん

URLの共有ありがとうございます。
3台に設定を入れています。

SSMより、AmazonCloudWatch-ManageAgentの実行結果
→全てrunningでした

cloudwatch-agent.log
→このファイルはそもそも存在していませんでした

再度設定を入れなおそうと思い、
インスタンスを起動、1台だけ再度コマンドラインよりウィザードで設定を入れていき、
SSMよりRunCommandを使うために、一時的にIGWを0.0.0.0/0でオープンさせたところ、
なぜか今まで反応していなかった他のインスタンスのカスタムメトリクスもきちんとグラフに表示されるようになりました。

endpointを作成、IAMポリシーをアタッチさせれば
InternetGatewayは閉じていても問題ないと認識していたため、
cloudwatch agentをインストール後は0.0.0.0/0を外していました。

ネット状態は関係あるものなのでしょうか？

[yu_1985]

CloudWatchのエンドポイントがちゃんと設定できていればそこを経由して通信するはずですが…。
でもIGWを設定したら通信するようになったというのはどこかで通信が詰まってますね。

> SSMよりRunCommandを使うために、一時的にIGWを0.0.0.0/0でオープンさせたところ、

ここ少し気になったのですが、SSMのエンドポイントは設定していないのでしょうか？
また、Private Subnetということでそもそもルートテーブルのターゲットとしてigwを設定していないものと思っていたのですが、そうではないのでしょうか？

[退会済みユーザー]

@yu_1995さん

すみません、質問見ていただき、アドバイスありがとうございます。

Private Subnetなので、はいIGWは設定しないです。
Cloudwatch Agentがインストールできなかったため、一時的に開けました。

com.amazonaws.region.ec2を追加したところ、
IGW外した状態のまま、インスタンス停止起動させ、無事にグラフに表示されるようになり、
閾値を低く変更したらメールも飛んでくるようになりました。

Systems Manager を使用して VSS 対応のスナップショットを作成する場合と記載があり、
スナップショットの作成は今回しないので不要と勝手に判断してしまっておりました。

他の方のブログを見て、これも必要なのかなと入れてみたところ、無事にIGW外した状態でも、
停止から起動させたタイミングでグラフに拾ってくれるようになりました。
https://dev.classmethod.jp/cloud/aws/private-cloudwatch-agent/

[yu_1985]

あー、なるほど。これはトラップですね…。
個人的にも勉強になりました。

自己解決として解決方法に書いておいてください。

Answer 1

VPC endpointの作成が不足していたのが原因でした。
https://dev.classmethod.jp/cloud/aws/private-cloudwatch-agent/

つい数日前まで、メモリ使用率などはカスタムメトリクスを別途設定必要という
資格知識しか持っていなく、実際どう設定すれば良いのか不明状態でした。
ググってもLinuxコマンドが多く出てきたり、サービス連携が手を動かさないと
いまいち頭にイメージ出来ていなかったため、どう検索かけていけば良いかも困っていました。

URL共有や助言して下さった、@yu_1985さん、ありがとうございます。