AWS：EC2ステータスチェック失敗を検知した際、自動でそのEC2をELBから登録解除させたい

Question

実現したいこと

CloudWatchアラームで EC2 ステータスチェック失敗を検知した際、自動でその EC2 を CLB から登録解除させたい。

環境

• EC2 (タイプm6)が２台、CLB で負荷分散　※現場都合により ALB ではなく CLB
• Cloudwatch アラームで「StatusCheckFailed」を監視

　

試したこと・状況

Cloudwatch アラームで「EC2 アクション：このインスタンスを停止」を設定する事により、チェック失敗発生で EC2 を停止。
その後で、なんらかの機能を使って CLB から EC2 を登録解除したいと考えています。
(タイプm6の為、EC2アクションの「復旧」は対象外)

Cloudwatch Event と SSM で実現できないかと考えており、Cloudwatch Event の画面で下記設定を試みましたがうまく設定できませんでした。

1. Cloudwatch Event 画面で「ルールの作成」
2. イベントソース「イベントパターン」にチェック、下記を選択

　　「サービス名：CloudWatch」
「イベントタイプ：CloudWatch Alarm State Change」
0. ターゲット「SSM RunCommand」を選択
ドキュメント：AWS-RunShellScript (Linux)
ターゲットキー：InstanceIds
ターゲット値：インスタンスID
0. 「パラメータの設定」でどう設定して良いのかわからなくなり中断

私が想定している上記の方法でなくても構いませんが、なるべく aws の機能を使った方法でのご教授お願いします。

足りない情報等あれば指示頂けば追記します。
よろしくお願いいたします。

Comments

[yu_1985]

「インスタンスの入れ替え」ではなくあくまでも「登録解除」でしょうか？

[th0167]

はい。やりたいのは「登録解除」です。

Answer 1

質問を書いてしまいましたが、とりあえずそれはAWS-RunShellScript でやるのはちょっと違いますね。
Run CommandのAWS-RunShellScript はあくまでも指定したインスタンス上でシェルスクリプトや指定したコマンドを実行するSSMのコマンドです。
例えば自分自身をELBから切り離すようなスクリプトを予め配置しておいて、ステータスチェックを検知したらそのインスタンス上にあるスクリプトをキックするとか。
あとはスクリプトを配置してなくてもオプションにコマンドを渡してあげれば実行できます。

ただ、ステータスチェックに失敗している場合、サーバ上で何らかの問題が起こっている可能性が高く、そのせいでスクリプトがちゃんと動いてくれない懸念があります。（例えばリソースを食い尽くされているとか）
それなら別のサーバを用意しておいてそこで実行させれば…という話になるかもしれませんが、それをするくらいならLambdaにやらせたほうが自然でしょう。

というわけなので、素直な方法としてはSSMではなくLambdaを使うです。

ただ、ステータスチェックに失敗している場合はELBからのヘルスチェックにも失敗する可能性が高く、どのみち該当のインスタンスにはリクエストが届かない可能性が高いと思われます。

もし「登録解除」ではなく「入れ替え」が目的ならAuto Scaling Groupを使うことを検討してみてください。

Comments

[th0167]

回答ありがとうございます。
確かに、ステータスチェックが失敗しているEC2上でRunCommand実行させるというのはおかしな話ですね。言われて気付きました…

そうなると、
仰る通り別サーバで実行させるかLambdaで実現させるか、になりますか。
私自身の問題になってしまいますが、nodejsやpythonの知識がないので…ちょっと悩みますね。

[yu_1985]

そんなに大したことをさせるわけではなく、
・CloudWatch Eventで受け取ったjsonからインスタンスIDを取得する
・取得したインスタンスIDのインスタンスを指定したELBから登録解除する
ができればいいだけなので、これだけならそれほど重たい実装にはならないとは思います。
（というか、個人的な意見ですが1つのLambdaにそんな複雑な処理はさせないほうがよいです。）
問題はインスタンスIDからどうやってそのインスタンスが登録されているELBを取得するかですが、もし対象のELBが固定されているのなら最悪ELBのARNをベタ書きでもいいかなと。
きちんとやるならELB（CLB）の一覧を取得して、配下に指定のインスタンスIDを持っているようなELBのARNを抽出するように処理する必要があります。

余談ですが、Lambdaは今はもっといろんな言語に対応しています。
https://aws.amazon.com/jp/lambda/faqs/#:~:text=AWS%20Lambda%20%E3%81%AF%E3%80%81%E3%83%8D%E3%82%A4%E3%83%86%E3%82%A3%E3%83%96%E3%81%A7%E3%81%AF,%E3%82%92%E6%8F%90%E4%BE%9B%E3%81%97%E3%81%A6%E3%81%84%E3%81%BE%E3%81%99%E3%80%82

[th0167]

教えて頂いたのに大変恐縮ですが私はコーディングに関わったことがなく、言語に関する知識がありません。せいぜいシェルを書けるレベル(言語ではないですが)なので、lambdaを使用する選択は優先度が低くなってしまいます。
他に方法が見つからなかった時に、lambdaでの運用を検討したいと思います。

[yu_1985]

気持ちはわかりますが、どの言語を使ってもこのくらいなら難易度に大差ない（シェルスクリプトも含む）ですし、最悪シェルスクリプトやシェルコマンドを呼び出して実行することはどの言語でも可能です。
シェルスクリプトでjsonを扱うのは面倒ですが、aws cliは出力結果をある程度フィルタリングできる仕様なので、それを使って実現するのもいいでしょう。
残念ながら、何かしらコードを書くなら結局何らかの形でAWSのAPIに値を投げなければならず、AWSの機能の連携だけでそれを行うことが難しい以上どこかでコードを書くことは避けられないかと思います。
インスタンスの停止だったらコードなしで行えるんですけどね…。

https://dev.classmethod.jp/articles/tutorial-lambda-custom-runtime-with-shellscript/
https://qiita.com/toshihirock/items/7393121263ffcec0a395
https://www.techscore.com/blog/2018/12/25/aws-lambda-custom-runtime-%E3%82%B7%E3%82%A7%E3%83%AB%E3%82%92%E5%8B%95%E3%81%8B%E3%81%97%E3%81%A6%E3%81%BF%E3%81%9F/