AWSのCPU使用率が急に上昇した

Question

去年の6月からAWSを利用し始めました。

現在c4.largeインスタンスを利用してアプリの制作を行っているのですが、
CloudWatchでCPU使用率を確認してみると、100%に達することが度々あることが分かりました。
特にユーザが増えたわけでもなかったので原因がわからないでいます。
sarコマンドで確認してもsteal値がかなり高くなっているからということではありませんでした。

10時10分01秒 CPU %user %nice %system %iowait %steal %idle
10時20分01秒 all 73.66 0.00 5.29 0.00 0.00 21.04
10時30分01秒 all 73.50 0.02 5.32 0.16 0.00 21.00
10時40分01秒 all 70.73 0.00 5.13 0.00 0.00 24.13
10時50分01秒 all 70.09 0.00 5.05 0.00 0.00 24.85
11時00分01秒 all 72.58 0.00 5.24 0.00 0.00 22.17
11時10分01秒 all 73.19 0.00 5.19 0.00 0.00 21.62
11時20分01秒 all 73.48 0.00 5.27 0.00 0.00 21.25
11時30分01秒 all 72.81 0.00 5.16 0.00 0.00 22.03
11時40分01秒 all 73.02 0.00 5.22 0.00 0.00 21.75
11時50分01秒 all 72.29 0.00 5.25 0.00 0.00 22.46
12時00分01秒 all 72.88 0.00 5.31 0.00 0.00 21.81
12時10分01秒 all 72.33 0.00 5.20 0.00 0.00 22.47
12時20分01秒 all 70.22 0.00 5.10 0.00 0.00 24.68
12時30分01秒 all 71.99 0.00 5.14 0.00 0.00 22.87
12時40分01秒 all 71.21 0.00 5.06 0.00 0.00 23.72
12時50分01秒 all 72.22 0.00 5.19 0.00 0.00 22.59
13時00分01秒 all 70.72 0.00 5.21 0.00 0.00 24.07
13時10分01秒 all 72.20 0.00 5.21 0.00 0.00 22.59
13時20分01秒 all 74.24 0.00 5.31 0.00 0.00 20.44

なぜCPU使用率が急に上昇するか原因がわからず困惑しています。
ざっくりな質問なのですが、CPUの使用率を下げる方法などはございますでしょうか？

Comments

[kawakawa2018]

差し支えない範囲で、過去の統計情報を掲載してください。特に１．月間のユーザー数、２．アクセスログを加工していただいてかまわないので、起動中のサービス一覧。現在のビジー状態でのサービス一覧とメモリ値　、など。

Answer 1

そのsarの設定ですと10分毎のスキャニング中に、
たまたまCPUスティールが発生してないと統計取れませんので
もっと細かくする必要があるかと思います。
数秒間隔でリアルタイムに調査（sar）

もちろんsarを使っても良いですが、sarは上書きされていきますので
通常の統計と別にしたほうが調査しやすいと思います。

例えば、以下をcrondで1分間隔で実行して調査してみてはいかがでしょうか。

vmstat -t 1 60 >> /var/log/vmlog/vmstatlog-`date "+%Y%m%d"`

スティールされている時間がわかれば、例えば1時間ごとなのかランダムなのかで、
何がボトルネックになってるかプロセスから判断できると思います。

バースト性能のあるtX.ファミリーならCPUスティールが走るのはよくあるんですが
cX.ファミリーは、EBSのはずなのでCPUスティールされるかな。