質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

91.46%

  • AWS(Amazon Web Services)

    1252questions

    Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

EC2インスタンスがstealにCPUを専有され使い物にならない件

解決済

回答 2

投稿 2016/03/06 12:49

  • 評価
  • クリップ 0
  • VIEW 1,703

teresa

score 1

タイトルはあえて煽らさせていただいています。

質問概要
EC2のインスタンスのCPU使用率が突発的にstealによって占領される問題がよく起きます。
この問題を解決する方法を教えてください。

事象
イメージ説明
ご覧のように、突然stealが跳ね上がりサービスが提供できない状態に陥ります。画像からはわからないと思いますが、一旦こうなるとほとんどのアクセスに応答しなくなります。
一旦stealが大きくなると自然回復することはなく、別のEC2インスタンスを立ち上げることでしか回復しません。

事象の再現性
・2台構成にしてアクセス数やCPUを分散させているときには一度も起きませんでしたが、1台構成にするとおよそ24時間以内に発生することが多いです。
・発生するタイミングは不確定です。
・microインスタンスでも、smallインスタンスでも生じました。
・CPUやアクセス数が小さいほど起きにくい傾向があります。

このため、AWSがうたっているEC2のスペックを事実上使うことができません。
実際に、今はsmallインスタンスを使っていますが、CPUを約20%以下に抑えなければ安定した運用ができません。しかしこれでは当初見積もっていたコストで運用することができません。
この問題が解決できなければEC2をやめて、さくらVPSもしくはLambdaへの移行を考えています。

すでに行った対策1
ぐぐってみると、使っているEC2インスタンスのハードウェアがたまたまイケてないことがあるらしく、EC2インスタンスの停止・起動をすれば直ることがあるとのことでした。
確かにその方法で直ることはあるのですが、問題なのは突然stealのCPU専有が始まりサービスが落ちることですので、起きてからの対応では遅いのです。

すでに行った対策2
アクセスが詰まっているのだとしたら、詰まりにくくしてやればよいのではないかと思い、スレッドプールの設定を以下のようにmaxを大きめに設定しました。
http-thread-pool:max 100, min 20
thread-pool-1:max 200, min 5
しかし問題の起きやすさに変化はありませんでした。

参考資料 サービスの構成
AWSロードバランサー

Web Server (Apache)(1 server)

Application Server (Glassfish)(1 server)

参考資料 その他
アクセス量は15 requests / sec ほどで、APIサーバとして使っています。
1回のアクセスにつき、DynamoDBに対して3回のRead処理を行っていますが、その他特に重い処理は行っていません。


どのあたりに問題がありそうでしょうか?

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

0

CPUの使用率を制限すると良いらしいです。
http://extrea.hatenablog.com/entry/2013/04/28/154234

投稿 2016/03/06 12:57

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2016/03/06 13:01

    おお! 素早い回答ありがとうございます!
    さっそく、教えていただいたブロク記事の方法を試してみます。
    結果がでるまで時間のかかる問題ですので、結果の報告は数日後になるかと思います。

    キャンセル

  • 2016/03/06 13:08

    ちらりとAWSの利用が割に合わないことも、聞いたことがあります。
    EC2は、まともに動作し続けることを前提と出来ない旨の注意も有ります。
    複数台のロードバランスを前提に使えということでしょうね

    キャンセル

  • 2016/03/06 13:51

    公式ページにも20%以下の利用が基本で、それ以上の利用は一時的な利用が想定されているようですね。。
    https://aws.amazon.com/jp/ec2/instance-types/
    >バースト可能パフォーマンスインスタンス

    EC2のもともとの仕様だったということがわかり、自分の調査不足を悔やんでいます。
    はじめからこのことを知っていれば、他の選択肢を選んでいたと思いますが、今となってはサービスがDynamoDBに依存しているのでそれも難しいです。

    しかしながら、サービスの内容が単純にDynamoDBの値をとってくるだけの単純なAPIで、Lambda + API Gatewayへの移行も難しくなさそうなので、長期的解決策としてはLambdaへの移行を検討します。

    キャンセル

0

インスタンスタイプはt2のsmallやmicroでしょうか?t2インスタンスは基本的に、「いつもは低負荷だが瞬間的に高負荷になる時がある」ような使い方に適しています。ブラウザコンソールでインスタンスを選択し「モニタリング」タブを見るとCPUクレジットという欄があり、一定以上CPUを使用しているとそのクレジットが減少して聞きます(時間がたつと回復します)。

おそらく暫く使うとstealが増えて使用率が上がらなくなるのは、このクレジットが0になったからだと思われます。stealは仮想化基盤の上でゲストOSがCPUリソースを割り当てられなかったときにでるものなので、この理由だと説明がつくかなと思います。

一度CPUクレジットを見てみることをおすすめします。
もし上のような現象が起こっていたとすれば、CPU使用率を下げてクレジットの消費を減らすか、キャパの大きいt2.medium, t2.largeなどに変えるか、そもそも定常的に100%が利用できるm4インスタンスを使用する、などが考えられます。

(実際に観測したり測定したわけでなくある程度憶測が入っているので参考程度に)

 参考

投稿 2017/01/18 14:20

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

ただいまの回答率

91.46%

関連した質問

同じタグがついた質問を見る

  • AWS(Amazon Web Services)

    1252questions

    Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。