Q&A
回答ありがとうございました。
ご参考にさせて頂きます。
こんにちは
会員制WebシステムをLAMP環境で開発しております。
現在運用中で、ユーザー数は約3700件ほどで、法人向けのものとなっております。
当システムは、アクセス数が大雨や大雪、災害等による緊急時になると
平常時に時と比べ格段に上がります。
その対策として、例えば事前に大雪が降るということが分かれば、
クラウド型のサーバーを利用するため、
サーバーをスペックアップするということを行っています。
運用前に負荷テストを、スペックアップ後のサーバーより行っています。
Jmeterでログイン画面やログイン後の画面等、いくつかの画面を利用し
1分間に12000件（ユーザー数の倍以上）アクセスを行った時に、画面がすぐ（2～3秒後）に表示できることを確認しています。
ですが、実際にはサーバーをスペックアップしても、アクセス状況により、画面表示に1分ほど待つ場合があります。
その際、Webサーバーのロードアベレージが1～2になっていることを確認しました。（平常時は1以下）
DBサーバーのロードアベレージは平常時どおり1以下でした。
この原因は、サーバー側（ミドルウェアも含む）によるものなのか、あるいはプログラム側によるものなのか、
それ以外によるものなのか、アドバイスを頂けますでしょうか？
以下にサーバーに関する詳細を記載します。
○構成・スペック
【構成】
Webサーバー2台
→・apache
・負荷分散のため、ロードバランサでラウンドロビン方式を利用
・会員制Webシステムに画像をアップする機能も付いているため、
rsyncとlsyncdを使ったディレクトリの双方向同期を行っています。
DBサーバー1台
→mysql
【スペック】
Webサーバー、DBサーバー共に
・平常時
4CPU X 2.2GHz
32GB RAM
・緊急時
16CPU X 2.595GHz
32GB RAM
○ミドルウェアの設定
【apache・httpd.conf】
KeepAlive On
KeepAliveTimeout 1
【mysql・my.cnf】
max_connections = 2048
不足している情報がございましたら仰って下さい。
よろしくお願いいたします。
回答5件
0
スペックアップ後のサーバーより行っています。
所謂C10K問題に引っかかっているように思えます。
Apacheも設定やバージョン次第で頑張れますが、恐らくApache+PHPと普通に書いてあるのを見る限り、Apache2.2+mod_phpの構成なのでは？
もしそうならサーバーのスペックアップは完全に無駄
…とまでは言いませんが、Apache2.2が足を引っ張るので性能が頭打ちになるでしょう。
参考記事を張っておきますので、
Apache2.4のevent_mpmルート、Nginxルートの２ルートのいずれかを選んで乗り換える事をオススメします。
mod_phpが使えるのはApache2.2だけなので、どの道FastCGI行きです。
参考記事:
- TheC10kProblem - 「C10K問題」（クライアント1万台問題）とは、ハードウェアの性能上は問題がなくても、あまりにもクライアントの数が多くなるとサーバがパンクする問題のこと
- Apacheをpreforkからeventに切り替える
- ApacheとNginxの性能比較でevent_mpmの本気を見た
・会員制Webシステムに画像をアップする機能も付いているため、
rsyncとlsyncdを使ったディレクトリの双方向同期を行っています。
これはセキュリティ的な都合もあるかとは思いますが、高速化する為のアイデアだけ共有します。
オブジェクトストレージ、CDNといった画像配信用のサービスがありますので、
上手く活用すれば既存のサーバーは負荷を一切気にする必要はなくなります。
また自前の画像サーバも静的ファイルに限った運用ならば、
Nginxを使えば楽に高速動作させられるサーバが用意出来ます。
こういった手法を駆使して分離する手段がありますので参考にどうぞ。
参考サイト: Amazon CloudFront
投稿2018/01/22 23:38
総合スコア21158
0
考えるより、サーバー増やしたほうが良いんじゃないですか？
自分の経験上
・ロードバランサー
・nginx x 3 4gb
・db x 1 8gb
で秒間 5000アクセス耐えれましたよ。
画像はオブジェクトストレージにしたほうがよいと考えます。
投稿2018/01/22 09:43
総合スコア85
0
C10K等はみなさんが書かれているので、あくまで補足の投稿となりますが、
IoTの通信などと違って、ITの通信は画像のアップロードなどが絡むと、時間帯によってはおっしゃられるような事態になることがあると思います。あと、微々たるものかもしれませんが、CSSやJSが画面表示を遅くしている原因になってる場合もあります。minifyなどができているかの再確認が必要かと思います。
あと、apacheのkeepaliveの設定がOnになっていないかとかその辺の設定が肝な気がします。keepaliveがonだと設定した時間が経過してタイムアウトになるまで他の処理に移れないという仕様がapache2.2だとあったかと思います。
投稿2018/01/26 15:12
編集2018/01/26 15:23
総合スコア1161
補足のご投稿ありがとうございます。
またコメントが大変遅くなってしまい、申し訳ございませんでした。。
CSSやJS、また画像については、取り急ぎ、ユーザーがよく使われる画面のみ
オブジェクトストレージを使用するようにいたしました。
ゆくゆくは全てのファイルをオブジェクトストレージにて対応する予定でおります。
またapacheのkeepaliveにつきましてはOnになっておりました。
仮に全ファイルをオブジェクトストレージで対応するようにした場合
画面表示時に、画像等のコンテンツのダウンロードはapacheからではなく
オブジェクトストレージになるため、keepaliveはOffにしてもよいのでしょうか？
0
1ヶ月前のスレッドで今更かもしれませんが・・・
"その"スペックでかつ "その"登録者数で、C10K問題が発生するような状況において
・OSのロードアベレージが1～2までしか上がっていない
・DBのロードアベレージは1以下である
そんな状況ってありますかね・・・？
preforkならば、現象発生時のhttpdプロセス数を確認すれば
WEBアクセスによる高負荷が発生しているかどうかの判断ができそうですが
こちらは確認されていましたでしょうか？
ちなみにですが、私が過去に経験した事例として下記のようなものがありました。
・サーバのリソース状況には大きな変動が見られない
・トラフィック過多や回線障害も発生していない
・ページの表示に1分以上要する
諸々の事情であまり詳しく説明することはできないのですが、結論として
「サイト表示における流れの中に外部ドメインのサービスを読み込む処理が組み込まれており
そちらの応答に遅延が発生していたために、サイト全体の表示に時間を要していた」
といった事象でした。
これは現象発生時に、FireFoxが保有する開発ツールで
"ネットワーク"の情報を取得した際に判明しています。
もしも現象が再発された場合には
"どの処理まで読み込めていてどの処理で止まっているのか"
こちらを確認すると何かわかるかもしれません。
投稿2018/02/22 07:42
総合スコア240
0
使っている人の数が少ないときもあれば多いときもあるみたいな状態を想定しているのならそのApacheの設定で良いと思いますが、めちゃくちゃ忙しい時用の設定ならあまり子プロセスをforkをしないようにした方がいいのではないかと思います。
forkは重めの処理であると聞いています。
8つ（StartServers）の子プロセスから開始して、忙しかったら最大2048つ（MaxClients）の子プロセスまでforkするっていう処理と、20以上（MaxSpareServers）の子プロセスなら要らない子プロセスのをkillしていって、その分新しいリクエストに従ってまたMaxClientsまでforkするっていう無駄な処理が発生しているのではないかと思います。
なので、
StartServers 2048
MinSpareServers 2048
MaxSpareServers 2048
ServerLimit 2048
MaxClients 2048
みたいな設定が良いのではないでしょうか？
もちろん、2048は一例です。
限界値 ＝ (32GBのメモリ - OSや他アプリケーションの使用量) / 1つのHTTPプロセスで使用する平均使用量
設定値 ＝ 限界値 ＊ 0.8（余裕のため）
っていう感じで計算して出すのが良いと思いますがどうでしょう？
※サーバーのカスタマイズをメインの業務としていないので、もしかしたら勘違いがあるかもしれません。もし間違っていたら指摘してくれるとこちらもありがたいです。
投稿2018/01/22 10:31
総合スコア1895
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/01/25 02:29
2018/01/25 02:37
2018/01/25 02:44
2018/01/25 02:48