DBサーバーのcache領域を増やし、iowaitの増加を軽減したい

Question

前提・実現したいこと

ある地点よりDBサーバーのcache領域が下がり、iowaitが増加し始めました。
cache領域を増やし、iowaitを下げたいです。

発生している問題

以下vmstat 5の結果になります。

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 209484 109176 3647792    0    0    45   222    0    0  9  1 89  1  0
 0  1      0 2845016  30808 1092188    0    0   200    37 3324 2621  3  4 91  3  0
 0  1      0 2858464  30492 1079548    0    0   489     6 3680 2828  3  1 71 25  0
 0  1      0 2871096  30396 1066764    0    0   116    10 2983 2422  2  1 72 25  0

上記１行目はcache 3.6Gですが、2行目からおよそ1Gに減り、ioの値が高くなりました。
cacheは減りましたが、freeは増えています。

上記のようにcache領域が減ったかと思うと、一定時間経過後またcache領域が増え、iowaitが減るということを繰り返します。

上記１行目のようにfreeの領域がcache領域に十分に割り当てられてiowaitが少ない状態を保つ為に、思いつく調査方法や対策がありましたらご教示頂けますと幸いです。

補足情報

osはCentOS6.9になります。

Answer 1

1. sarで負荷が増える時間帯を特定する
2. その時間帯で動作する特定の処理（バッチ等）または増加しているアクセスを調査する
3. バッチが原因なら処理を細分化して時間帯を散らしてみる
4. アクセスが原因なら（DB限定のサーバーだとして）、重い処理を調査する（重いSQLなどが無いか）

OS自体のウィルスチェック入れてるだとかアップデートだとかなら諦める

Comments

[bitarx]

ご回答ありがとうございます。
バッチ処理などに該当はありませんでしたが、重いクエリなどを調査してみます。

[hentaiman]

はい。規模にもよるけど余程へなちょこな設定しなければDBのメモリ管理が悪くて遅くなる事が無いというか、それが原因ならほぼずっと負荷が高いと思うので。
他にもSQL単体だと速くても変にテーブルロックに掛かる処理が同時に複数走っている場合などもあると思うので安易には判断できないですが、一個ずつ試すしかない。基本ですね

Answer 2

linux ページキャッシュ チューニングやCentOS6 ページキャッシュ チューニングあたりで調べてみると良いかと思いますが、
（例えば5.5. 仮想メモリのチューニング）

アプリケーションからキャッシュに乗らないような読み方をしている場合はそもそもキャッシュには載らないですし、十分な物理メモリ量がある場合、チューニングしたところで劇的な効果があるかと言えばそうでは無いことの方が多いです。

hentaimanさんの回答の様なアプローチで、パフォーマンスに影響を与えているアプリケーション側の調査と調整を行うのが王道かと思います。

また、DBサーバということですから、
RDBMS側のクエリキャッシュ等に大きくメモリを割り振ってRDBMS側でキャッシュを管理させる方が確実な効果が見込めるでしょうね。

Comments

[bitarx]

ご回答ありがとうございます。
確かにアプリケーション側の調査が王道だと思いますので、まずはクエリなどを調査いたします。