Q&A
df で、tmpfs を使っているものはありませんか？
サーバの負荷対策の質問です。
Linux, CentOSを運用しています。(VMware)
数日前にメモリ使用率が上がり、それ以来下がらずに負荷が高いままになっています。
メモリを何に使っているか特定して、対処し、負荷を下げたいです。
サーバ自体は、2年程運用してきたもので、一番最後に再起動したのが50日程前。
以下、ユーザ名やアプリ名は???でマスクしてます。
shell
1# cat /etc/redhat-release 2CentOS release 6.5 (Final) 3 4# arch 5x86_64 6 7#free 8 total used free shared buffers cached 9Mem: 16334148 15682368 651780 0 10168 398956 10-/+ buffers/cache: 15273244 1060904 11Swap: 8388600 129948 8258652 12 13#top -a 14top - 10:19:14 up 49 days, 11:13, 1 user, load average: 1.05, 1.05, 1.10 15Tasks: 145 total, 1 running, 143 sleeping, 0 stopped, 1 zombie 16Cpu(s): 11.1%us, 18.4%sy, 0.0%ni, 69.5%id, 0.8%wa, 0.0%hi, 0.2%si, 0.0%st 17Mem: 16334148k total, 15684824k used, 649324k free, 9988k buffers 18Swap: 8388600k total, 129948k used, 8258652k free, 387824k cached 19 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 2017940 ??? 20 0 7461m 6.5g 6364 S 16.6 41.5 1113:27 java 21 4982 ??? 20 0 941m 531m 5756 S 2.7 3.3 611:22.48 java 22 3213 root 20 0 2057m 354m 2084 S 99.8 2.2 988:43.79 python 2328270 ??? 20 0 835m 157m 5464 S 0.0 1.0 106:48.55 java 24 1648 root 20 0 197m 10m 1452 S 0.0 0.1 42:35.95 python 25 1200 root 20 0 246m 7452 808 S 0.0 0.0 2:37.42 rsyslogd 26 27# ps aux --sort rss 28USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND 29root 1200 0.0 0.0 251968 7452 ? Sl Sep12 2:37 /sbin/rsyslogd -i /var/run/syslogd.pid -c 5 30root 1648 0.0 0.0 202268 10604 ? Ss Sep12 42:36 /usr/lib64/??? 31??? 28270 0.1 0.9 855932 161092 ? Sl Sep14 106:49 /usr/java/??? 32root 3213 96.1 2.0 2107704 332932 ? Ssl Oct31 992:25 /usr/lib64/??? 33??? 4982 0.8 3.3 964096 544328 ? Sl Sep12 611:25 /usr/java/??? 34??? 17940 6.6 41.5 7649356 6781076 ? Sl Oct20 1113:49 /usr/java/??? 35 36# vmstat 37procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu----- 38 r b swpd free buff cache si so bi bo in cs us sy id wa st 39 2 0 129880 286480 2736 743288 0 0 1 22 1 1 5 3 90 1 0 40 41# free -m 42 total used free shared buffers cached 43Mem: 15951 15424 526 0 5 261 44-/+ buffers/cache: 15157 793 45Swap: 8191 500 7691
メモリを使い尽くしてしまっていますが、psやtopで見ても、犯人がいません。
Slabもチェックしましたが、90444 kB程度なので、犯人ではなく。
syslogも漁りましたが、何も出ていません。
何がメモリを食い尽くしているのか、調べる方法など、なにか提案あれば教えて欲しいです。
よろしくお願いします。
追加です
tmpfsのusedは0%です。
tmpfsのusedは0%です。
既にやられているかもしれませんがダメもとでslabキャッシュをクリアしてみるのはどうでしょうか。
ついでですが/tmpの使用状況はどうでしょうか
すいません。tmpfsについては既に指摘がありました。
回答5件
0
自己解決
アプリケーションの再起動で強制？解決いたしました。
原因は不明のままですが、ひとまず問題自体は消えました。
皆様、ありがとうございました。
投稿2017/11/02 02:27
総合スコア6
再起動後にjavaのVIRTが解消されているようでしたら
CentOS6以降に搭載されているglibcの仕様による挙動も影響しているかもしれません。参考までに・・・。
http://udrepper.livejournal.com/20948.html
0
load averageが低いので、Disk I/Oを減らす目的で内部的にBuffer/Cacheを保有している可能性もありますが、現実として動作が遅くなっているのでしょうか？
私の場合ですと、負荷が高いタイミングでpsおよびtopコマンドからMEM使用率が高いPIDを調べて
順に追っていく対応をとりますが、割りと力技なので人におすすめする方法ではありません。
下記のサイトで丁寧に説明されているので、もしよろしければ参考までに・・・。
投稿2017/11/01 06:41
総合スコア240
psやtopで見えるプロセスは、通常動いているものです。
通常から9GBくらいのメモリは消費するシステムなので、今動いているプロセスを合計すると8GBくらいなので、普段より急にメモリを使うようになったようには見えないと思っています。
なにか、psやtopで見えないものが、メモリを食ってるんじゃないかと思っているんですが、、、
動作が遅いかどうかについて回答します。
ログインして見る感じでは遅くないですが、heartbeatを返すクライアントが動いており、ホストから見るとタイムアウトを起こしているので、パフォーマンスに問題はあるという認識です
なるほど・・・
cat /proc/meminfo
の結果は貼れますか？
# cat /proc/meminfo
MemTotal: 16334148 kB
MemFree: 312792 kB
Buffers: 2432 kB
Cached: 707100 kB
SwapCached: 66496 kB
Active: 6758140 kB
Inactive: 1824608 kB
Active(anon): 6570804 kB
Inactive(anon): 1327572 kB
Active(file): 187336 kB
Inactive(file): 497036 kB
Unevictable: 0 kB
Mlocked: 0 kB
SwapTotal: 8388600 kB
SwapFree: 8258736 kB
Dirty: 404 kB
Writeback: 0 kB
AnonPages: 7869472 kB
Mapped: 12940 kB
Shmem: 25156 kB
Slab: 95660 kB
SReclaimable: 32712 kB
SUnreclaim: 62948 kB
KernelStack: 6832 kB
PageTables: 21072 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 16555672 kB
Committed_AS: 8736744 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 304868 kB
VmallocChunk: 34359353700 kB
HardwareCorrupted: 0 kB
AnonHugePages: 7424000 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
DirectMap4k: 10240 kB
DirectMap2M: 16766976 kB
ありがとうございます。
※すみません、段を見間違えておかしなこと書いてました。
ページキャッシュ｛Active(file)+Inactive(file)｝としては大きくないですね・・・
Anonymousな領域と合算しても8GBほど。
再起動しても解消していないとのことで・・・例えばテスト環境があれば、同じデータを挿入して、そちらでも同様の現象が発生するのか？など確認できるかもしれませんが、本番環境しかないですかね・・・・？
クライアントのエージェントの再起動はしましたが、他のアプリの再起動やサーバ自体の再起動はまだです。
メモリ関連なので、再起動で解決しそうな気配はしているんですが、それをやると全部消えてしまい、原因特定や再発防止ができないので、再起動以外の方法を、、、と考えていました。
連休中に何かあると辛いので、そろそろ諦めてサーバの再起動を、と思っているところであります。
0
topの一番上にいる41.5%つかっているJavaはなになのでしょうか？
投稿2017/11/01 06:22
編集2017/11/01 06:23
総合スコア1150
これはこのサーバで常に動いているアプリになります。
CPU負荷96%で動いてるプロセスは何者なんでしょう?
これは、クライアントのエージェントでホストにheartbeatを返すようなものです。
昨日からホストから見るとタイムアウトを起こすようになっていたので、昨日再起動したんですが、効果なく、というところです
あなたの回答
tips
プレビュー
