teratail
回答率
85.48%
質問するログイン新規登録
トップに関する質問DISK I/Oが発生している要因

編集履歴

質問編集履歴

7

表示がおかしくなったので修正

2019/04/10 15:02

投稿

kenji267
kenji267

スコア50

test CHANGED
File without changes
test CHANGED
@@ -66,7 +66,7 @@
66
66
 
67
67
  vmstat -t 2
68
68
 
69
- ```
69
+
70
70
 
71
71
  procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ ---timestamp---
72
72
 
@@ -80,7 +80,7 @@
80
80
 
81
81
  0 0 0 264668 190432 363308 0 0 0 44 45 20 0 0 100 0 0 2019-04-08 20:56:54 JST
82
82
 
83
- 0 0 0 264668 190432 363308 0 0 0 0 45 17 0 0 100 0 0 ```
83
+ 0 0 0 264668 190432 363308 0 0 0 0 45 17 0 0 100 0 0
84
84
 
85
85
 
86
86
 
@@ -116,160 +116,160 @@
116
116
 
117
117
 
118
118
 
119
+
120
+
121
+ /var/log/sa/sa08
122
+
123
+
124
+
125
+ 00時00分01秒 proc/s cswch/s
126
+
127
+ 00時10分01秒 0.01 15.49
128
+
129
+ 00時20分01秒 0.01 15.53
130
+
131
+ 00時30分01秒 0.01 15.56
132
+
133
+ 00時40分01秒 0.01 15.65
134
+
135
+ 00時50分01秒 0.04 15.87
136
+
137
+ 〜
138
+
139
+ 04時10分01秒 0.01 15.60
140
+
141
+ 04時20分01秒 0.01 15.73
142
+
143
+ 04時30分01秒 0.01 15.53
144
+
145
+ 04時40分01秒 0.40 **17.58**
146
+
147
+ 04時50分01秒 0.03 15.94
148
+
149
+ 05時00分01秒 0.01 15.67
150
+
151
+ 〜
152
+
153
+ 19時10分01秒 0.01 15.68
154
+
155
+ 19時20分01秒 0.01 15.53
156
+
157
+ 19時30分01秒 0.01 15.44
158
+
159
+ 19時40分01秒 0.04 16.49
160
+
161
+ 19時50分01秒 0.14 **36.60**
162
+
163
+ 20時00分01秒 0.01 16.36
164
+
165
+ 20時10分01秒 0.03 16.35
166
+
167
+
168
+
169
+ 00時00分01秒 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
170
+
171
+ 〜
172
+
173
+ 01時20分01秒 dev252-0 0.10 0.00 0.87 9.12 0.00 1.18 0.89 0.01
174
+
175
+ 01時30分01秒 dev252-0 0.10 0.00 0.89 9.08 0.00 1.02 0.76 0.01
176
+
177
+ 〜
178
+
179
+ 04時00分01秒 dev252-0 0.11 0.00 1.04 9.75 0.00 0.62 0.59 0.01
180
+
181
+ 04時10分01秒 dev252-0 0.10 0.00 1.06 10.19 0.00 0.73 0.68 0.01
182
+
183
+ 04時20分01秒 dev252-0 0.09 0.00 0.81 9.04 0.00 0.80 0.72 0.01
184
+
185
+ 04時30分01秒 dev252-0 0.09 0.00 0.77 8.75 0.00 0.81 0.72 0.01
186
+
187
+ 04時40分01秒 dev252-0 0.31 0.00 **18.23 59.67 ** 0.00 1.25 0.29 0.01
188
+
189
+ 04時50分01秒 dev252-0 0.13 0.00 1.31 10.18 0.00 0.92 0.75 0.01
190
+
191
+ 05時00分01秒 dev252-0 0.14 0.00 1.50 10.42 0.00 0.80 0.57 0.01
192
+
193
+ 05時10分01秒 dev252-0 0.13 0.00 1.28 10.11 0.00 0.99 0.68 0.01
194
+
195
+ 05時20分01秒
196
+
197
+ 〜
198
+
199
+ 19時00分01秒 dev252-0 0.12 0.00 1.34 11.11 0.00 0.94 0.69 0.01
200
+
201
+ 19時10分01秒 dev252-0 0.11 0.00 1.00 9.09 0.00 1.26 0.88 0.01
202
+
203
+ 19時20分01秒 dev252-0 0.09 0.00 0.84 9.16 0.00 1.15 0.85 0.01
204
+
205
+ 19時30分01秒 dev252-0 0.09 0.00 0.83 9.02 0.00 1.36 0.89 0.01
206
+
207
+ 19時40分01秒 dev252-0 0.14 0.00 1.36 9.83 0.00 0.92 0.59 0.01
208
+
209
+ 19時50分01秒 dev252-0 1.64 3.67 　**187.16 116.59** 0.02 9.55 0.37 0.06
210
+
211
+ 20時00分01秒 dev252-0 0.11 0.00 1.07 10.00 0.00 0.92 0.75 0.01
212
+
213
+
214
+
119
215
  ---
120
216
 
121
- /var/log/sa/sa08
217
+ /var/log/sar/sa09
122
218
 
123
219
  ```
124
220
 
125
221
  00時00分01秒 proc/s cswch/s
126
222
 
223
+ 00時10分01秒 0.02 16.91
224
+
127
- 00時10分01秒 0.01 15.49
225
+ 00時20分01秒 0.01 16.44
128
-
226
+
129
- 00時20分01秒 0.01 15.53
227
+ 00時30分01秒 0.02 16.94
130
-
228
+
131
- 00時30分01秒 0.01 15.56
229
+ 00時40分01秒 0.01 16.56
132
-
133
- 00時40分01秒 0.01 15.65
230
+
134
-
135
- 00時50分01秒 0.04 15.87
136
-
137
- 〜
231
+ 〜
138
-
139
- 04時10分01秒 0.01 15.60
232
+
140
-
141
- 04時20分01秒 0.01 15.73
233
+ 04時20分01秒 0.01 18.51
142
-
234
+
143
- 04時30分01秒 0.01 15.53
235
+ 04時30分01秒 0.01 16.57
144
-
236
+
145
- 04時40分01秒 0.40 **17.58**
237
+ 04時40分02秒 0.01 16.63
146
-
238
+
147
- 04時50分01秒 0.03 15.94
239
+ 04時50分01秒 0.50 55.70
148
-
240
+
149
- 05時00分01秒 0.01 15.67
241
+ 05時00分01秒 0.01 16.22
150
-
151
- 〜
242
+
152
-
153
- 19時10分01秒 0.01 15.68
154
-
155
- 19時20分01秒 0.01 15.53
156
-
157
- 19時30分01秒 0.01 15.44
158
-
159
- 19時40分01秒 0.04 16.49
160
-
161
- 19時50分01秒 0.14 **36.60**
162
-
163
- 20時00分01秒 0.01 16.36
243
+ 05時10分01秒 0.01 16.56
164
-
165
- 20時10分01秒 0.03 16.35
166
244
 
167
245
 
168
246
 
169
247
  00時00分01秒 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
170
248
 
249
+ 00時50分01秒 dev252-0 0.13 0.59 1.01 12.80 0.00 0.85 0.65 0.01
250
+
251
+ 01時00分01秒 dev252-0 0.08 0.00 0.76 9.12 0.00 0.98 0.74 0.01
252
+
171
- 〜
253
+ 〜
172
-
173
- 01時20分01秒 dev252-0 0.10 0.00 0.87 9.12 0.00 1.18 0.89 0.01
254
+
174
-
175
- 01時30分01秒 dev252-0 0.10 0.00 0.89 9.08 0.00 1.02 0.76 0.01
176
-
177
- 〜
178
-
179
- 04時00分01秒 dev252-0 0.11 0.00 1.04 9.75 0.00 0.62 0.59 0.01
180
-
181
- 04時10分01秒 dev252-0 0.10 0.00 1.06 10.19 0.00 0.73 0.68 0.01
182
-
183
- 04時20分01秒 dev252-0 0.09 0.00 0.81 9.04 0.00 0.80 0.72 0.01
255
+ 04時00分01秒 dev252-0 0.09 0.00 0.84 9.16 0.00 0.89 0.64 0.01
256
+
184
-
257
+ 04時10分01秒 dev252-0 0.09 0.00 0.75 8.62 0.00 1.29 0.83 0.01
258
+
259
+ 04時20分01秒 dev252-0 0.18 0.00 2.42 13.41 0.00 0.73 0.44 0.01
260
+
185
- 04時30分01秒 dev252-0 0.09 0.00 0.77 8.75 0.00 0.81 0.72 0.01
261
+ 04時30分01秒 dev252-0 0.09 0.00 0.77 8.75 0.00 0.98 0.72 0.01
186
-
187
- 04時40分01秒 dev252-0 0.31 0.00 **18.23 59.67 ** 0.00 1.25 0.29 0.01
262
+
188
-
189
- 04時50分01秒 dev252-0 0.13 0.00 1.31 10.18 0.00 0.92 0.75 0.01
190
-
191
- 05時00分01秒 dev252-0 0.14 0.00 1.50 10.42 0.00 0.80 0.57 0.01
192
-
193
- 05時10分01秒 dev252-0 0.13 0.00 1.28 10.11 0.00 0.99 0.68 0.01
194
-
195
- 05時20分01秒
196
-
197
- 〜
198
-
199
- 19時00分01秒 dev252-0 0.12 0.00 1.34 11.11 0.00 0.94 0.69 0.01
200
-
201
- 19時10分01秒 dev252-0 0.11 0.00 1.00 9.09 0.00 1.26 0.88 0.01
202
-
203
- 19時20分01秒 dev252-0 0.09 0.00 0.84 9.16 0.00 1.15 0.85 0.01
204
-
205
- 19時30分01秒 dev252-0 0.09 0.00 0.83 9.02 0.00 1.36 0.89 0.01
263
+ 04時40分02秒 dev252-0 0.09 0.00 0.81 9.04 0.00 1.07 0.81 0.01
264
+
206
-
265
+ 04時50分01秒 dev252-0 12.71 **207.21 25.53 18.31** 0.01 0.70 0.37 0.47
266
+
207
- 19時40分01秒 dev252-0 0.14 0.00 1.36 9.83 0.00 0.92 0.59 0.01
267
+ 05時00分01秒 dev252-0 0.10 0.00 0.93 9.33 0.00 1.02 0.77 0.01
208
-
209
- 19時50分01秒 dev252-0 1.64 3.67 　**187.16 116.59** 0.02 9.55 0.37 0.06
210
-
211
- 20時00分01秒 dev252-0 0.11 0.00 1.07 10.00 0.00 0.92 0.75 0.01
212
268
 
213
269
  ```
214
270
 
215
271
  ---
216
272
 
217
- /var/log/sar/sa09
218
-
219
- ```
220
-
221
- 00時00分01秒 proc/s cswch/s
222
-
223
- 00時10分01秒 0.02 16.91
224
-
225
- 00時20分01秒 0.01 16.44
226
-
227
- 00時30分01秒 0.02 16.94
228
-
229
- 00時40分01秒 0.01 16.56
230
-
231
- 〜
232
-
233
- 04時20分01秒 0.01 18.51
234
-
235
- 04時30分01秒 0.01 16.57
236
-
237
- 04時40分02秒 0.01 16.63
238
-
239
- 04時50分01秒 0.50 55.70
240
-
241
- 05時00分01秒 0.01 16.22
242
-
243
- 05時10分01秒 0.01 16.56
244
-
245
-
246
-
247
- 00時00分01秒 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
248
-
249
- 00時50分01秒 dev252-0 0.13 0.59 1.01 12.80 0.00 0.85 0.65 0.01
250
-
251
- 01時00分01秒 dev252-0 0.08 0.00 0.76 9.12 0.00 0.98 0.74 0.01
252
-
253
- 〜
254
-
255
- 04時00分01秒 dev252-0 0.09 0.00 0.84 9.16 0.00 0.89 0.64 0.01
256
-
257
- 04時10分01秒 dev252-0 0.09 0.00 0.75 8.62 0.00 1.29 0.83 0.01
258
-
259
- 04時20分01秒 dev252-0 0.18 0.00 2.42 13.41 0.00 0.73 0.44 0.01
260
-
261
- 04時30分01秒 dev252-0 0.09 0.00 0.77 8.75 0.00 0.98 0.72 0.01
262
-
263
- 04時40分02秒 dev252-0 0.09 0.00 0.81 9.04 0.00 1.07 0.81 0.01
264
-
265
- 04時50分01秒 dev252-0 12.71 **207.21 25.53 18.31** 0.01 0.70 0.37 0.47
266
-
267
- 05時00分01秒 dev252-0 0.10 0.00 0.93 9.33 0.00 1.02 0.77 0.01
268
-
269
- ```
270
-
271
- ---
272
-
273
273
  /var/log/cron
274
274
 
275
275
  ```

6

項目の意味追加

2019/04/10 15:02

投稿

kenji267
kenji267

スコア50

test CHANGED
File without changes
test CHANGED
@@ -80,11 +80,7 @@
80
80
 
81
81
  0 0 0 264668 190432 363308 0 0 0 44 45 20 0 0 100 0 0 2019-04-08 20:56:54 JST
82
82
 
83
- 0 0 0 264668 190432 363308 0 0 0 0 45 17 0 0 100 0 0 2019-04-08 20:56:56 JST
84
-
85
- 0 0 0 264668 190432 363308 0 0 0 0 53 18 0 0 100 0 0 `
83
+ 0 0 0 264668 190432 363308 0 0 0 0 45 17 0 0 100 0 0 ```
86
-
87
- ```
88
84
 
89
85
 
90
86
 
@@ -92,6 +88,34 @@
92
88
 
93
89
  ![イメージ説明](9010f3c2e0f6e5831e3ebcf7f04d9131.png)
94
90
 
91
+
92
+
93
+ [sarコマンド](https://qiita.com/makaaso/items/6e27a2f0948241891667)
94
+
95
+ proc/s.... 1秒あたりの生成されたプロセス数
96
+
97
+ cswch/s... 1秒あたりのコンテキストスイッチ回数
98
+
99
+
100
+
101
+ tps.............. 1秒間のI/Oリクエスト数(転送回数)
102
+
103
+ rd_sec(rsec)/s... 1秒間の読み込みセクタ数(1セクタ512バイト)
104
+
105
+ wr_sec(wsec)/s... 1秒間の書き込みセクタ数(1セクタ512バイト)
106
+
107
+ avgrq-sz......... デバイスへのIOリクエストの平均セクタサイズ
108
+
109
+ avgqu-sz......... デバイスへのIOリクエストの待ち行列の平均セクタサイズ
110
+
111
+ await............ デバイスへのIOリクエストの平均待ち時間(単位msec)[待ち行列にいる時間＋処理時間]
112
+
113
+ svctm............ デバイスへのIOリクエストの平均処理時間(単位msec)
114
+
115
+ %util............ デバイスへのIOリクエスト中のCPU使用率(ここが継続的に100%だとディスク部分でボトルネックになっている可能性が高い)
116
+
117
+
118
+
95
119
  ---
96
120
 
97
121
  /var/log/sa/sa08

5

見やすいように修正

2019/04/10 14:49

投稿

kenji267
kenji267

スコア50

test CHANGED
File without changes
test CHANGED
@@ -62,9 +62,11 @@
62
62
 
63
63
  上記に対しswapを確認
64
64
 
65
+
66
+
67
+ vmstat -t 2
68
+
65
- ```
69
+ ```
66
-
67
- [root@ik1-331-25789 ~]# vmstat -t 2
68
70
 
69
71
  procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ ---timestamp---
70
72
 
@@ -80,7 +82,9 @@
80
82
 
81
83
  0 0 0 264668 190432 363308 0 0 0 0 45 17 0 0 100 0 0 2019-04-08 20:56:56 JST
82
84
 
83
- 0 0 0 264668 190432 363308 0 0 0 0 53 18 0 0 100 0 0 ```
85
+ 0 0 0 264668 190432 363308 0 0 0 0 53 18 0 0 100 0 0 `
86
+
87
+ ```
84
88
 
85
89
 
86
90
 
@@ -88,10 +92,12 @@
88
92
 
89
93
  ![イメージ説明](9010f3c2e0f6e5831e3ebcf7f04d9131.png)
90
94
 
91
-
95
+ ---
92
96
 
93
97
  /var/log/sa/sa08
94
98
 
99
+ ```
100
+
95
101
  00時00分01秒 proc/s cswch/s
96
102
 
97
103
  00時10分01秒 0.01 15.49
@@ -180,10 +186,14 @@
180
186
 
181
187
  20時00分01秒 dev252-0 0.11 0.00 1.07 10.00 0.00 0.92 0.75 0.01
182
188
 
183
-
189
+ ```
190
+
191
+ ---
184
192
 
185
193
  /var/log/sar/sa09
186
194
 
195
+ ```
196
+
187
197
  00時00分01秒 proc/s cswch/s
188
198
 
189
199
  00時10分01秒 0.02 16.91
@@ -232,10 +242,14 @@
232
242
 
233
243
  05時00分01秒 dev252-0 0.10 0.00 0.93 9.33 0.00 1.02 0.77 0.01
234
244
 
235
-
245
+ ```
246
+
247
+ ---
236
248
 
237
249
  /var/log/cron
238
250
 
251
+ ```
252
+
239
253
  Apr 8 04:34:01 ik1-331-25789 run-parts(/etc/cron.daily)[32120]: starting makewhatis.cron
240
254
 
241
255
  Apr 8 04:34:02 ik1-331-25789 run-parts(/etc/cron.daily)[32280]: finished makewhatis.cron
@@ -322,7 +336,7 @@
322
336
 
323
337
  Apr 9 04:48:04 ik1-331-25789 run-parts(/etc/cron.daily)[2119]: finished tmpwatch
324
338
 
325
-
339
+ ```
326
340
 
327
341
 
328
342
 

4

若干修正

2019/04/10 12:38

投稿

kenji267
kenji267

スコア50

test CHANGED
File without changes
test CHANGED
@@ -80,11 +80,7 @@
80
80
 
81
81
  0 0 0 264668 190432 363308 0 0 0 0 45 17 0 0 100 0 0 2019-04-08 20:56:56 JST
82
82
 
83
- 0 0 0 264668 190432 363308 0 0 0 0 53 18 0 0 100 0 0 2019-04-08 20:56:58 JST
84
-
85
- 0 0 0 264668 190432 363308 0 0 0 0 46 19 0 0 100 0 0 2019-04-08 20:57:00 JST
86
-
87
- 0 0 0 264668 190432 363308 0 0 0 0 50 18 0 0 100 0 0 ```
83
+ 0 0 0 264668 190432 363308 0 0 0 0 53 18 0 0 100 0 0 ```
88
84
 
89
85
 
90
86
 
@@ -240,18 +236,6 @@
240
236
 
241
237
  /var/log/cron
242
238
 
243
- Apr 8 04:10:01 ik1-331-25789 CROND[32109]: (root) CMD (/usr/lib64/sa/sa1 1 1)
244
-
245
- Apr 8 04:20:01 ik1-331-25789 CROND[32113]: (root) CMD (/usr/lib64/sa/sa1 1 1)
246
-
247
- Apr 8 04:30:01 ik1-331-25789 CROND[32117]: (root) CMD (/usr/lib64/sa/sa1 1 1)
248
-
249
- Apr 8 04:34:01 ik1-331-25789 anacron[31999]: Job `cron.daily' started
250
-
251
- Apr 8 04:34:01 ik1-331-25789 run-parts(/etc/cron.daily)[32120]: starting logrotate
252
-
253
- Apr 8 04:34:01 ik1-331-25789 run-parts(/etc/cron.daily)[32128]: finished logrotate
254
-
255
239
  Apr 8 04:34:01 ik1-331-25789 run-parts(/etc/cron.daily)[32120]: starting makewhatis.cron
256
240
 
257
241
  Apr 8 04:34:02 ik1-331-25789 run-parts(/etc/cron.daily)[32280]: finished makewhatis.cron
@@ -288,12 +272,6 @@
288
272
 
289
273
  〜
290
274
 
291
- Apr 8 19:10:01 ik1-331-25789 CROND[425]: (root) CMD (/usr/lib64/sa/sa1 1 1)
292
-
293
- Apr 8 19:20:01 ik1-331-25789 CROND[429]: (root) CMD (/usr/lib64/sa/sa1 1 1)
294
-
295
- Apr 8 19:30:01 ik1-331-25789 CROND[433]: (root) CMD (/usr/lib64/sa/sa1 1 1)
296
-
297
275
  Apr 8 19:40:01 ik1-331-25789 CROND[455]: (root) CMD (/usr/lib64/sa/sa1 1 1)
298
276
 
299
277
  Apr 8 19:43:01 ik1-331-25789 CROND[528]: (root) CMD (run-parts /etc/cron.hourly)
@@ -310,20 +288,40 @@
310
288
 
311
289
  〜
312
290
 
313
- Apr 9 04:20:01 ik1-331-25789 CROND[1811]: (root) CMD (/usr/lib64/sa/sa1 1 1)
314
-
315
- Apr 9 04:30:01 ik1-331-25789 CROND[1815]: (root) CMD (/usr/lib64/sa/sa1 1 1)
316
-
317
- Apr 9 04:40:02 ik1-331-25789 CROND[1819]: (root) CMD (/usr/lib64/sa/sa1 1 1)
318
-
319
- Apr 9 04:43:01 ik1-331-25789 CROND[1823]: (root) CMD (run-parts /etc/cron.hourly)
320
-
321
- Apr 9 04:43:01 ik1-331-25789 run-parts(/etc/cron.hourly)[1823]: starting 0anacron
322
-
323
291
  Apr 9 04:43:01 ik1-331-25789 anacron[1834]: Anacron started on 2019-04-09
324
292
 
325
293
  Apr 9 04:43:01 ik1-331-25789 anacron[1834]: Job `cron.daily' locked by another anacron - skipping
326
294
 
295
+ Apr 9 04:43:01 ik1-331-25789 anacron[1834]: Normal exit (0 jobs run)
296
+
297
+ Apr 9 04:43:01 ik1-331-25789 run-parts(/etc/cron.hourly)[1836]: finished 0anacron
298
+
299
+ Apr 9 04:48:01 ik1-331-25789 anacron[1666]: Job `cron.daily' started
300
+
301
+ Apr 9 04:48:01 ik1-331-25789 run-parts(/etc/cron.daily)[1838]: starting logrotate
302
+
303
+ Apr 9 04:48:01 ik1-331-25789 run-parts(/etc/cron.daily)[1847]: finished logrotate
304
+
305
+ Apr 9 04:48:01 ik1-331-25789 run-parts(/etc/cron.daily)[1838]: starting makewhatis.cron
306
+
307
+ Apr 9 04:48:01 ik1-331-25789 run-parts(/etc/cron.daily)[2002]: finished makewhatis.cron
308
+
309
+ Apr 9 04:48:01 ik1-331-25789 run-parts(/etc/cron.daily)[1838]: starting mlocate.cron
310
+
311
+ Apr 9 04:48:03 ik1-331-25789 run-parts(/etc/cron.daily)[2013]: finished mlocate.cron
312
+
313
+ Apr 9 04:48:03 ik1-331-25789 run-parts(/etc/cron.daily)[1838]: starting prelink
314
+
315
+ Apr 9 04:48:04 ik1-331-25789 run-parts(/etc/cron.daily)[2069]: finished prelink
316
+
317
+ Apr 9 04:48:04 ik1-331-25789 run-parts(/etc/cron.daily)[1838]: starting readahead.cron
318
+
319
+ Apr 9 04:48:04 ik1-331-25789 run-parts(/etc/cron.daily)[2081]: finished readahead.cron
320
+
321
+ Apr 9 04:48:04 ik1-331-25789 run-parts(/etc/cron.daily)[1838]: starting tmpwatch
322
+
323
+ Apr 9 04:48:04 ik1-331-25789 run-parts(/etc/cron.daily)[2119]: finished tmpwatch
324
+
327
325
 
328
326
 
329
327
 

3

調査内容追加

2019/04/10 12:30

投稿

kenji267
kenji267

スコア50

test CHANGED
File without changes
test CHANGED
@@ -40,12 +40,6 @@
40
40
 
41
41
  date/time |usr sys idl wai hiq siq:usr sys idl wai hiq siq| read writ| recv send| in out | int csw
42
42
 
43
- 08-04 19:52:07| 0 0 100 0 0 0: 0 0 100 0 0 0| 0 0 |1658B 820B| 0 0 | 51 21
44
-
45
- 08-04 19:52:08| 0 0 100 0 0 0: 0 0 100 0 0 0| 0 0 |1360B 172B| 0 0 | 43 20
46
-
47
- 08-04 19:52:09| 1 0 99 0 0 0: 0 0 100 0 0 0| 0 0 |1414B 1178B| 0 0 | 46 20
48
-
49
43
  08-04 19:52:10| 0 0 100 0 0 0: 0 0 100 0 0 0| 0 0 |1594B 442B| 0 0 | 57 27
50
44
 
51
45
  08-04 19:52:11| 0 0 100 0 0 0: 0 0 100 0 0 0| 0 0 |1774B 442B| 0 0 | 48 19
@@ -60,28 +54,6 @@
60
54
 
61
55
  08-04 19:52:16| 0 0 100 0 0 0: 0 0 100 0 0 0| 0 0 |1714B 442B| 0 0 | 52 17
62
56
 
63
- 08-04 19:52:17| 0 0 100 0 0 0: 0 0 100 0 0 0| 0 0 |1534B 900B| 0 0 | 51 20
64
-
65
- 08-04 19:52:18| 0 0 100 0 0 0: 0 0 100 0 0 0| 0 0 |1474B 42B| 0 0 | 41 17
66
-
67
- 08-04 19:52:19| 0 0 100 0 0 0: 0 0 100 0 0 0| 0 0 |1414B 442B| 0 0 | 44 21
68
-
69
- 08-04 19:52:20| 1 0 99 0 0 0: 0 0 100 0 0 0| 0 0 |1474B 442B| 0 0 | 51 22
70
-
71
- 08-04 19:52:21| 0 0 100 0 0 0: 0 1 99 0 0 0| 0 0 |1534B 442B| 0 0 | 51 22
72
-
73
- 08-04 19:52:22| 0 0 100 0 0 0: 0 0 100 0 0 0| 0 0 |1714B 442B| 0 0 | 56 23
74
-
75
- 08-04 19:52:23| 1 0 99 0 0 0: 0 0 100 0 0 0| 0 0 |1906B 442B| 0 0 | 61 19
76
-
77
- 08-04 19:52:24| 0 0 100 0 0 0: 0 0 100 0 0 0| 0 0 |1474B 442B| 0 0 | 41 17
78
-
79
- 08-04 19:52:25| 0 1 99 0 0 0: 0 0 100 0 0 0| 0 0 |1174B 442B| 0 0 | 47 21
80
-
81
- 08-04 19:52:26| 0 0 100 0 0 0: 0 0 100 0 0 0| 0 0 |1414B 442B| 0 0 | 49 17
82
-
83
- 08-04 19:52:27| 1 0 99 0 0 0: 0 0 100 0 0 0| 0 0 |1714B 442B| 0 0 | 47 20 ^C
84
-
85
57
  ```
86
58
 
87
59
 
@@ -112,29 +84,245 @@
112
84
 
113
85
  0 0 0 264668 190432 363308 0 0 0 0 46 19 0 0 100 0 0 2019-04-08 20:57:00 JST
114
86
 
115
- 0 0 0 264668 190432 363308 0 0 0 0 50 18 0 0 100 0 0 2019-04-08 20:57:02 JST
116
-
117
- 0 0 0 264668 190432 363308 0 0 0 6 73 21 0 0 100 0 0 2019-04-08 20:57:04 JST
118
-
119
- 0 0 0 264668 190432 363308 0 0 0 0 41 16 0 0 100 0 0 2019-04-08 20:57:06 JST
120
-
121
- 0 0 0 264668 190432 363308 0 0 0 0 44 16 0 0 100 0 0 2019-04-08 20:57:08 JST
122
-
123
- 0 0 0 264668 190432 363308 0 0 0 2 45 25 0 0 100 0 0 2019-04-08 20:57:10 JST
124
-
125
- 0 0 0 264668 190432 363308 0 0 0 0 46 17 0 0 100 0 0 2019-04-08 20:57:12 JST
126
-
127
- 0 0 0 264668 190432 363308 0 0 0 0 45 18 0 0 100 0 0 2019-04-08 20:57:14 JST
128
-
129
- 0 0 0 264668 190432 363308 0 0 0 0 47 16 0 0 100 0 0 2019-04-08 20:57:16 JST
130
-
131
- 0 0 0 264668 190432 363308 0 0 0 0 50 16 0 0 100 0 0 2019-04-08 20:57:18 JST
132
-
133
- 0 0 0 264668 190432 363308 0 0 0 0 49 19 0 0 100 0 0 2019-04-08 20:57:20 JST
134
-
135
- ```
136
-
137
-
87
+ 0 0 0 264668 190432 363308 0 0 0 0 50 18 0 0 100 0 0 ```
88
+
89
+
90
+
91
+ ### 調査例3
92
+
93
+ ![イメージ説明](9010f3c2e0f6e5831e3ebcf7f04d9131.png)
94
+
95
+
96
+
97
+ /var/log/sa/sa08
98
+
99
+ 00時00分01秒 proc/s cswch/s
100
+
101
+ 00時10分01秒 0.01 15.49
102
+
103
+ 00時20分01秒 0.01 15.53
104
+
105
+ 00時30分01秒 0.01 15.56
106
+
107
+ 00時40分01秒 0.01 15.65
108
+
109
+ 00時50分01秒 0.04 15.87
110
+
111
+ 〜
112
+
113
+ 04時10分01秒 0.01 15.60
114
+
115
+ 04時20分01秒 0.01 15.73
116
+
117
+ 04時30分01秒 0.01 15.53
118
+
119
+ 04時40分01秒 0.40 **17.58**
120
+
121
+ 04時50分01秒 0.03 15.94
122
+
123
+ 05時00分01秒 0.01 15.67
124
+
125
+ 〜
126
+
127
+ 19時10分01秒 0.01 15.68
128
+
129
+ 19時20分01秒 0.01 15.53
130
+
131
+ 19時30分01秒 0.01 15.44
132
+
133
+ 19時40分01秒 0.04 16.49
134
+
135
+ 19時50分01秒 0.14 **36.60**
136
+
137
+ 20時00分01秒 0.01 16.36
138
+
139
+ 20時10分01秒 0.03 16.35
140
+
141
+
142
+
143
+ 00時00分01秒 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
144
+
145
+ 〜
146
+
147
+ 01時20分01秒 dev252-0 0.10 0.00 0.87 9.12 0.00 1.18 0.89 0.01
148
+
149
+ 01時30分01秒 dev252-0 0.10 0.00 0.89 9.08 0.00 1.02 0.76 0.01
150
+
151
+ 〜
152
+
153
+ 04時00分01秒 dev252-0 0.11 0.00 1.04 9.75 0.00 0.62 0.59 0.01
154
+
155
+ 04時10分01秒 dev252-0 0.10 0.00 1.06 10.19 0.00 0.73 0.68 0.01
156
+
157
+ 04時20分01秒 dev252-0 0.09 0.00 0.81 9.04 0.00 0.80 0.72 0.01
158
+
159
+ 04時30分01秒 dev252-0 0.09 0.00 0.77 8.75 0.00 0.81 0.72 0.01
160
+
161
+ 04時40分01秒 dev252-0 0.31 0.00 **18.23 59.67 ** 0.00 1.25 0.29 0.01
162
+
163
+ 04時50分01秒 dev252-0 0.13 0.00 1.31 10.18 0.00 0.92 0.75 0.01
164
+
165
+ 05時00分01秒 dev252-0 0.14 0.00 1.50 10.42 0.00 0.80 0.57 0.01
166
+
167
+ 05時10分01秒 dev252-0 0.13 0.00 1.28 10.11 0.00 0.99 0.68 0.01
168
+
169
+ 05時20分01秒
170
+
171
+ 〜
172
+
173
+ 19時00分01秒 dev252-0 0.12 0.00 1.34 11.11 0.00 0.94 0.69 0.01
174
+
175
+ 19時10分01秒 dev252-0 0.11 0.00 1.00 9.09 0.00 1.26 0.88 0.01
176
+
177
+ 19時20分01秒 dev252-0 0.09 0.00 0.84 9.16 0.00 1.15 0.85 0.01
178
+
179
+ 19時30分01秒 dev252-0 0.09 0.00 0.83 9.02 0.00 1.36 0.89 0.01
180
+
181
+ 19時40分01秒 dev252-0 0.14 0.00 1.36 9.83 0.00 0.92 0.59 0.01
182
+
183
+ 19時50分01秒 dev252-0 1.64 3.67 　**187.16 116.59** 0.02 9.55 0.37 0.06
184
+
185
+ 20時00分01秒 dev252-0 0.11 0.00 1.07 10.00 0.00 0.92 0.75 0.01
186
+
187
+
188
+
189
+ /var/log/sar/sa09
190
+
191
+ 00時00分01秒 proc/s cswch/s
192
+
193
+ 00時10分01秒 0.02 16.91
194
+
195
+ 00時20分01秒 0.01 16.44
196
+
197
+ 00時30分01秒 0.02 16.94
198
+
199
+ 00時40分01秒 0.01 16.56
200
+
201
+ 〜
202
+
203
+ 04時20分01秒 0.01 18.51
204
+
205
+ 04時30分01秒 0.01 16.57
206
+
207
+ 04時40分02秒 0.01 16.63
208
+
209
+ 04時50分01秒 0.50 55.70
210
+
211
+ 05時00分01秒 0.01 16.22
212
+
213
+ 05時10分01秒 0.01 16.56
214
+
215
+
216
+
217
+ 00時00分01秒 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
218
+
219
+ 00時50分01秒 dev252-0 0.13 0.59 1.01 12.80 0.00 0.85 0.65 0.01
220
+
221
+ 01時00分01秒 dev252-0 0.08 0.00 0.76 9.12 0.00 0.98 0.74 0.01
222
+
223
+ 〜
224
+
225
+ 04時00分01秒 dev252-0 0.09 0.00 0.84 9.16 0.00 0.89 0.64 0.01
226
+
227
+ 04時10分01秒 dev252-0 0.09 0.00 0.75 8.62 0.00 1.29 0.83 0.01
228
+
229
+ 04時20分01秒 dev252-0 0.18 0.00 2.42 13.41 0.00 0.73 0.44 0.01
230
+
231
+ 04時30分01秒 dev252-0 0.09 0.00 0.77 8.75 0.00 0.98 0.72 0.01
232
+
233
+ 04時40分02秒 dev252-0 0.09 0.00 0.81 9.04 0.00 1.07 0.81 0.01
234
+
235
+ 04時50分01秒 dev252-0 12.71 **207.21 25.53 18.31** 0.01 0.70 0.37 0.47
236
+
237
+ 05時00分01秒 dev252-0 0.10 0.00 0.93 9.33 0.00 1.02 0.77 0.01
238
+
239
+
240
+
241
+ /var/log/cron
242
+
243
+ Apr 8 04:10:01 ik1-331-25789 CROND[32109]: (root) CMD (/usr/lib64/sa/sa1 1 1)
244
+
245
+ Apr 8 04:20:01 ik1-331-25789 CROND[32113]: (root) CMD (/usr/lib64/sa/sa1 1 1)
246
+
247
+ Apr 8 04:30:01 ik1-331-25789 CROND[32117]: (root) CMD (/usr/lib64/sa/sa1 1 1)
248
+
249
+ Apr 8 04:34:01 ik1-331-25789 anacron[31999]: Job `cron.daily' started
250
+
251
+ Apr 8 04:34:01 ik1-331-25789 run-parts(/etc/cron.daily)[32120]: starting logrotate
252
+
253
+ Apr 8 04:34:01 ik1-331-25789 run-parts(/etc/cron.daily)[32128]: finished logrotate
254
+
255
+ Apr 8 04:34:01 ik1-331-25789 run-parts(/etc/cron.daily)[32120]: starting makewhatis.cron
256
+
257
+ Apr 8 04:34:02 ik1-331-25789 run-parts(/etc/cron.daily)[32280]: finished makewhatis.cron
258
+
259
+ Apr 8 04:34:02 ik1-331-25789 run-parts(/etc/cron.daily)[32120]: starting mlocate.cron
260
+
261
+ Apr 8 04:34:02 ik1-331-25789 run-parts(/etc/cron.daily)[32291]: finished mlocate.cron
262
+
263
+ Apr 8 04:34:02 ik1-331-25789 run-parts(/etc/cron.daily)[32120]: starting prelink
264
+
265
+ Apr 8 04:34:02 ik1-331-25789 run-parts(/etc/cron.daily)[32303]: finished prelink
266
+
267
+ Apr 8 04:34:02 ik1-331-25789 run-parts(/etc/cron.daily)[32120]: starting readahead.cron
268
+
269
+ Apr 8 04:34:02 ik1-331-25789 run-parts(/etc/cron.daily)[32315]: finished readahead.cron
270
+
271
+ Apr 8 04:34:02 ik1-331-25789 run-parts(/etc/cron.daily)[32120]: starting tmpwatch
272
+
273
+ Apr 8 04:34:02 ik1-331-25789 run-parts(/etc/cron.daily)[32353]: finished tmpwatch
274
+
275
+ Apr 8 04:34:02 ik1-331-25789 anacron[31999]: Job `cron.daily' terminated
276
+
277
+ Apr 8 04:34:02 ik1-331-25789 anacron[31999]: Normal exit (1 job run)
278
+
279
+ Apr 8 04:40:01 ik1-331-25789 CROND[32355]: (root) CMD (/usr/lib64/sa/sa1 1 1)
280
+
281
+ Apr 8 04:43:01 ik1-331-25789 CROND[32361]: (root) CMD (run-parts /etc/cron.hourly)
282
+
283
+ Apr 8 04:43:01 ik1-331-25789 run-parts(/etc/cron.hourly)[32361]: starting 0anacron
284
+
285
+ Apr 8 04:43:01 ik1-331-25789 run-parts(/etc/cron.hourly)[32370]: finished 0anacron
286
+
287
+ Apr 8 04:50:01 ik1-331-25789 CROND[32372]: (root) CMD (/usr/lib64/sa/sa1 1 1)
288
+
289
+ 〜
290
+
291
+ Apr 8 19:10:01 ik1-331-25789 CROND[425]: (root) CMD (/usr/lib64/sa/sa1 1 1)
292
+
293
+ Apr 8 19:20:01 ik1-331-25789 CROND[429]: (root) CMD (/usr/lib64/sa/sa1 1 1)
294
+
295
+ Apr 8 19:30:01 ik1-331-25789 CROND[433]: (root) CMD (/usr/lib64/sa/sa1 1 1)
296
+
297
+ Apr 8 19:40:01 ik1-331-25789 CROND[455]: (root) CMD (/usr/lib64/sa/sa1 1 1)
298
+
299
+ Apr 8 19:43:01 ik1-331-25789 CROND[528]: (root) CMD (run-parts /etc/cron.hourly)
300
+
301
+ Apr 8 19:43:01 ik1-331-25789 run-parts(/etc/cron.hourly)[528]: starting 0anacron
302
+
303
+ Apr 8 19:43:01 ik1-331-25789 run-parts(/etc/cron.hourly)[537]: finished 0anacron
304
+
305
+ Apr 8 19:50:01 ik1-331-25789 CROND[540]: (root) CMD (/usr/lib64/sa/sa1 1 1)
306
+
307
+ Apr 8 20:00:01 ik1-331-25789 CROND[546]: (root) CMD (/usr/lib64/sa/sa1 1 1)
308
+
309
+ Apr 8 20:10:01 ik1-331-25789 CROND[566]: (root) CMD (/usr/lib64/sa/sa1 1 1)
310
+
311
+ 〜
312
+
313
+ Apr 9 04:20:01 ik1-331-25789 CROND[1811]: (root) CMD (/usr/lib64/sa/sa1 1 1)
314
+
315
+ Apr 9 04:30:01 ik1-331-25789 CROND[1815]: (root) CMD (/usr/lib64/sa/sa1 1 1)
316
+
317
+ Apr 9 04:40:02 ik1-331-25789 CROND[1819]: (root) CMD (/usr/lib64/sa/sa1 1 1)
318
+
319
+ Apr 9 04:43:01 ik1-331-25789 CROND[1823]: (root) CMD (run-parts /etc/cron.hourly)
320
+
321
+ Apr 9 04:43:01 ik1-331-25789 run-parts(/etc/cron.hourly)[1823]: starting 0anacron
322
+
323
+ Apr 9 04:43:01 ik1-331-25789 anacron[1834]: Anacron started on 2019-04-09
324
+
325
+ Apr 9 04:43:01 ik1-331-25789 anacron[1834]: Job `cron.daily' locked by another anacron - skipping
138
326
 
139
327
 
140
328
 

2

調査方法を追加

2019/04/10 12:27

投稿

kenji267
kenji267

スコア50

test CHANGED
File without changes
test CHANGED
@@ -34,7 +34,7 @@
34
34
 
35
35
 
36
36
 
37
- ### 調査例
37
+ ### 調査例1
38
38
 
39
39
  ```
40
40
 
@@ -86,6 +86,60 @@
86
86
 
87
87
 
88
88
 
89
+ ### 調査例2
90
+
91
+ 上記に対しswapを確認
92
+
93
+ ```
94
+
95
+ [root@ik1-331-25789 ~]# vmstat -t 2
96
+
97
+ procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ ---timestamp---
98
+
99
+ r b swpd free buff cache si so bi bo in cs us sy id wa st
100
+
101
+ 0 0 0 264692 190432 363308 0 0 0 0 3 2 0 0 100 0 0 2019-04-08 20:56:48 JST
102
+
103
+ 0 0 0 264668 190432 363308 0 0 0 0 49 20 0 0 100 0 0 2019-04-08 20:56:50 JST
104
+
105
+ 0 0 0 264668 190432 363308 0 0 0 0 49 17 0 0 100 0 0 2019-04-08 20:56:52 JST
106
+
107
+ 0 0 0 264668 190432 363308 0 0 0 44 45 20 0 0 100 0 0 2019-04-08 20:56:54 JST
108
+
109
+ 0 0 0 264668 190432 363308 0 0 0 0 45 17 0 0 100 0 0 2019-04-08 20:56:56 JST
110
+
111
+ 0 0 0 264668 190432 363308 0 0 0 0 53 18 0 0 100 0 0 2019-04-08 20:56:58 JST
112
+
113
+ 0 0 0 264668 190432 363308 0 0 0 0 46 19 0 0 100 0 0 2019-04-08 20:57:00 JST
114
+
115
+ 0 0 0 264668 190432 363308 0 0 0 0 50 18 0 0 100 0 0 2019-04-08 20:57:02 JST
116
+
117
+ 0 0 0 264668 190432 363308 0 0 0 6 73 21 0 0 100 0 0 2019-04-08 20:57:04 JST
118
+
119
+ 0 0 0 264668 190432 363308 0 0 0 0 41 16 0 0 100 0 0 2019-04-08 20:57:06 JST
120
+
121
+ 0 0 0 264668 190432 363308 0 0 0 0 44 16 0 0 100 0 0 2019-04-08 20:57:08 JST
122
+
123
+ 0 0 0 264668 190432 363308 0 0 0 2 45 25 0 0 100 0 0 2019-04-08 20:57:10 JST
124
+
125
+ 0 0 0 264668 190432 363308 0 0 0 0 46 17 0 0 100 0 0 2019-04-08 20:57:12 JST
126
+
127
+ 0 0 0 264668 190432 363308 0 0 0 0 45 18 0 0 100 0 0 2019-04-08 20:57:14 JST
128
+
129
+ 0 0 0 264668 190432 363308 0 0 0 0 47 16 0 0 100 0 0 2019-04-08 20:57:16 JST
130
+
131
+ 0 0 0 264668 190432 363308 0 0 0 0 50 16 0 0 100 0 0 2019-04-08 20:57:18 JST
132
+
133
+ 0 0 0 264668 190432 363308 0 0 0 0 49 19 0 0 100 0 0 2019-04-08 20:57:20 JST
134
+
135
+ ```
136
+
137
+
138
+
139
+
140
+
141
+
142
+
89
143
  ### 補足情報（FW/ツールのバージョンなど）
90
144
 
91
145
  使用OSバージョン：CentOS release 6.9 (Final)

1

状況の説明追加

2019/04/08 12:03

投稿

kenji267
kenji267

スコア50

test CHANGED
File without changes
test CHANGED
@@ -27,6 +27,8 @@
27
27
 
28
28
 
29
29
  ### 調査したい箇所
30
+
31
+ 一時的に増加している。
30
32
 
31
33
  ![DISK I/O](2f06a49ce9e36167ad969a38d2a06a6e.png)
32
34