CentOSサーバでの突然の再起動の調査方法について

Question

前提

$ cat /etc/redhat-release 
CentOS release 6.9 (Final)

再起動のログ
ホスト

$ last reboot
reboot   system boot  2.6.32-696.1.1.e Mon May  8 13:26 - 14:49  (01:23)    
reboot   system boot  2.6.32-696.1.1.e Mon May  8 07:49 - 14:49  (07:00)    
reboot   system boot  2.6.32-696.1.1.e Sat May  6 14:02 - 14:49 (2+00:46)   
reboot   system boot  2.6.32-696.1.1.e Sat May  6 13:51 - 14:49 (2+00:57)   
reboot   system boot  2.6.32-696.1.1.e Sat May  6 05:37 - 14:49 (2+09:11)   
reboot   system boot  2.6.32-696.1.1.e Sat May  6 04:28 - 14:49 (2+10:20)   
reboot   system boot  2.6.32-696.1.1.e Fri May  5 04:06 - 14:49 (3+10:42)   
reboot   system boot  2.6.32-696.1.1.e Fri May  5 00:26 - 14:49 (3+14:23)   
reboot   system boot  2.6.32-696.1.1.e Thu May  4 13:15 - 14:49 (4+01:33)   
reboot   system boot  2.6.32-696.1.1.e Mon May  1 10:59 - 14:49 (7+03:49)

CentOSのサーバーを運用しているのですが、どうも再起動が頻繁に起きているようでした。
主にqemu-kvmのサーバとしての運用です。

sarなどのログは取得、muninなどで監視はしていて、再起動している時間にシステムの異常はないように見える状況です。

質問内容

一つ目

last rebootコマンドの見方が分からない

reboot   system boot  2.6.32-696.1.1.e Mon May  8 13:26 - 14:49  (01:23)   

• 13:26が再起動の時間という認識ですがあっていますでしょうか？
• - 14:49 (01:23) は何を意味しているんでしょうか？

二つ目

再起動の原因が分からないので原因を特定したい

/var/log以下の各ログを見ましたが特に再起動しているタイミングでのエラーログなどはみつからず、原因がわかっていません。sarなどのログは取得、muninなどで監視はしていて、再起動している時間にシステムの異常はないように見える状況です。仮想マシンも調べましたが特にログなどに目立ったエラー、アクセスなどありませんでした。

• 何か仕込むことで再起動の際の原因を特定できるログを取得する方法などありますでしょうか？
• /var/log以外にも何か有効な調査方法ありますでしょうか？
• カーネルが再起動させた要因となったプロセスなどを特定、そう至るまでの過程のログなどを取得したいのですが、再起動するタイミングでカーネルがダンプを吐くような一般的なやり方などありますでしょうか？

以上、よろしくお願いいたします。

Answer 1

/var/log/messages ファイルに、起動直前に何か記録されていませんでしょうか。
正しくシャットダウンされているか、エラーや Panic, Oops がないかなど、確認ください。

もし、シャットダウンの記録がなく起動しているのであれば、kernel panic が発生しているか、ハードウェア側でリセットされているのかもしれません。
kernel panic については、netconsole でリモートホストに syslog でログを記録したり、kdump でダンプしたものを解析することになると思います。

Comments

[question-server]

ご回答ありがとうございます！！とても助かります！

/var/log/messagesに関して、
エラーやPanicはありませんでした。Oopsに関しては明日調べてみます。

＞もし、シャットダウンの記録がなく起動しているのであれば、kernel panic が発生しているか、ハードウェア側でリセットされているのかもしれません。

該当の時間、シャットダウンの記録がなく起動のログだけ残っている状況でした。これはカーネルパニックやハードウェア側でリセットされているという可能性があるのでしょうか？
カーネルパニックの場合、/var/log/messagesにログが残るかと思いましたが残っていません、他の箇所にログが残るのでしょうか？ハードウェアが原因の場合、特定する方法ありますでしょうか？？

以上、よろしくお願い致します。

[TaichiYanagiya]

> これはカーネルパニックやハードウェア側でリセットされているという可能性があるのでしょうか？

可能性はあります。

> カーネルパニックの場合、/var/log/messagesにログが残るかと思いましたが残っていません

書き込む前に kernel が停止してしまったらログが残らないこともあります。

> 他の箇所にログが残るのでしょうか？

netconsole や kdump などの機能を使えば、可能と思います。

> ハードウェアが原因の場合、特定する方法ありますでしょうか？？

サーバーの機種によります。
BIOS や CD-ROM からハードウェア管理プログラムを起動できるものがあります。
また、OS 稼働中でも、HP iLO や DELL iRDAC など、ハードウェアの状態を確認できる仕組みがあります。
そのようなツールで、サーバーの各モジュール(電源、CPU、メモリなど)に異常がないか、ログにエラーやリセットが記録されていないか確認するといいと思います。

[question-server]

ご回答ありがとうございます！

カーネルパニックの可能性があること、ハードウェアの状態を確認する方法もあること理解しました。
詳しく有難うございました。色々調査してみます。

今後も宜しくお願いたします。

Answer 2

reboot system boot 2.6.32-696.1.1.e Mon May 8 13:26 - 14:49 (01:23)

[リブートされました] [sytemブートです] [バージョン] [ログの開始時間が5/8(月)の13:26から] - [ログの終了時間が14:49までです。] ([ログ取得していた時間（≒OSが起動していた時間）は01:23です])

再起動の原因が分からないので原因を特定したい

Linuxは、sysstatとかcronでログを吐かせるとか事前に仕込んでおかないとロストしますよ。
Zabbixやhinemosなどで監視させる方法もあります。

以下を参考にしてください。
Linuxマシン突然再起動に関する備忘録
sar（sysstat）によるボトルネック特定
障害の兆候を見逃さないためのサーバ監視

Comments

[question-server]

例えば今みると、
```
reboot system boot 2.6.32-696.1.1.e Mon May 8 13:26 - 16:33 (03:07)
reboot system boot 2.6.32-696.1.1.e Mon May 8 07:49 - 16:33 (08:44)
reboot system boot 2.6.32-696.1.1.e Sat May 6 14:02 - 16:33 (2+02:30)
reboot system boot 2.6.32-696.1.1.e Sat May 6 13:51 - 16:33 (2+02:41)
reboot system boot 2.6.32-696.1.1.e Sat May 6 05:37 - 16:33 (2+10:56)
reboot system boot 2.6.32-696.1.1.e Sat May 6 04:28 - 16:33 (2+12:05)
reboot system boot 2.6.32-696.1.1.e Fri May 5 04:06 - 16:33 (3+12:27)
reboot system boot 2.6.32-696.1.1.e Fri May 5 00:26 - 16:33 (3+16:07)
reboot system boot 2.6.32-696.1.1.e Thu May 4 13:15 - 16:33 (4+03:17)
```
全部、過去の日付も16:33ですー。現在時間に置き換えられるようでよくわかりません。

sarなどのログは取得、muninなどで監視はしていて、そのログやグラフでシステムの状況をみても再起動している時間にシステムの異常はないように見える状況です。

[lazhuward]

ホントだ。なんか動作がおかしくなってますね。
通常だと置換されることはないはずです。

> システムの異常はない
つまりCPUパニックは起こってないってことですね？
アプリケーションが悪さしてるとか、シェルとか仕込んでたりしませんか？

[question-server]

CPUが異常に使用されていることは確認できないですし、カーネルパニックはログに確認できませんでした。。

>アプリケーションが悪さしてるとか、シェルとか仕込んでたりしませんか？
やはり何かしらアプリケーション側でのことだと思うので、もう一度各アプリケーションのログを精査してみたたいと思います。

ご回答ありがとうございます！