CentS 6.9 毎日定刻にrebootしている

Question

とある調査を行っていたところ、CentOS 6.9のマシンが毎日2:07頃にRebootを繰り返していることがわかりました。
crontab や anacronの設定を確認したところ特に設定はありません。
messages等のログにはエラー等はなく、起動したことが分かる情報のみでした。
セットアップを行った人に確認しましたが特別な設定は行っていないとのこと。

当サイトにも同様の問い合わせの事例が2年前に同verの同OSでありました。
https://teratail.com/questions/75302
表記上は「解決済」ですが、実際は未完です。

last reboot の結果は、以下でした。
私が手動でrebootしたときを除くと毎日 2:07頃にリブートされています。
reboot system boot 2.6.32-696.el6.x Mon Jun 3 15:05 - 16:51 (01:45)
reboot system boot 2.6.32-696.el6.x Mon Jun 3 02:07 - 15:03 (12:56)
reboot system boot 2.6.32-696.el6.x Sun Jun 2 02:07 - 15:03 (1+12:56)
reboot system boot 2.6.32-696.el6.x Sat Jun 1 02:07 - 15:03 (2+12:56)
reboot system boot 2.6.32-696.el6.x Fri May 31 16:59 - 15:03 (2+22:03)
reboot system boot 2.6.32-696.el6.x Fri May 31 02:07 - 16:58 (14:51)
reboot system boot 2.6.32-696.el6.x Thu May 30 02:07 - 16:58 (1+14:51)
reboot system boot 2.6.32-696.el6.x Wed May 29 02:07 - 16:58 (2+14:51)
reboot system boot 2.6.32-696.el6.x Tue May 28 02:07 - 16:58 (3+14:51)
reboot system boot 2.6.32-696.el6.x Mon May 27 02:07 - 16:58 (4+14:51)
reboot system boot 2.6.32-696.el6.x Sun May 26 02:07 - 16:58 (5+14:51)
reboot system boot 2.6.32-696.el6.x Sat May 25 02:07 - 16:58 (6+14:51)
reboot system boot 2.6.32-696.el6.x Fri May 24 02:07 - 16:58 (7+14:51)
reboot system boot 2.6.32-696.el6.x Thu May 23 02:07 - 16:58 (8+14:51)
reboot system boot 2.6.32-696.el6.x Wed May 22 02:07 - 16:58 (9+14:51)

いったい原因はなんでしょう？
この筐体はラックマウント型です。
HWはよくわかりませんが、例えば、管理LANの管理信号で定期リブートする可能性などありますでしょうか？

Comments

[yohhoy]

ラックマウント型筐体とのことですが、本体電源はどこから取っているでしょうか？該当時刻付近で電源／電圧が変化している可能性は考えられないでしょうか？

[boyon]

なるほど、電源まわりですね。ありがとうございます。
実は私は一度も現地に言った事がありません。
人づてに聞いた程度です。
とりあえずLANケーブルは1本だということはわかりました。管理LANは組んでいないようです。
FUJITSU PRIMERGY RX100 S7p　です。2011年ぐらいのモデルっぽいです。
今、お客さんと話ができないところにおりますので、後ほど確認してみますね。

[boyon]

UPSにつないでいるそうです。明日、UPSをやめて直接つないでどうなるか確認してみることになりました。
yohhoyさん、回答欄に書いたほうがよいかもです。これで解決してもベストアンサーをクリックできません。。。

Answer 1

検索してみると「last reboot」でrebootを意味するように書いてあるページばかりが見つかります。

これに従うと5月22日～5月31日まで10日連続で02:07～16:58のsystem boot時間がありますが、最初の22日が9日+14:51ログイン継続(=システム起動中)を意味するのに対し、翌23日のログは22日16:58に一度shutdownしているので24時間以下のはずなのに8日+14:51ログイン継続(=システム起動中)になっています。

どうやらこれで出てくる日時はreboot(=システム起動中)を意味しないようです。

wtmpにログを吐き出している何かがバグっていて、system bootとして記録してしまっているか、wtmpを解釈しているlastがバグっていてsystem bootと表示しているのではないでしょうか?

/var/log/dmsgの最初にある「Initializing cgroup subsys cpuset」を/var/log/messages内で検索してbootした証拠として確認してはいかがでしょうか?

Comments

[boyon]

確認してみたところ、Initializing cgroup subsys cpusetが　毎日同時刻に発生していました。
また、ミドルウェアのログからもサービスが同時刻に起動していることが確認できました。

Answer 2

昨日、UPSを使わずに直接電源をとりました。
本日は再起動していませんでした。
明確な原因はわかりませんが、UPSの問題であることは明確です。
ハードや電源周りも気にしないいけませんね。

ベストアンサーは yohhoyさんなんですが、回答欄に記入してもらってないのでひとまずここに書きます。

皆さまありがとうございました。

Comments

[退会済みユーザー]

もし本当に UPS が原因であれば、Log を確認することで原因が確定できると思います。
ハードウェア構成を設計した方に確認されるのが適切かと。

[pepperleaf]

瞬断とか起きてるって事でしょうか?
昔、雷で一瞬、電気が消えた時に、UPS付きが再起動し、直接、コンセントが何事も無かったように動いていた事がありました。
UPS付き: UPSが反応し、シャットダウン処理が走った
UPS無し: 電源内のコンデンサが耐えた? (多分)

[boyon]

今日、お客さんから聞いたのですが、このUPSは他のシステムを毎日再起動させる設定があるとのことでした。（詳細不明）
自社管理ではなく、該当システムのベンダーが管理しているためよくわからないし、使ってはいけないものみたいです。
しばらくはUPSなしで運用します。近い将来に仮想化するらしいのでその作業の中でUPSなしは解消することになりました。

Answer 3

毎日同じ時間ってことなのでcronの可能性が高いと思いますが /var/log/cronは確認済みなんですよね。
定期的に外部からログインされて再起動や、ipmitoolなどで管理ポートから再起動されている可能性もありますね。

ネットワークから遮断しても再起動するか crondを停止しても再起動するか確認してみてはどうでしょうか

Comments

[boyon]

/var/log/cron は未確認でした。ありがとうございます。
Jun 3 01:40:01 localhost CROND[17032]: (root) CMD (/usr/lib64/sa/sa1 1 1)
Jun 3 01:50:01 localhost CROND[17289]: (root) CMD (/usr/lib64/sa/sa1 1 1)
Jun 3 02:07:41 localhost crond[2903]: (CRON) STARTUP (1.4.4)
Jun 3 02:07:41 localhost crond[2903]: (CRON) INFO (RANDOM_DELAY will be scaled with factor 58% if used.)
Jun 3 02:07:42 localhost crond[2903]: (CRON) INFO (running with inotify support)
Jun 3 02:10:01 localhost CROND[3498]: (root) CMD (/usr/lib64/sa/sa1 1 1)

こんな結果で、crondの開始ログしかありませんでした。
このマシンは本番稼動中で毎日昼夜2回のバッチ処理をスケジュール実行しないといけないので長時間は止められないんです。実行時間帯をのぞけば再起動しても問題ありません。

[sage]

この02:07:41のcrondの中でrebootしているのでは?

Answer 4

ちょっとこれだけですと原因を特定する事は難しいです。
dmesg等も確認してみてはいかがでしょうか。

新しくはないサーバの様で、であれば普通に故障という事もあります。
ただ、2時頃決まってとなれば故障でもないような。
故障であっても、2時ごろロードアベレージ等が上昇している様にあれば、これが原因で再起動する事もあります。

Comments

[boyon]

dmesgを確認してみましたが、特にめぼしい情報はありませんでした。dmesgはタイムスタンプ情報がないのでいつの情報なのかわかりづらいですね。
このサーバーはお客様の遊休資産の転用で、1日2回のIF処理として使っています。
dmesgを見るかぎりPRIMERGY RX100 S7 という 2011年ぐらいのモデルのようです。

たまたま2:07 頃は　利用していない時間帯でしたので毎日リブートしている事実も知らずに2ヶ月ぐらい経ちました笑
nmonを仕掛けてみることにしました。明日経過を確認します。

[yut148]

dmesgタイムタンプがないのを失念していました。
しかし以下設定で表示はできそうです。
https://www.yonageya.com/blog/?p=2702

個人的に思うことはカーネルパラメータなのでやめておいた方が今はいい気がします。
皆さん、諸説可能性がある事を書いていて、本当の原因は結局だれもわかっていません。
どうしてもヒントが必要であれば、上記の方法も手段としてありかと思います。

確かに今はnmon等で愚直に調べていくしかないと思います。

[boyon]

ありがとうございます。
dmesgには有力な情報がみあたらなかったのでタイムスタンプの有無も今となってはきにかけていません。
明日、nmonのログを確認してみます。
おそらく他の方のコメントにある電源まわりかな・・と。
現地のお客さんに確認すべきなのですが、
今、たまたま海外出張中なので電話しづらいんです。
一応、毎日動いてるので急務ではないものの、そのうちディスククラッシュとかしかねないので速めに対策したいと思います。