WindowsServer2008にて再起動の原因特定の協力依頼

Question

###構成概要
ADサーバ×1台
OS：Windows Server 2008 Standard Edition

DBサーバ×2台 ※MSFCによる冗長化構成
OS：Windows Server 2008 Enterprise Edition
DB：SQL Server 2008 Enterprise Edition

###質問事項
ADサーバで原因不明の再起動が発生し、
原因特定に難航しています。

■発生時のタイムテーブル
発生当時 10:32 ADサーバが停止
発生翌日 6:57 ADサーバが起動 ※1
※1・・・異常を検知したため、ADサーバへリモート接続した際に再起動が発生。
※2・・・発生当日は8:00まではシステムログの出力があり、翌日の起動までログはありません。

＜補足＞
発生したのは恐らく、強制再起動と思われます。
10:32頃にシャットダウンシーケンスが発生し、
翌日の6:57頃に起動が行われました。
そのため 当日 10:32 ～ 翌日 6:57 頃までは、フリーズの状態に陥っていたと思われます。
※起動後のイベントログにてシャットダウンシーケンスの時間を確認。

10:32に発生したシャットダウンシーケンスは意図しないシャットダウンです。
本システムは、定期再起動等は行っていないため、シャットダウンは通常、発生しません。

###発生している問題・エラーメッセージ
イベントID：6008 再起動発生時のイベントログには以下のメッセージが出力されていました。

keywords 0x80000000000000

###その他特記事項
再起動発生によるメモリダンプ等の出力は見当たりませんでした。

どのように調査を進めていけばよいかご教示いただければと思います。
よろしくお願いします。

Comments

[yuba]

再起動なのですか？　それとも意図しないシャットダウン（10:32）と意図しないブート（翌日6:57）だということですか？

Answer 1

コンピュータをシャットダウン後再起動すると、イベント ID 6008 がシステム イベント ログに書き込まれる
6008はシャットダウンしたときでなく再起動したときに書き込まれるイベントで、正常にシャットダウンされた記録が残っていないことを意味します。
これが意味するところは、10:32にはすでに再起動しており、その直前にいったん落ちていたということです。

Server 2008ということはマシン自体も相当古そう。
そこから一番考えられる不意なOSダウンの原因は、電源ユニットの劣化です。最後に電源ユニットを交換してから（無交換なら購入から）何年経過していますか？
5年以上なら、もう電源ユニットの劣化と断定してかまわないかと思います。あれは消耗品です。

Comments

[micmic]

6008のイベントが出力されていたのは、発生翌日 6:52 の時刻です。
その際のイベントログに、
「以前のシステムシャットダウン（YYYY/MM/DD 10:32)は予期されていませんでした」
との内容から記載しています。
実際に、日時でバッチが動くようにタスクスケジューラを実装していますが、当時10:32～翌日6:57の間はバッチ処理が起動していませんでした。
そのため、当日10:32～翌日6:57はフリーズしていたと想定しています。

機器自体は2012年1月頃かと思います。ですので、4年半といったところでしょうか。
(担当が外出しており、誤っている可能性はあります)
仰っているのは、電源ケーブルではなく、機器にある電源ユニットの事になりますか？
ケーブルでしたら、2本の冗長化構成で構築しています。
また、機器自体もデータセンターに設置しているため、電源DOWNもありません。

[yuba]

そう、ケーブルではなく電源ユニットです。
10:32というのは動くべき処理が動かなくなり始めた時刻ということですね。
そこから20時間のマシンの様子を知る方法は… 一般的には残っていませんね。
意外に電力スマートメーターが参考になったり。使用量が跳ね上がっていれば、CPUが回りっぱなしになっていたのではとか推測できます。

Answer 2

すっかり遅くなりましたが、こちらで確認した内容を投稿します。
ハードウェアの保守契約を結んでいたたため、同時並行でメーカーへ問合せを行っておりました。
その際、BIOSやアレイコントローラのバージョンが古い可能性を指摘されました。
本番運用しているサーバのため、影響についての調査もままならないため、実施せずとしています。

関連があるかどうかは不明ですが、
実は同日早朝の4時過ぎにも実は再起動が発生しておりました。
※つまり、この日は2回再起動が発生していました。

バックアップ製品によるバックアップ取得を行っている最中に、
サーバに接続出来ない事象が発生(要はバックアップがコケた状態)になりました。
その時間が再起動発生の時刻とほぼ一致。
バックアップ対象ディレクトリには13万程のファイル数が存在しており、
それが原因でIOに高負荷が掛かり、自動で再起動が発生したのでは無いかという仮設を立てました。
ファイルを削除し、現在は経過観測を行っています。
4時と10時の再起動の関連性は不明ですが、現時点では事象の再発は出ていません。

以上です。

ご回答頂いた皆様
本件は一旦、クローズ致します。
どうも、ありがとうございました。

Answer 3

12日の首都圏の停電の影響をうけていたのかどうかも何かヒントになるかもしれません。
数年間無停止で動いていて、このタイミングで問題が起きたとなると、停電によりハードウェアになんらかの不具合が出た可能性も疑いたくなります。例えば無停電電源があるなら、ステータスが永遠に充電中のままになってたりとか。

ほんとかどうかは知らないのですが、大規模停電後は電気の品質(周波数や振幅)が悪くなることがあるそうです。こういうことと、yubaさん指摘の電源ユニットの劣化が重なると、良からぬことが起こるかもしれません。

--追記
データセンターに設置してあるものでしたか。それだと停電の影響は考えなくてよさそうですね。

Comments

[micmic]

コメントありがとうございます。
残念(？)なことに、サーバの設置場所は首都圏でも無いため、影響は無いと思われます。

電源ユニットの劣化も含め、ハードウェア関係の可能性かどうかを確認していこうと思います。