Q&A
お世話になります。
【困っている事】
WindowsServer2台でクラスターを構成しており、その上で仮想マシンが4台稼働しています。
仮想マシンのHDDファイルの保存先としてQNAPのストレージをiSCSI接続で使用していて、
OS領域（Cドライブ）とデータ領域（Dドライブ以降）にボリュームを分けているのですが、
Dドライブ以降への書き込み時に、書き込みが遮断されているかのような現象が発生しています。
具体的には、10GBのデータを仮想マシンのFドライブに対してコピーしようとすると、
70％完了時点で突然転送速度が0付近まで落ち込み、それ以上殆ど進行しなくなります。
7GBまでのデータでは99％完了時点で転送速度が0付近に落ち込み、
その後、残り1%をわずかな転送速度で完了まで進行します。
なお、書き込み完了後、10～20秒前後仮想マシンのエクスプローラーが反応なしになることがあります。
サイズか、時間経過かわかりませんが、何かしらの要因で書き込みが遮られているように感じています。
これらの症状はGUI操作でのコピーでもコマンドからのコピーでも同様に発生します。
ストレージの代理店やメーカーにも問合せをして診断ツールからのログなどを送っておりますが、
ログの解析は2，3日かかるという事なのでその間に出来る事をしたいと思っています。
切っ掛けとして考えられる事は、Hyper-Vのチェックポイント機能の影響で
差分ファイルがボリュームの割り当て容量をオーバーし、仮想マシンが停止したために、
チェックポイントを削除して復旧したのですが、それ以降で発生しています。
仮想マシン上ではソフトウェアのインストールやファイルの配置などの作業が行われていて
書き込み遮断の症状がネックになっている状態で、可能な限り早急に対応したいと考えています。
以下に情報をまとめましたので、お知恵をお貸し頂ければ幸甚です。
【環境】
・物理サーバ（2台とも同じ構成でクラスター化しています）
モデル:Lenovo SystemX 3550 M5
OS：WindowsServer2012R2
CPU:Intel(R)Xeon(R)CPU E5-2650 v4 @2.20Ghz 12×1
メモリ:80GB
システム：64bit
Windowsアップデート：2017/11/8時点で最新
ファイアウォール：無効
インストール：Hyper-V、WindowsServerFailoverCluster(以下WSFC)
・仮想サーバ（4台とも同じ構成でWSFCの役割に登録しています）
OS：WindowsServer2012R2
CPU:Intel(R)Xeon(R)CPU E5-2650 v4 @2.20Ghz 4×1
メモリ:16GB
システム：64bit
Windowsアップデート：2017/11/8時点で最新
ファイアウォール：無効
インストール：McAfee(MOVE AV Multi-Platform),SQLServer2014
・ストレージ
モデル：QNAP ES1640DC V2
ファームウェア：v1.1.4(2017/11/02)
ディスク：HGST HUS726040AL5210(NL-SAS)4GB×15
RAID:6
HS:2本
使用可能な総容量：36.6TB
コントローラー：AとBの2つで構成され、障害が発生すると切り替わる想定
・ストレージ領域の構成
RAIDグループの数：１
RAIDグループ内に作成したLUNの数：３
LUNの役割と割り当て容量
・仮想マシンのCドライブ用（2.0TB 容量固定 圧縮なし）
・クォーラム監視ディスク用（10GB 容量固定 圧縮なし）
・仮想マシンのDドライブ以降用（33TB 容量固定 圧縮なし）
【ストレージの状態】
・ストレージプールのあるコントローラーAのCPU、メモリ使用率が常時70％から90％と高い（原因不明）
・現象が発生して以降、Web管理画面の反応が非常に悪くなっている（おそらく高負荷の影響）
・書き込みが遮断される症状はDドライブ以降で使用している領域でのみ発生している
・Cドライブへの書き込みは問題なく完了する
・ホストマシンからLUNへの書き込みは完了する（ディスク作成など）
・システムイベントログには関連するエラーは出ていない
・書き込みにはiSCSI用のLANが使用されている（管理用のLANを抜いても書き込みできる）
以上、把握している範囲で記載したつもりですが、
気になる点などありましたらご指摘ください。
何卒よろしくお願いいたします。
回答1件
0
本来は[追記/修正依頼]に記載すべき内容ですが、確認事項が多数あるため回答欄に記載します。
あくまで切り分けの思想のみを記載するものとし回答でないこと、ご容赦ください。
1)切っ掛けについて
切っ掛けとして考えられる事は、Hyper-Vのチェックポイント機能の影響で
切っ掛けが上記とありますが、それ以前は再現率0%でしょうか?
そうだったとして、ご質問文から該当環境は構築途上と見受けられますが、サービスが実装されてきたから遅くなったという可能性は排除できていますか?
また、iSCSI構成とのことで、構成によってはネットワークの影響を受けることもあります。
2)トリガについて
具体的には、10GBのデータを仮想マシンのFドライブに対してコピーしようとすると、
70％完了時点で突然転送速度が0付近まで落ち込み、それ以上殆ど進行しなくなります。
これを見る限りだと、ディスクI/Oボトルネック(主にディスク装置側キャッシュ)の可能性が高い気がします。
・ストレージプールのあるコントローラーAのCPU、メモリ使用率が常時70％から90％と高い（原因不明）
・現象が発生して以降、Web管理画面の反応が非常に悪くなっている（おそらく高負荷の影響）
上記もその一因では?
ただ、Cドライブで再現していないのがおかしいですね。
ちなみに、これをコントローラAとコントローラBの分散構成にできないのでしょうか?
ストレージ製品で2コントローラ製としているのであれば冗長以外に分散処理を実装していると思われますが。
ディスクグループまたはLUN毎に所属するコントローラが指定できたりしませんか?
3)構成について
NL-SAS RAID6 構成において、該当環境が担保できるだけの性能見積もりってされているのでしょうか?
【NL-SAS 遅い】 + 【RAID6 遅い】 の組み合わせなので少し心配です。
(同じような環境でストレスなく動作したという実績だけでもあるのでしょうか?)
4)他気になる点
・仮想ディスクはシンプロビジョニングですか?
→そうでない場合、新規領域を増やす場合に負荷が増大します。
・ディスク装置側ファームウェアは最新でしょうか?
→ ファームウェアのバグの可能性も考えられます。
・チェックポイントは全て削除していますか?
→ チェックポイントは便利な機能ですが、チェックポイントからの差分を全て記録していくため、ディスク容量の増加、ディスクI/Oの発生を生みます。私は運用フェーズに入ってからのチェックポイント運用はNGと考えています。
・チェックポイントを削除したとありますが、こちらはエラーなく削除できたのでしょうか。
・システムイベントログには関連するエラーは出ていない
→ こちらは、物理/仮想共にですか?またアプリケーションログも確認すべきです。
・サーバ側 iSCSIで使用している搭載NICの型番教えて頂けますでしょうか。
取り急ぎ、この状況であれば、私なら、まずは物理サーバ/仮想サーバのパフォーマンスモニタでディスクI/Oを確認します。
ここから、書き込み遅延が発生しているかを確認できるはずです。
投稿2017/12/11 07:40
総合スコア4309
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2017/12/12 03:21
2017/12/12 08:21 編集
2017/12/13 15:59
2017/12/14 07:23
2017/12/14 08:39