ネットワーク通信が途切れる

VMWARE Vcenter6で運用している一部のインスタンスで早朝AM5:00～5:02にかけてLVSのkeepaliveでマスタ・スレーブが切り替わった事を検知するアラートを検知しています

原因を調査するためにtcpdumpを仕込みましたところ、早朝AM5:00～5:02にかけて下記のログが出ていました

ARP, Reverse Request who-is xx:xx:xx:xx:xx:xx (oui Unknown) tell xx:xx:xx:xx:xx:xx (oui Unknown), length 46

oui Unknownのログは下記のように他の時間帯でも出ていますが、arpリクエストに対してreplyを返しているように見えますので問題はないのかと考えています

04:56:22.666906 ARP, Reply サーバホスト名 is-at xx:xx:xx:xx:xx:xx (oui Unknown), length 28

また、早朝AM5:00～5:02のアラートは毎朝ではありません。週に2，3回程度で検知されています
なぜ、毎朝ではないのか？なぜ、AM5:00～AM5:02の間なのかについて明確な事はわかっていません
当該時間帯で処理されるVMWAREのバックアップ処理の時間帯を変更しても本事象は解消されませんでした
VMWARE Vcenter6のサーバを最近導入したばかりで、物理サーバ本体の問題なのか、VMスイッチNWの問題なのかの
切り分け作業も行った方がよろしいのでしょうか

このような内容で原因調査するにあたって、もっといい調査方法などがあるなど
ありましたら、ご回答頂けますと幸いです

よろしくお願い致します

suzukis

2016/04/11 01:48

VRRPのパケットの送受信状態はどうだったのでしょうか(keepalivedってVRRPでしたよね？)

tk_flavor

2016/04/11 03:12

VMのスナップショット作業の影響でarpパケット喪失で通信断のため対象リアルサーバとの通信が出来ない事からマスタスレーブの切替が何度も起こっていました

行動規範の内容に同意します

回答2件

VMware 側についてはよく知らないので、仮想マシン側 keepalived についてコメントします。

tcpdump については、"tcpdump -nn proto 112" でキャプチャすると、advert_int 秒ごとに VRRP パケットが来ていることを確認できると思います(unicast_peer を設定していないならマルチキャスト)。

5:00AM〜5:02AM にネットワーク瞬断またはネットワーク帯域の飽和などで、BACKUP側に VRRP が届かなくなり、BACKUP→MASTER に昇格しているのだと推測します。
LVS, keepalived が稼働する仮想マシン側で、5:00AM に何か負荷(特にネットワーク負荷)がかかるプロセスが起動していないか、cron ジョブを確認ください。

(CentOS であれば、下記設定ファイル)

/var/spool/cron/*
/etc/anacrontab
/etc/crontab
/etc/cron.d/*
/etc/cron.daily/*

また、sysstat が有効であれば、10分ごとの負荷の状況が /var/log/sa/sar05 などのファイルに出力されていると思います。
05:10 の値が、前後の 10分と比べて大きくないかどうか確認すると何かわかるかもしれません。
ネットワークなのか、他の要因なのか、など。

投稿2016/04/05 15:49

TaichiYanagiya

総合スコア12218

tk_flavor

2016/04/07 08:04

ご回答ありがとうございます。本事象はLVS・keepalivedを入れてあるサーバインスタンス以外でも発生していました 5:00からcronバッチ処理などはありませんし、この時間帯の負荷も問題ありません VMのスイッチ設定の何かなのか、VMWARE本体のdellサーバきょうたい側の問題かを疑いまして、毎朝5時からスナップショット作成・削除を各インスタンスで行われていました。ほぼ、これが主因であろうと思っていましてスナップショット作成のやり方をベンダーに確認しています。

行動規範の内容に同意します