ネットワーク障害についての調査方法

Question

現在起こっている現象は下記になります。

・ある自社システムへのアクセスが時々タイムアウトになる
・タイムアウトが起こったネットワーク以外からのアクセスは問題ない
・タイムアウト時間は数秒から5分ぐらいとバラバラ
・タイムアウト時はgoogleなどの他のサイトへのアクセスは問題ない
・タイムアウト時に、サーバーへのping、tracertは通るが、Macからのtcptracerouteは通らない（最初で詰まる）
・タイムアウト時は、Apacheのアクセスログは出ない（サーバーまで来ていない）、FTPもつながらない
・ブラウザからのドメインでのアクセス、IPでのアクセス、ともにタイムアウトになる

自社システムは、CentOS、Apache、PHP、Vue.jsなどの構成です。
何となくルーターから外に出れていない感じはするのですが、調査に詰まっています。

何か調査方法や手がかり的なことをご教示いただければ非常に助かります。
よろしくお願いいたします。

最初はDNS周りを疑って、/etc/hostsに書いたり、googleのDNSを指定したりしましたがダメでした

Comments

[takasima20]

どうやって復旧してんスか? あと、ネットワーク構成が分からんとなんとも。また、該当状況時のシステムのログはみたんスか?

[b5t62phy]

復旧は待っていると自動復旧します。数秒から数分です。
サーバーはクラウドにあって、自社ではNTTのホームゲートウェイを使っています。
サーバーのログ（messagesなど）も何も出ていませんでした。
もし他に見るところなどがありましたらお教えください。

[takasima20]

ぱっと思いつくとこだと、そのサーバー内でなんかがメモリかCPUを食いつぶして負荷かけてるっぽい。通常の状態と状況時の状態を比較すればなんかわかるかも?

Answer 1

ナンの情報も無いので、適当に切り分け方法を記述します。

・障害箇所の特定
論理/物理構成図を確認しながら障害が発生しているであろう箇所を特定します。
ポイントtoポイントの通信不良と影響範囲がある程度絞れているようなので、該当箇所はかなり限定できていると思います。

・原因の特定
論理/物理の双方から切り分ける必要がありそうです。
論理は正常時と異常時で何らかの通信テーブルが切り替わっていないかを追ってください。
物理は該当しそうな機器(とインターフェイス)のエラーカウントの変化を追うのが最初の一歩になるかと思います。

Comments

[b5t62phy]

返答が遅くなり申し訳ございません。
下記の対応を入れたところ、現在のところ現象が起こらないようになっています。

サーバーの下記の値を1から0に変更
net.ipv4.tcp_tw_recycle = 0

SYN-ACKが返ってきてないみたいなので、ググったところ似たような現象で対応されていた方がいたので
そのような対応を入れました。

回答をいただいたお二人の方、本当にありがとうございました。