CentOS6 特定のサイトに頻繁に到達出来なくなる。

Question

大手サービスのVPSサーバを利用しております。

ドメイン名を取得して、同サーバにてDNSなどを設定しました。
NetworkやIFについては、サービス開始時に設定されていた物を利用しています。

ECCUBEを使い、決済サービスを利用しているのですが
最近になり、決済サービスへ頻繁に接続出来ない事象が発生し調査を行っています。

接続するプログラムなど調査し、Http_RequestでTIMEOUTで有る事が解りました
ネットワーク関連だと思い、Tracertにて調査をしました。

サーバにSSH接続してコンソールより確認しています。

・接続できていない時。

traceroute XXXXXXXXXXXX.jp
traceroute to XXXXXXXXXXXX.jp (xxx.xxx.xxx.xxx), 30 hops max, 60 byte packets
1 * * *
2 * * *
3 * * *
4 * * *
5 * * *
6 * * *
7 * * *
8 * * *
DNSから先に出て行ってない状態でした。
※DNSまで行ってGWに出て行ってないのかこの辺りを調べたいところです。

・接続できている時。
traceroute XXXXXXXXXXXX.jp
traceroute to XXXXXXXXXXXX.jp (xxx.xxx.xxx.xxx), 30 hops max, 60 byte packets
1 xx7.x5.x3.1 (xx7.x5.x3.1) 0.494 ms 0.349 ms 0.316 ms
2 * * *
3 * * *
4 0-0-1-1--2005.yyyyyy.yyyyyy.ad.jp (xx3.xx8.x2.x5) 1.332 ms 1.337 ms 1.322 ms
5 * * *
6 * * *
7 xx1.xx8.x6.xx0 (xx1.xx8.x6.xx0) 2.445 ms 2.419 ms 2.379 ms
8 xx1.xx8.xx0.x2 (xx1.xx8.xx0.x2) 1.653 ms 1.435 ms 1.717 ms
9 * * *
10 * * *
11 * * *
12 * * *
13 * * *

22時～朝方まで接続出来ない辺りは大体同じですが、日中は繋がったり繋がらなかったりです。
サービス側のネットワークという線もあると思いますが、自身のサーバーで調査する方法など
有ればご教示頂けると助かります。

上記の状態の時に、yahoo.co.jpなど普通に通ります。

Answer 1

サーバーのMessageを確認中に発見したのですが
DNSキャッシュへの再起問合せ攻撃と各ポートへにDOS攻撃の跡がありました。

あまりにも多いと数件しか出力されていなく気づかなかったのですが
※多分再起問合せに対応していたのでほとんどはエラーでは無かったんだと思います。
DNS側の負荷にはなっていたようです、HTTPはほとんど影響を受けていませんでした。

DNSの再起問合せを止めて、ipsetにて日本のIPだけに絞ってHTTP、HTTPSなど
主要ポートにフィルタをかけました。

結果、22時以降も問題無く稼働しています。
DNS側が高付加になって、遅めのパケットがタイムアウトしていたのだと思います。
その結果、シビアなサイトのみタイムアウトして到達出来ないという結果です。

同じ様な問題の方は、DDOS攻撃されているか確認した方が良いかと思います。

Answer 2

Http_RequestでTIMEOUTという現象の多くは、経路上の何処かでパケットが破棄されている場合に発生します。

一般的には、経路上の Firewall が怪しいです。
また、提示された内容を見る限り、経路情報が切り替わっているように見受けられます。
どこで切り替わっているのかを調査するのが解決への第一歩となるかと。

切り替わりが発生した際の経路上でパケットを破棄している箇所を特定するか、正常な経路を選択し続けるか、いずれかの方法で解決してください。

*挙動としてかなり怪しいので、キチンと調査したほうが良いです。

Comments

[Asak]

te2jiさま

回答ありがとうございます。私の方ではサーバを弄る事は出来るのですが、ネットワークは
サービス提供側の環境となり調査依頼する形です。

nslookupなどでDNSのレコード確認とパケットを追えるツールを調べてみたいと思います。

Answer 3

DNSが応答しないのであれば以下を追加（既存書き換えではなく）して様子をみるのも手です。
1.1.1.1(1.0.0.1)
8.8.8.8(8.8.4.4)

またECCUBEは確かPHPだったと思いますが、とりあえずPHPのタイムアウトを伸ばしてみては如何でしょうか。
伸ばし方はいろいろありますが、 max_execution_time を伸ばすと良いでしょう。

Comments

[Asak]

namdaさま

回答ありがとうございます。DNSの件、私も考えておりました。
Tracerouteでホスト名（IP)が取れているのでDNSには行けていると考えていたのですが、試してみます。

PHP側ではない事は確認しています。Apache側、PHP側、Http_Requestのオプションも試して時点で
Sockエラーという事でネットワーク要因という判断を致しました。