VPSでWeb表示時の外部CSS、外部JSの読込が物凄く遅い

###状況Web表示時の外部CSSとJSの読込が遅い
特定のページではなく、どのページでもすぐ読み込める時と遅い時とあり、
chromeのデバッグツールのNetwork欄で確認をしたところ、

<script src=""></script>
<link href="" />

といった、外部のJSやCSSを読み込む箇所で時間がかかっていることが分かりました。

当初、Web上のJQueryのURLをそのまま指定していたので遅いのかなと思い、アプリ上に保存し、ローカルで呼び出す方法に変えたのですが、変わらず遅い状態でした。

JQueryは多少ファイルサイズがありますが、自作の30行程度の外部JSを読み込むのにも3秒～8秒ほどかかる場合もあり、当然JQueryの読込も同じくらいかかることがあります。

ただ早い時は、全ての読込が完了するまで1秒もかからないこともあり頭を抱えています。
###環境 Apache + Tomcat + Spring
現在conohaのVPSをレンタルし、上記環境でWebアプリを作成しました。
ajpで全てのアクセスをtomcatにまわすようにしてあります。

###環境での差異
全く同じアプリを、

ローカルのEclipseのデバッグモード
バーチャルボックス上に用意した、VPSと同じCentOS環境（の上記環境を構築）
VPS上
と3パターン用意してあるのですが、ローカルとバーチャルボックス上では全く問題ない状態です。

###質問：同一サーバー内のJSやCSSの読み込みにこんな時間かかるのか？
上記状況を踏まえ、現在暫定として
0. 外部から読み込むCSSが複数あったので1つにまとめた
0. CSSは<head>タグ内、JSは<body>タグの終わりの直前に回した
0. JSには**defer="defer"**を付与した

上記対応を行いました。
JS読込に時間がかかっても一旦画面の描写はされているので、対応前に比べたら断然良くなったのですが、根本的な読込の速度が遅い事に変わりはありません。

ボトルネックがどこなのか検討がつかず、頭を抱えています。

それとも同一サーバー内に格納したところで、外部ファイルの読込とすると、1ファイルに最大で10秒程かかるのは普通の速度でしょうか？

なにか改善策があればお願い致します。