VPSの選び方を教えてください

Question

rubyでクローラーを作成するため、VPSの契約をしようとしています。

最低でも100サイト✕1000ページくらいを巡回する感じにしようとしてるのですが、VPSのスペックはどのようなものを選べば良いものでしょうか？

クローラーの場合、メモリ、CPU、SSD（HDD）、何を優先して選べば良いのでしょうか？

通常どの部分がボトルネックになるのか等、まったく分かっておらず、四苦八苦しています。

どの部分を優先して選ぶべきかアドバイスをいただければ幸いです。
よろしくお願いいたしますm(_ _)m

Answer 1

対象ページ数を「どれくらいのスパン」でクロールしたいかによります。

参考になるかわかりませんが、
私の経験上のお話で
「クロールの相手側の制限が発生しない」という条件付きでお聞きください。

rubyの単体ＰＧでは逐次処理のため、
ネットワーク遅延の影響であまりたくさんできません。(CPUを強化してもあまり有効でない）

非同期通信やクロールのＰＧを並列で走らせることで
１時間当たり1000～5000ほどアクセスは可能です。
大体ですが、
1000を超えたあたりからディスクのボトルネックが発生し始めます。（特に情報取得->DB保存のタイプ）
HDDをSSDにするといくらか改善されるとは思いますが、試したことがないので不明

ディスクを使わないＰＧでも5000/時間を超えるあたりから、
ほかのボトルネックを感じるようになります。（感覚的な判断ですが）

ボトルネックを感じやすい順番は
hdd->ネットワーク->CPU(メモリ）です。

個人的な経験則としては
バックボーンの強いサーバー会社で
1000～3000/時間で分割した数だけ「最小プラン」を用意し、統合は別サーバーで
です。

参考になれば、

Comments

[coinbura]

ものすっっっっっっごい参考になりました！！
ありがとうございます！！

そして、

>rubyの単体ＰＧでは逐次処理のため、ネットワーク遅延の影響であまりたくさんできません

という部分も参考になりました！

rubyのクローラーの参考書を買って勉強中だったんですけど、
pythonで作るべく、pythonクローラー参考書を購入して、一から勉強し直そうと思います！！

[takataka75]

pythonはほとんど使っていませんが、
「逐次処理」の部分はrubyでもpythonでも同じと思いますよ。
（それぞれに回避するコーディングはあるはずですが）

言語は好みですので自由ですが、
クローラーを作るのでしたら、
使用言語より
通信のプロトコルとか相手側の負担度に注意が必要かと
相手側が通信を拒絶したら、クロールは一切できなくなる
（大手はクロールしてくる割に、されると簡単に拒絶するので）

[coinbura]

なるほど！勝手にrubyの仕様だと勘違いしてました(^^;

アドバイスありがとうございます♪
ほんと助かりました！