クローリングサービスに適したアーキについて

Question

自社でとあるサイトをクローリングしてメルアドを取得する仕組みを作ろうとしています。
そこで、10拠点ぐらいから計30000リスト/日を抽出するくらいのパフォーマンスが出る機能を作りたいのですが、アーキ構成をどうするべきか悩んでいます。
webアプリにしてアマゾンAWSで拡張生高く運用していくか？
herokuやsqale、レンタルサーバー等、
低コストで実現するために、どういうアーキ構成でいくべきでしょうか？

ご指導いただけると幸いです。

Answer 1

10拠点から30000リスト程度なら普通のPCでも十分ではないでしょうか。
対象となる拠点のページ数にもよりますが、技術的には並列にすれば行けると思います。
1.クローリング＆保存
2.保存データからメアド抜き出し&リスト化

テキストを取ってきて抜き出して保存するだけなので、単なるバッチでもいけるのではないでしょうか。

クロールする際は、対象サイトを管轄する国や州などの法規制、利用規約等にご注意ください。
クロールして逮捕された事例もあります。

Comments

[yuki777]

お返事ありがとうございます。
言葉足らずで申し訳ございません。
「10拠点から」というのは、弊社で抽出する部隊が10拠点あるという意味になります。
つまり一拠点あたり3000件/日ほどのリストを確保したく存じます。

Answer 2

# encoding: utf-8

require 'open-uri'
require 'certified'
require 'nokogiri'

count = 0

99_999.times do |i|
  begin
    url = "https://teratail.com/questions/#{format('%05d', i)}"
    doc = Nokogiri::HTML(open(url))
    puts doc.xpath('/html[1]/head[1]/title').text
    count += 1
  rescue OpenURI::HTTPError
    puts "This page not found >> #{url}"
  end

  break if count == 3000

  sleep(4)
end

私は何も分からない完全な素人です。
上のプログラムはteratailから質問のタイトルを
とってきて表示させるプログラムです。

1回とってくるのに10秒かかるとして
問題が発生しなければ
6 * 60 * 8 = 2,880個のタイトルを
1日にとって来ることができます。

対象のサイトによると思いますが
場合によってはmoonphase様が
おっしゃっているように普通のPCでも
大丈夫かもしれません。