沢山のサイトをクローリングするコードの書き方について

Question

###該当のソースコード

class CrawlersController < ApplicationController

  require 'anemone'

  def index
    urls = []
    urls.push("http://www.amazon.co.jp/gp/bestsellers/books/466284/")
    urls.push("http://www.amazon.co.jp/gp/bestsellers/books/571582/")
    urls.push("http://www.amazon.co.jp/gp/bestsellers/books/492152/")
    urls.push("http://www.amazon.co.jp/gp/bestsellers/books/466286/")
    urls.push("http://www.amazon.co.jp/gp/bestsellers/books/466282/")
    urls.push("http://www.amazon.co.jp/gp/bestsellers/books/492054/")
    urls.push("http://www.amazon.co.jp/gp/bestsellers/books/466290/")
    urls.push("http://www.amazon.co.jp/gp/bestsellers/books/492166/")
    urls.push("http://www.amazon.co.jp/gp/bestsellers/books/466298/")
    urls.push("http://www.amazon.co.jp/gp/bestsellers/books/466294/")
   
    Anemone.crawl(urls) do |anemone|
       anemone.on_every_page do |page|
	          ~~~	  
       end
    end
end

一つのサイトの違うページであればこのような感じでクローリングをすればいいのかもしれないのですが、全く別の数百のサイトから全く違うxpath,cssセレクタでクローリングをする場合、どのように記述をしていけば効率よく、修正も楽なコードが書けるのでしょうか？アドバイスをお願いしたいです。

該当のページをクロールし、特定の場所をスクレイピングし、mysqlに保存。
次にクロールをした時に内容が変わっていたら変わった部分をビューに表示させたいと思っています。

それとそもそもControllerに書くので大丈夫なのでしょうか？

Answer 1

いくつか。

①対象URLやセレクタはハードコードせず、Config用のテーブルを作ってそこで運用したほうがいいかも。サイト構成がころころ変わるページを対象とする場合はとくに。都度、デプロイするのは面倒。

②コントローラーから起動するユースケースがよくわからないけど....。クローリング -> スクレイピングで多いのはrakeタスクとかにしてスケジューラーで回すことが多いと思います。モジュール化してどちらからでも呼べるようするとベターかも。

③どちらにしても非同期にはしたほうがいい。そのままだとプロセスを占有しちゃってよろしくないと思いますよ。
（Anemone.crawlが対応しているのかな？ちょっと使ったことないからわからないけど。）

ビギナーマークがついているなか、こんなことを言ってしまうのはなんなんですが...。
スクレイピングは決して簡単ではないですよ(^^;;上記で出てくるワードくらいは最低限どれも理解しておく必要があります。
対象サイトによりますが、できるならAPIを利用したほうがいいです。Amazonならありますよ。規約的にもスクレイピングはグレーなケースが多いし、運用性も悪いしね。