Rubyでのスクレイピングが途中で終了してしまうことについて

Question

スクレイピングを試すために映画.comというページをスクレイピングして映画のタイトルなどをデータベースに保存するコードを書いてみたのですが、全490件くらいのうち250件くらいでスクレイピングが終わってしまうのですが、コードを見直しても間違えている点が見当たりません。
以下私が書いたコードになります

class Scraping
  def self.movie_urls
    agent = Mechanize.new
    links = []
    current_page = agent.get("http://eiga.com/now/")
    while true
      elements = current_page.search('.m_unit h3 a')
      elements.each do |ele|
        links << ele[:href]
      end
      next_link = current_page.at('.next_page')
      next_url = next_link.get_attribute('href')
      unless next_url
       break
      end
      current_page = agent.get('http://eiga.com' + next_url)
    end
    links.each do |link|
      get_product('http://eiga.com' + link)
    end
  end

    def self.get_product(link)
    agent = Mechanize.new
    page = agent.get(link)
    title = page.at('.moveInfoBox  h1').inner_text
    image_url = page.at('.pictBox a img')[:src] if page.at('.pictBox img')
    product = Product.where(:title => title, :image_url => image_url).first_or_initialize
    product.save
  end
end

Answer 1

DOSアタック防御でアクセスがブロックされているとかありませんか?

私がよくやるパターンは、ループの途中に適時1秒程度のウェイトを掛けるやり方です。
あまりウェイトを長くすると、完了までの時間がかかってしまいますので、どこにウェイトを入れるか、
どのぐらいの長さにするかは適当に判断する必要がありますが。