Anemoneで指定した要素を全て抜き出したい

Question

プログラミング初心者です。
日本全国の神社とその住所の一覧データが欲しくてRubyでAnemoneとNokogiriを使ってこのサイトhttp://www.jinja.in/をスクレイピングし、取得した情報をcsvに書き込んでいたのですが、それぞれの地方の神社一覧の最初のページの内容しか取れていないようでした。
全部を取得したいのですが、どのように記述すればいいでしょうか。

require 'nokogiri'
require 'anemone'
require 'csv'
require 'open-uri'
require 'kconv'

URL = "http://www.jinja.in/"
PATTERN = %r[hokkaido|tohoku|chubu|kinki|chugoku|shikoku|kyushu|okinawa]
@spot= []
@address= []

Anemone.crawl(URL, :delay =>, :depth_limit =>1, :user_agent => "Mac Safari") do |anemone|

  anemone.on_pages_like(PATTERN) do |page|
    puts page.url
  end
  anemone.focus_crawl { |page| page.links.slice(0..9) }

  anemone.on_every_page do |page|
  doc = Nokogiri::HTML.parse(page.body.toutf8)
  doc.css('h3.title').each do |sp|
    @spot.push(sp.text)
  end
  doc.css('div.field-item').each do |add|
    @address.push(add.text)
  end
end end

 CSV.open("file.csv","w") do |csv|
   csv << @spot
   csv << @address
 end

また、このサイトをスクレイピングするときは:delayはどのくらい空ければ良いのでしょうか。
稚拙な質問ですがよろしくお願いします。

Answer 1

waitはサイトごとに確認しよう

http://www.jinja.in/robots.txt

Comments

[退会済みユーザー]

今後の学習の参考になりました！ありがとうございます！

Answer 2

どうやら、辿るリンクの階層の深さが足りなかったようです。

Anemone.crawl(URL, :delay =>10, :depth_limit =>, :user_agent => "Mac Safari") do |anemone|
の「　:depth_limit 」の値を大きくしたら、次のページの値も取れるようになりました。
取得するリンクの絞り込みは、anemone.skip_links_like(PATTERN)というように書いて取らなくていいものを除外していくという方法をとったらすっきりするようになりました。もっといいやり方はあるのでしょうが・・・。