ruby on rails のマーチャナイズgemを使ってscrapingをしているのですが、方向性としては、サイトの中の個別urlプロフィール先の情報を自動で取得していきたいんです。
サイトはhttp://www.shugiin.go.jp/internet/itdb_annai.nsf/html/statics/syu/1giin.htm
です。
現状のコードは
require 'mechanize'
agent = Mechanize.new
page = agent.get("http://www.shugiin.go.jp/internet/itdb_annai.nsf/html/statics/syu/1giin.htm")
elements = page.search('.sh1tt1 a')
elements.each do |ele|
puts ele.get_attribute('href')
end
になります。
現状のコードだと、それぞれのプロフィール先のURL情報を拾うことはできていますが、拾った先の情報をそれぞれ開くというのが色々と試してみたのですが、どうもうまくいかない状態です。
よろしくお願い致します。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。