nokogiriとanemoneでスクレイピングしようと思っています。
以下のコードを走らせる時、no implicit conversion of URI::Generic into String
とエラーが出てしまいます。
解決方法がわからず困っています。
ruby
1namespace :crawler do 2 task :offices do 3 # -*- coding: utf-8 -*- 4 require 'nokogiri' 5 require 'anemone' 6 require 'pry' 7 8 URL = "https://アドレス" 9 10 html = URI.encode_www_form_component(URL) 11 12 Anemone.crawl(html, depth_limit: 1, skip_query_strings: true) do |anemone| 13 anemone.focus_crawl do |page| 14 page.links.keep_if{ |link| 15 link.to_s.match(/正規表現でURLの指定/) 16 } 17 end 18 19 anemone.on_every_page do |page| 20 url = page.url 21 html = open(url) 22 23 doc = Nokogiri::HTML.parse(html, nil, "UTF-8") 24 25 title = doc.xpath("/html/body/div[4]/div/div[2]/div[1]/h1").text 26 27 puts title 28 29 end 30 end 31 end 32end