###前提・実現したいこと
rubyでnokogiriを使い,スクレイピングを試しにしようとしています
以下のサイトからタイトル(家の名前),住所を取ろうとしています.
https://www.sumunda.jp/881/index.html
###発生している問題・エラーメッセージ
タイトルを取得することはできるものの,住所が取得できずにいます.
###該当のソースコード
xpathの取得などはクロームの"検証"からcopy→copy selector/XPathでコピーしています.
require 'nokogiri' require 'open-uri' titles = [] addresses = [] arrurl = [] arrurl << 'https://www.sumunda.jp/881/index.html' arrurl.each_with_index do |url, i| user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.63 Safari/537.36' charset = nil begin html = open(url, "User-Agent" => user_agent) do |f| charset = f.charset f.read end doc = Nokogiri::HTML.parse(html, nil, charset) titles << doc.xpath('//*[@id="mainTitleInner"]/div[1]/h2/text()') addresses << doc.xpath('//*[@id="main"]/div[4]/table/tbody/tr[3]/td[1]').text rescue puts url puts 'error' end end puts titles[0] puts addresses[0]
###試したこと
文字コードの問題かと思い
doc = Nokogiri::HTML.parse(html, nil, 'utf-8')
などとして試してみましたがダメでした.
###補足情報(言語/FW/ツール等のバージョンなど)
nokogiri 1.6.8
ruby 2.3.0
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。