スクレイピングで取得したデータをDBへ保存する記述 Ruby

Question

スクレイピングで取得した情報をDBに保存する記述を教えていただきたいです。

require 'nokogiri'
require 'anemone'
require 'pry-byebug'
require 'uri'

URL = 'https://*******************

html = URI.encode_www_form_component(URL)

area_urls = []
prefecture_urls = []
city_urls = []

Anemone.crawl(html, depth_limit: 0, delay: 3) do |anemone|
  anemone.focus_crawl do |page|
    page.links.keep_if do |link|
      link.to_s.match(%r{************/[0-9]{1,2}})
    end
    page.links.each do |link|
      area_urls << link
    end
  end
end

area_urls.each do |area|
  Anemone.crawl(area, depth_limit: 0, delay: 3) do |anemone|
    anemone.focus_crawl do |page|
      page.links.keep_if do |link|
        link.to_s.match(%r{***********/[0-9]{1,2}/[0-9]{5}})
      end
      page.links.each do |link|
        prefecture_urls << link
      end
    end
  end
end

prefecture_urls.each do |prefecture|
  Anemone.crawl(prefecture, depth_limit: 1, delay: 3, skip_query_strings: true) do |anemone|
    anemone.focus_crawl do |page|
      page.lins.keep_if do |link|
        link.to_s.match(%r{**************/[0-9]{1,2}/[0-9]{5}/[0-9]})
      end
      page.links.each do |link|
        city_urls << link
      end
    end

    anemone.on_every_page do |page|
      url = page.url
      html = open(url)

      doc = Nokogiri::HTML.parse(html, nil, 'UTF-8')

      name = doc.xpath('/html/body/div[4]/div/div[2]/div[1]/h1').text
      postcode = doc.xpath('/html/body/div[4]/div/div[2]/table[1]/tbody/tr[3]/td/text()[1]')
      tel = doc.xpath('/html/body/div[4]/div/div[2]/table[1]/tbody/tr[4]/td').text
      fax = doc.xpath('/html/body/div[4]/div/div[2]/table[1]/tbody/tr[5]/td').text
      address = doc.xpath('/html/body/div[4]/div/div[2]/table[1]/tbody/tr[3]/td/text()[2]')
      staff_number = doc.xpath('/html/body/div[4]/div/div[2]/table[4]/tbody/tr[1]/td/p').text
      company = doc.xpath('/html/body/div[4]/div/div[2]/table[5]/tbody/tr[2]/td').text
      office_url = doc.xpath('/html/body/div[4]/div/div[2]/table[1]/tbody/tr[6]/td/a').text

      office = Office.new(name: name, postcode: postcode, tel: tel, fax: fax, address: address, staff_number: staff_number, url: office_url)
      office.save
    end
  end
end

現状以下のように記述していますが、大量なデータすぎて検証することができていません。

office = Office.new(name: name, postcode: postcode, tel: tel, fax: fax, address: address, staff_number: staff_number, url: office_url)
      office.save

Answer 1

データの数を絞って、検証すれば良いのでは？

Comments

[masaosan18]

1件だけスクレイピングするということですよね

[taichi730]

1件でも何件でも良いですが、自分で確認できる範囲で、まずは検証すればよいのでは？

[masaosan18]

ありがとうございます。
ローカル環境では確認できますが、docker環境で確認できずに困っています。
この質問では、「スクレイピングで取得したい情報の保存方法」これだけが知りたいです。

office = Office.new(name: name, postcode: postcode, tel: tel, fax: fax, address: address, staff_number: staff_number, url: office_url)
office.save

この記述であっているかどうか。

[taichi730]

DB は触ったことがないので、上記のコードが正しいかはわかりません。
スクレイピング方法が正しいかを確認したのであれば、ログに出力するなどでも十分では？

[masaosan18]

はい。それはrubyだけの環境では出力の確認ができました。