ある商品のウェブサイトからスクレイピングで商品名や画像などの情報を取得しようとしています。
scraping.rbを作成し、そこで取得した情報をproduct.rbモデル、コントローラーへと渡す流れです。
MechanizeのURLに間違いがないか何度も確認をしたのですが、いっこうに情報をスクレイピングできません。
現状、エラーが発生することはなく、viewページに何も表示されない(何も変化が起きない)という状態です。
問題点がわからず苦戦しておりまして、おわかりの方がいらっしゃいましたらアドバイスをいただけますと幸いです。
お手数おかけしますが、よろしくお願い致します。
require 'mechanize' class Scraping def self.icecream_urls links = [] # 個別ページのリンクを保存する配列 agent = Mechanize.new (1..4).each do |i| current_page = agent.get("http://www.morinaga.co.jp/products/list.php?id=030#{i}") elements = current_page.search('.products__list__item a') elements.each do |ele| links << ele.get_attribute('href') end end end links.each do |link| #get_product に引数(個別ページのURL)を渡す get_product('http://www.morinaga.co.jp/products/' + link) end end def self.get_product(link) # 個別ページからアイスの情報を取得する agent = Mechanize.new page = agent.get(link) product_name = page.at('.headingType01__txt').inner_text # 商品名 price = page.at() 商品価格 image_url = page.at('.products-mainImg img').get_attribute('src') # 商品画像 launch_date = page.at('.products-saleDate td').inner_text # 発売日 manufacturer_page = agent.get('http://www.morinaga.co.jp/company/') # 製造メーカーの社名を取得 manufacturer = manufacturer_page.at('.globalFooter_logo').get_attribute('alt') serving_size = page.at('.products-detailBox__desc').inner_text # 内容量 description = page.at() 商品説明 product = Product.where(name: product_name, price: price, image_url: image_url, launch_date: launch_date, manufacturer: manufacturer, serving_size: serving_size).first_or_initialize product.save end end
「ruby -c file_name.rb」で構文チェックができます。パット見、end の数が対応数よりも多い気がします