あるサイトの情報をスクレイピングするために、Scraping.rbというモデルを作って下記のコードを組んでいます。
しかし、下記を実行しても上手くスクレイピングができません。
class Scraping def self.icecream_urls links = [] # 個別ページのリンクを保存する配列 agent = Mechanize.new (1..4).each do |i| current_page = agent.get("http://www.morinaga.co.jp/products/list.php?id=030#{i}") elements = current_page.search('.products__list__item a') elements.each do |ele| links << ele.get_attribute('href') end end links.each do |link| #get_product に引数(個別ページのURL)を渡す get_product('http://www.morinaga.co.jp/products/' + link) end end def self.get_product(link) # 個別ページからアイスの情報を取得する agent = Mechanize.new page = agent.get(link) name = page.at('.headingType01__txt').inner_text # 商品名 price = page.at() # 商品価格 image_url = page.at('.products-mainImg img').get_attribute('src') # 商品画像 launch_date = page.at('.products-saleDate td').inner_text # 発売日 manufacturer_page = agent.get('http://www.morinaga.co.jp/company/') # 製造メーカーの社名を取得 manufacturer = manufacturer_page.at('.globalFooter_logo').get_attribute('alt') serving_size = page.at('.products-detailBox__desc').inner_text # 内容量 description = page.at() # 商品説明 product = Product.where(name: name, price: price, image_url: image_url, launch_date: launch_date, manufacturer: manufacturer, serving_size: serving_size).first_or_initialize product.save end end
いろんな情報を見ると、スクレイピングするファイルの文頭にはrequire 'mechanize'の記述が必要とあります。
しかし、とあるカリキュラムの見本コードにはrequire 'mechanize'の記述がありません。
なにを聞きたいかというと、require 'mechanize'の有無によって何が違うのかということです。
require 'mechanize'なしでもスクレイピングは可能なのでしょうか?
お手数おかけしますが、よろしくお願い致します。
回答2件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。