mechanizeで取得した情報に詳細ページへのリンクを設定したい

Question

前提・実現したいこと

mechanizeを使用したスクレイピングでグノシーのようなニュースのまとめサイトを制作しています。

情報を取得したいサイトからタイトルや画像を抽出し一覧(index)ページに並べることはできたのですが、
それをクリックし個別の詳細(show)ページに移る方法が分からず質問しました。

class ScrapingsController < ApplicationController
  def index
   agent = Mechanize.new
   page = agent.get("https://xxxxxx.jp/")

   #サムネイル画像を取得
   @elements = page.search('.news-list .link img')
   #タイトルを取得
   @titles = page.search('.caption .title')
  end
end

<% @elements.zip(@titles).each do |element, title| %>
  
  <div>
    <p><img src= "https://xxxxxx.jp/<%= element.attribute('src').value %>"></p>
    <p><%= link_to title.inner_text %></p>
  </div>
<% end %>

試したこと

繰り返し処理で各投稿を表示することはできているのでそれにIDを付与することができれば、
実現可能だと考えています。

アプローチの仕方で何か良い方法がありましたら是非教えてください。
よろしくお願いします。

補足情報（FW/ツールのバージョンなど）

Rails 6.0.0
ruby 2.6.3

Answer 1

こちら自己解決できましたので共有します。

まず最初にコードです。質問時から大きく変わっている（特にscraping modelを追加している為）ので後から、僕のわかる範囲で補足してみます。

# scraping model

require 'mechanize'

class Scraping < ApplicationRecord
  
  def self.fuga_urls
    links = []
    agent = Mechanize.new
    current_page = agent.get("https://xxxxxxxx")
    elements = current_page.search('.ranking-list .item a')
    elements.each do |ele|
      links << ele.get_attribute('href')
    end
    
    links.each do |link|
      get_scraping('https://xxxxxxxx/' + link)
    end
  end
  
  def self.get_scraping(link)
    agent = agent = Mechanize.new
    page = agent.get(link)
    
    title = page.at('.arti-header .head').inner_text
    image_url = page.at('.figure-area img')[:src] if page.at('.figure-area img')
    detail = page.at('.arti-body').inner_text
    
    scraping = Scraping.new(title: title, image_url: image_url, detail: detail)
    scraping.save
  end
end

class ScrapingsController < ApplicationController
  
  def index
   @scrapings = Scraping.all
  end
  
  def show
    @scraping = Scraping.find(params[:id])
  end
end

# 一覧画面

<div>
  <% @scrapings.each do |scraping| %>
    <p><img src="https://xxxxxxx/<%= scraping.image_url %>"></p>
    <p><%= link_to scraping.title, scraping_path(scraping) %></p>
  <% end %>
</div>

# 詳細ページ

<p><%= @scraping.title %></p>
<p><img src="https://xxxxxxx/<%= @scraping.image_url %>"></p>
<p><%= @scraping.detail %></p>

上記のコードで質問時の目的である「mechanizeで取得した情報に
詳細ページへのリンクを取得」することができました。

説明に入る前に大いに参考になった記事を2つ紹介します。
https://qiita.com/takuyanin/items/01256773e1cbfc84f51a
https://chkc.hatenablog.com/entry/2019/07/24/190213

特に2つめの記事はとても役に立つと思います。

今回の問題を解消するために重要なのは下記の2点です。

• MVCのうち欠けていたスクレイピング用のModelを作成する。
• スクレイピングで得た情報はデータベースに保存しなければならない

質問時のコードを見ていただければわかると思いますが僕はmodelも作らず、
データベースへの保存もしないまま詳細ページを設定しようとしていました。

「サイトからタイトルや画像を抽出し一覧(index)ページに並べることはできた」
とありますがこれはあくまで対象のデータから情報を抽出して表示させただけにすぎません。
そのため個別のidを持つはずもなく詳細ページへのリンクが設定できることもありません。

モデルでは対象のページの記事のタイトル、画像URL、本文を抽出しています。
前提ではありますが自分の抽出したい情報に合わせてモデルにカラムを追加し、
取り出せるようにしておくことが必要になります。

考えてみればMVCが機能していなかったというとても初歩的な原因だったのですが、
スクレイピングという新しいことに挑戦していたこともあり複雑に考えすぎていたようです。

スクレイピングの記事はタイトルのみの抽出は情報の表示のみを紹介する記事
がほとんどだったのでアウトプットもかねて共有してみました。
誰かの役に立てると嬉しいです。