Ruby on Rails Mechanizeを利用し複数にまたがるページをスクレイピングしたい。

Question

前提・実現したいこと

プログラミング初心者です。質問も的を得ていなかったり、至らないところばかりだと思いますが、よろしくお願いします。
Ruby on RailsのMechanizeで複数のぺージにまたがるサイトの情報をスクレイピングしデーターベースに保存したく、ネット上にあった情報(下のコード)を基に、サイトのurlや、searchメソッドの要素を変更してみたのですが、うまくいきません。
恐らく、スクレイピングしようとしているサイトのaタグの扱いがうまくいっていないのだと思います。サイト１ページ目のaタグを含む一行は
<a href="javascript:void(0)" data-page-num="1" id="nextPage">次へ</a>
です。
2ページ目以降はサイトのURLは変わらず、aタグ内のdata-page-num=""内の数字が、２、３と増えていく形です。

該当のソースコード

require 'mechanize'

class Scraping
  def self.fuga_urls
    agent = Mechanize.new
    links = []
    next_url = ""

    while true
      current_page = agent.get("https://hoge.com/fuga/" + next_url)
      elements = current_page.search('.fuga-title a')
      elements.each do |ele|
        links << ele.get_attribute('href')
      end

      next_link = current_page.at('.pagination .next a')
      break unless next_link
      next_url = next_link.get_attribute('href')
    end

    links.each do |link|
      get_book('https://hoge.com/fuga' + link)
    end
  end

  def self.get_book(link)
    agent = Mechanize.new
    page = agent.get(link)

    title = page.at('.fuga-title').inner_text if page.at('.fuga-title')

    book = Book.where(title: title).first_or_initialize
    book.save
  end
end

Answer 1

2ページ目以降はサイトのURLは変わらず

ということであれば、JavaScriptでページ内容を書き換えているのでしょうから、Mechanizeは対応できません（JavaScriptを解釈できない）。

JavaScript必須のページに対しては、Seleniumライブラリを使ってブラウザ（ChromeとかFirefoxとか）をコントロールするのが一般的なようです。
このサイトでも、Python + Selenium の質問は山ほどあります。Ruby + Selenium の質問はPythonに比べると少ないですが、RubyがSeleniumに向かないと言うことでは無いです。使い慣れた言語を使いましょう。

Comments

[HIDAKA.K]

回答ありがとうございます。
まだまだ分からないことが多いので、非常に助かりました！
アドバイスを基に、いろいろと試していきます。
本当にありがとうございました。

[otn]

Railsということですが、ウェブのリクエストに応じてスクレイピングするのだとすると、ブラウザ起動はちょっと重いかも知れません。難しいですね。