【Rails】Rakeタスクでのスクレイピングと普通のRubyで結果が異なる理由がわかりません。

Question

前提・実現したいこと

Ruby on Rails でスクレイピングをして取得したデータをデータベースに格納するRakeタスクを作っています。

発生している問題・エラーメッセージ

まず、Rakeタスクを作る前に、単なるRubyでスクレイピングするプログラムを作りました。それを、Rakeタスクに移植して実行してみたのですが、出力されたデータが異なりました。
おそらく、スクレイピングで取得したHTMLが異なるのかと思うのですが、なぜ異なる結果が返されるのかがわかりません。これについてご教授いただけると幸いです。

該当のソースコード

以下のコードがまず始めにRubyで書いたものです。申し訳ないのですが、スクレイピングしているサイトのアドレスやCSSセレクタはダミーです。

require "mechanize"
agent = Mechanize.new
agent.user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"
page = agent.get("https://example.com")

price_list = []
item_list = []

replace = {
  "\n" => "",
  "\r" => "",
  "\t" => "",
  " " => ""
}
items = page.search("td.item")
items.each do |d|
  d = d.text
  replace.each{|before, after| d.gsub!(before, after)}
  item_list << d
end

4.times do |i|
  prices = page.search("table.price0#{i+1} td")
  prices.each_with_index do |p, j|
    next unless j % 10 == 0
    price_list << p.text.gsub(/[^0-9]/,"").to_i
  end
end

p item_list.zip(price_list).to_h

これをRakeタスクにしたものが以下です。

namespace :site do
  desc "サイトから値段を取得"

  task :get_prices => :environment do
    prices = get_prices
    p prices
    p prices.length
  end

  def get_prices
    agent = Mechanize.new
    agent.user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"
    page = agent.get("https://www.onamae.com/service/d-regist/price.html")

    price_list = []
    item_list = []

    replace = {
      "\n" => "",
      "\r" => "",
      "\t" => "",
      " " => ""
    }
    items = page.search("td.item")
    items.each do |d|
      item = d.text
      replace.each{|before, after| item.gsub!(before, after)}
      item_list << item
    end

    4.times do |i|
      prices = page.search("table.price0#{i+1} td")
      prices.each_with_index do |p, j|
        next unless j % 10 == 0
        price_list << p.text.gsub(/[^0-9]/,"").to_i
      end
    end

    item_list.zip(price_list).to_h
  end
end

試したこと

ユーザーエージェントがRailsか何かに書き換えられているのではと思い、明示的に指定するようしました。
Mechanizeのユーザーエージェントを変更する。=>変わらず

補足情報（FW/ツールのバージョンなど）

mechanize
Rails 6.0.1
ruby 2.6.3p62 (2019-04-16 revision 67580) [x86_64-darwin19]
Mechanize 2.7.6

Comments

[otn]

どう異なるのでしょうか？

[otn]

中間結果HTMLをファイルに書き出して、比較して調査してはどうでしょうか。

[sss]

申し訳ありません。完全に説明不足でした。
上記の２つのコードでどちらもスクレイピングで得た商品名と商品名の価格を、ハッシュにして表示させています。どちらのコードでも、同じ内容のハッシュが出力されることを期待しているのですが、Rakeタスクでは、Ruby単体のプログラムの結果にはない、商品名と価格の組み合わせが含まれていました。

中間結果の書き出しですが、
file = File.open("tmp.html","w")
file.puts(page.body)
file.close
というコードを挿入して、試したのですが、２つのコードのうちRuby単体のものではHTMLファイルが書き出されたのですが、Rakeタスクのほうではエラーも出ず、書き出されないという状況になっており、比較することができませんでした。

[sss]

宜しくお願いいたします。

Answer 1

文字コードをASCII-8BITからUTF-8に変換することで、どちらも期待値が得られることがわかりました。
回答をくださった方々、ありがとうございました。

Answer 2

出力されたデータが異なりました。

標準出力のことでしょうか?
Rubyスクリプトは標準出力している箇所( puts とか pとか)がないように見えますが、具体的にどのように異なりますか?

Comments

[sss]

申し訳ありません。標準出力の箇所が抜けていたので、コードを訂正させていただきました。
ご教授いただければ幸いです。

[ducci]

`p prices.length` の有無とかの差異ではなくですかね。

[sss]

出力しているハッシュの内容の差異についてです。
具体的には上記の２つのコードでどちらもスクレイピングで得た商品名と商品の価格を、ハッシュにして表示させています。どちらのコードでも、同じ内容のハッシュが出力されることを期待しているのですが、Rakeタスクでは、Ruby単体のプログラムの結果にはない、商品名と価格の組み合わせが含まれていました。

[ducci]

スクレイピング先のサイトが変更になった可能性とかはありませんかねー
何回試行しても、必ず出力が同じように異なるとかはありませんか？

[sss]

どちらのコードもかなりの回数実行して内容を比べたのですが、いつもRakeタスクのほうに見慣れない主賓名と価格がセットされているという感じですね。
ブラウザで直接確認したのですが、その見慣れない商品名は見つけられなかったので、そもそもレスポンスされているHTMLがRakeタスクと純粋なRubyスクリプトで異なるのかなと考えている状況です。