ruby nokogiri スクレイピング 406エラー

Question

  require 'bundler/setup'
  require 'open-uri'
  require 'nokogiri'
  require 'csv'
  require 'pry-byebug'

  def get_parsed_html(url)
    html = open(url) do |f|
      charset = f.charset
      f.read
    end

    Nokogiri::HTML.parse(html,nil,'utf-8')
  end

  path = "a.csv"
  url_array = Array.new
  CSV.foreach(path) do |row|
    url_array << row[0]
  end
  
url_array.each do |url|

doc = get_parsed_html(url)

end

**doc = get_parsed_html(url)**の部分で

406 Not Acceptable (OpenURI::HTTPError)

というエラーは発生してしまいます。

調べたところリソースエラーらしいのですが解決方法がわかりません。

できればご教授お願いします。

対象URL：https://www.mtggoldfish.com/deck/4104807#paper

Answer 1

406について調べると

• Accept
• Accept-Charset
• Accept-Encoding
• Accept-Language

どれかの設定がサーバー側と合意できなかった事が分かります。

ヘッダーを設定する方法はopen-uriを調べるとハッシュ引数を渡せばいいことが分かります。

あとは、ブラウザでのリクエストを模倣するなりしてサーバーと合意できる設定を見つけるといいでしょう。