Ruby URL先が存在するか判断したい

Question

前提・実現したいこと

引数にURLを渡すと、そのWEBページが存在するかどうかを真偽値で返すメソッドを作ろうと思っています。
http://piko.hateblo.jp/entry/2013/05/24/194739
上のページで、以下のようなコードを見つけたので試してみました。

def url_request(url, limit = 10)
  if limit == 0
    return false
  end
  begin
    response = Net::HTTP.get_response(URI.parse(url))
  rescue
    return false
  else
    case response
    when Net::HTTPSuccess
      return true
    when Net::HTTPRedirection
      url_request(response['location'], limit - 1)
    else
      return false
    end
  end
end

puts url_request("http://www.nogizaka46.com/")

発生している問題・エラーメッセージ

大好きな乃木坂46のサイト(http://www.nogizaka46.com/)で試してみたところ、結果が"false"となってしまいました。
しかし、例えばamazon(https://www.amazon.co.jp/)ではちゃんと"true"が返ってきます。

こういった場合、何が原因で、どのように対応したらいいのでしょうか？

補足情報（FW/ツールのバージョンなど）

• windows10
• windows subsystem for linux(ubuntu)
• ruby 2.5.1

ご回答、アドバイスをいただけると幸いです。

追記

otnさんのアドバイスを参考にして、メソッドを以下に書き換えてみました！

def url_exist?(uri)
  agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
  url = URI.parse(uri)
  begin
    Net::HTTP.new(url.host).get({"User-Agent": agent})
  rescue
    return false
  else
    return true
  end
end

# 存在するページ
puts url_exist?("http://www.nogizaka46.com/")

# 存在しないページ
puts url_exist?("http://www.nogizaka46aaa.com/")

とすると、結果がうまく出力されました！

true
false

Answer 1

User-Agentヘッダを見ているようです。何らかのブラウザのUser-Agentを使ってください。

  IE11="Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko"
  url = URI.parse("http://www.nogizaka46.com/")
  ～
  begin
    Net::HTTP.new(url.host).get(url.path,{"User-Agent"=> IE11})
  rescue

Comments

[退会済みユーザー]

ありがとうございます、解決しました。！
User-Agentも初耳でしたので、大変勉強になりました！

[退会済みユーザー]

ごめんなさい。
これについて、追加で質問があります。
もしよければそちらも一読していただけると幸いです。。

[otn]

あれ、なんか、Teratailのバグかな。
コピペミスしたかと、編集で開くと、ちゃんと書いた通り、
Net::HTTP.new(url.host).get(url.path,{"User-Agent"=> IE11})
となっているのですが、表示がおかしいですね。

[otn]

右下の意見欄から、バグレポートを送っておきました。そのうちになおるかと。