Nokogiriでスクレイピングに失敗します。

Question

前提・実現したいこと

qiitaに投稿されているRUBYの記事のタイトルを抽出してCSVに出力したい。

以下のソースコードを実行したところ、以下のエラーメッセージが出ました。
どのような修正が必要でしょうか？

発生している問題・エラーメッセージ

/System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:225:in `open_loop': redirection forbidden: http://qiita.com/search?q=ruby, -> https://qiita.com/search?q=ruby, (RuntimeError)
	from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:151:in `open_uri'
	from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:717:in `open'
	from /System/Library/Frameworks/Ruby.framework/Versions/2.3/usr/lib/ruby/2.3.0/open-uri.rb:35:in `open'
	from scrape.rb:15:in `block in <main>'
	from scrape.rb:14:in `each'
	from scrape.rb:14:in `<main>'```

該当のソースコード

require "nokogiri"
require "open-uri"
require "csv"

urls = %w(
  http://qiita.com/search?q=ruby,
  http://qiita.com/search?q=php,
  http://qiita.com/search?q=swift,
)
titles = []

charset = nil;
urls.each do |url|
  html = open(url) do |f|
    charset = f.charset
    f.read
  end

  doc = Nokogiri::HTML.parse(html, nil, charset)
  doc.xpath('//h1[@class="searchResult_itemTitle"]').each do |node|
    title = node.css("a").inner_text
    titles.push(title)
  end
end

CSV.open("qiita_title.csv", "w") do |csv|
  csv << titles
end

Answer 1

open-uri が、 http から https へのリダイレクトでエラーになっていますので、最初から https://〜 で、始まる URL を与えたら、動作しないでしょうか？

[Ruby] open-uriでhttp->httpsのリダイレクトが禁止されている件 によると gem をインストールする方法もあるそうです。

Comments

[b_b_b]

httpsに変えると上手くいきました。
ありがとうございます。