記事の一番先頭をスクレイピングしたい

Rubyでyahooのトップページの記事一覧から一番先頭をスクレイピングをしたいのですが、このコードのどこが間違えているのでしょうか？

ファイル名.rbを作成し、ruby　ファイル名.rbを実行すると””が帰ってきます。

require 'nokogiri'
require 'open-uri'

url = 'https://www.yahoo.co.jp/'

charset = nil

html = open(url) do |f|
    charset = f.charset
    f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)
p doc.css('#topicsfb > div.topicsindex > ul.emphasis > li:nth-child(1) > a').text

require 'nokogiri'
require 'open-uri'

url = 'https://www.yahoo.co.jp/'

が正しいだろうということはわかっています。
doc = Nokogiri::HTML.parse(html, nil, charset)でhtmlを取得し、
p doc.css('〜').textで具体的な箇所を引っ張ってくるのだろうという認識ですが正しいでしょうか？
また（）内の記述はデベロッパーツールから抜き取りたい範囲をcopy selectorでコピーして持ってきたものですが大丈夫でしょうか？

リンク内容を参考にしました

m.ts10806

2017/09/28 02:02

https://teratail.com/help/question-tips#questionTips2-1

renren643

2017/09/28 02:14

すいません、何がネックになってて間違えてるのかさっぱりわかないんです。強いていうならrequire 'nokogiri' require 'open-uri' url = 'https://www.yahoo.co.jp/'は正しいだろうということはわかっていますが。

m.ts10806

2017/09/28 02:21 編集

ネックの話ではなく、このコードを実行することで何が起きるからどうしたいのかが分からない、ということです。そのために、「何が起きているのか、何が分かっているのか、どう調べてみたのか」というところを質問に明記してください。（割とそのあたりが不足している質問が非常に多いです）

renren643

2017/09/28 02:29

追記しましたがこれで大丈夫ですか？

行動規範の内容に同意します

回答1件

ベストアンサー

これで　どうですかね？

require 'open-uri'
require 'nokogiri'

url = 'http://www.yahoo.co.jp/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.63 Safari/537.36'
charset = nil
html = open(url, "User-Agent" => user_agent) do |f|
  charset = f.charset
  f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)

puts doc.css('#topicsfb > div.topicsindex > ul.emphasis > li:nth-child(1) > a').text

投稿2017/09/28 05:18