スクレイピングできるサイトとできないサイトがある

スクレイピングをできるサイトとできないサイトがあります。
例えばヤフーの記事一覧を取得するなら、
１、記事一覧の一番上の記事を検証し、css(xpath)を抜き出す
２、記事一覧の２番目の記事を検証し、css(xpath)を抜き出す
３、#topicsfb > div.topicsindex > ul.emphasis > li:nth-child(1) > a　と#topicsfb > div.topicsindex > ul.emphasis > li:nth-child(1) > a
が出てきたとすると、共通部分だけを抜きだし、くり返し処理する。
つまり、この場合だと
nth-child(記事の順番)のところを抜き出し　#topicsfb > div.topicsindex > ul.emphasis > li > aとする。（以下、実際のコード）

require "open-uri"
require "nokogiri"

url = "https://www.yahoo.co.jp/"

user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.63 Safari/537.36'
charset = nil
html = open(url, "User-Agent" => user_agent) do |f|
  charset = f.charset
  f.read
end
      
doc = Nokogiri::HTML.parse(html, nil, charset)
 doc.css('#topicsfb > div.topicsindex > ul.emphasis > li > a').each do |node|
   puts node.text
 end

この場合はうまく行ったのですが、
同様のやり方で、やってみるとできないサイトがあります。
（このサイトの記事は、#post-9999 > div > header > h2 > a 、#post-9998 > div > header > h2 > aなど、数字の部分が記事によってことなっていたため、#post> div > header > h2 > aとした。このサイトはこのやり方ではできませんでした。）

      
doc = Nokogiri::HTML.parse(html, nil, charset)

 doc.css('#post > div > header > h2 > a').each do |node|
   puts node.text
 end

この二つのサイトでは何がちがうのでしょうか？
もしくは、私のやり方に不備があるのでしょうか？

行動規範の内容に同意します

回答2件

ベストアンサー

プログラムは自分が書いた通りにしか動きません。
上手く行かないのは基本的に自分のやり方が間違っていると思ってください。
nokogiriの前にスタイルシートの理解が不足しているように思います。
#postと#post-9999はまったく違うので、一致するはずがありませんよね？

いきなり全部やろうとせずに１つずつやってみると良いです。
まずは、doc.css('#post') でどうなるか試そうと考えるわけです。
p doc.css('#post') を実行すると、id="post"の要素しかヒットしない事が分かるはずです。

この時点で、このアプローチ＝やり方が間違っている事が分かります。

cssでは正規表現は使えません。
しかし、これはrubyなのでうまくcssの指定方法とrubyの機能を組み合わせばいいのです。

以下に例を示します。

例えば、こういう記事のdivがあったとして、まとめてループで処理したい場合、さきほどの説明で分かるように異なるIDをcssの指定では直接取れません。

html
1<div id="post-1">...</div>
2<div id="post-2">...</div>
3<div id="post-3">...</div>

そこで、まずはdiv全部を取得してループで回しながら、idがpost-数字にマッチするかどうかチェックして
マッチしないものはスキップするという風にします。

ruby
1require 'nokogiri'
2
3html =<<HTML
4<html>
5<head>
6  <title>テスト</title>
7</head>
8<body>
9
10<div>ダミー</div>
11<div id="post">id数字なし</div>
12
13<div id="post-1"><h2>記事1</h2></div>
14<div id="post-2"><h2>記事2</h2></div>
15<div id="post-3"><h2>記事3</h2></div>
16
17</body>
18</html>
19HTML
20
21doc = Nokogiri::HTML.parse(html)
22doc.css('div').each do |div|
23  unless div.attributes.key?('id') && div.attributes['id'].value =~ /\Apost-([0-9]+)\z/
24    next
25  end
26
27  puts div.css('h2').text
28end

これを実行すると、このように出力されます。

記事1
記事2
記事3

このようにスクレイピングはパズルのように考えて工夫する事が必要です。

投稿2017/09/30 11:15

mingos

総合スコア4025

renren643

2017/09/30 12:53

回答ありがとうございます。確かに、言われてみればidって固有のものなので、それを壊したら取得できませんよね。。。このように、普遍的かつ、理由も明確に間違えを指摘していただけると大変助かりますし、とても勉強になりました。ありがとうございます。

mingos

2017/09/30 12:57

下の方の回答のようにxpathで検索する方法ならば、postという文字を含むidという条件を指定できます。 cssの場合は、そういう事が出来ないというだけなので、状況に応じて使い分けてもいいですし、今回の回答のように、ちょっと工夫すればそれほど大変でもないのでcssだけでやるのもありですね。

行動規範の内容に同意します

Ruby
1require 'nokogiri'
2
3html = <<-EOS
4<html>
5<head>
6  <title>テスト</title>
7</head>
8<body>
9
10<div>ダミー</div>
11<div id="post">id数字なし</div>
12
13<div id="post-1"><h2>記事1</h2></div>
14<div id="post-2"><h2>記事2</h2></div>
15<div id="post-3"><h2>記事3</h2></div>
16
17</body>
18</html
19EOS
20
21doc = Nokogiri::HTML.parse(html)
22
23doc.xpath('//div[contains(@id, "post-")]').each do |node|
24  puts node.xpath('h2').text
25end
26