質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.01%

【Ruby】Nokogiriを使ってブックマークのデータを取得したい

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 6,945

ankored

score 23

プログラミング初心者です。

前提・実現したいこと

Nokogiriで「はてなブックマーク」一覧ページから各ブックマークの情報を参照したい。

処理したいブックマークページの一例
http://b.hatena.ne.jp/entry/s/www.ruby-lang.org/ja/

上記のような一覧ページから各ブックマークの情報を取り出したいです。

該当のソースコード

require 'open-uri'
require 'nokogiri'

#スクレイピング先のURL
url = 'http://b.hatena.ne.jp/entry/s/www.ruby-lang.org/ja/'

opt = {}
opt['User-Agent'] = 'Opera/9.80 (Windows NT 5.1; U; ja) Presto/2.7.62 Version/11.01 ' 
charset = nil
html = open(url,opt) do |f|
  charset = f.charset 
  f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)

#xpath指定
doc.xpath('//*[@id="all-bookmarks"]/*[@id="public-bookmarks"]/*[@id="remaining-all-bookmarks"]/ul').each do |node|
  puts node.css('li').size
end

試したこと、発生している問題

各ブックマークデータは、
1) $x('//*[@id="all-bookmarks"]/*[@id="public-bookmarks"]/ul')に上位30個
2) $x(''//*[@id="all-bookmarks"]/*[@id="public-bookmarks"]/*[@id="remaining-all-bookmarks"]/ul')に残りすべて
が格納されているようです。
これらを上記コードに入れてみたとき、1)の30個は出てくるのですが、2)が出てきません。

どうすれば全てのブックマークを取得できるでしょうか?

補足

Ruby2.3.0
はてなAPIでブックマーク情報は取得できますが、APIではブックマークについたスターの数などまでは取得できないのであくまでスクレイピングで行いたいです。

追記

どうも無限スクロールページでのスクレイピングの問題のようです。
少し調べたらとちょっと難しそうなのでやっぱりAPIから攻めたほうがいいのかなとも思っています。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

はてなブックマークに全く詳しくないので、
スクレイピングしたい箇所があっているか微妙ですが。。

「すべてのブックマーク」の中身を取得する場合、
無限スクロールではありませんが、
「すべてのブックマーク」がActiveな時にappendするようになってるぽいです。

制御はCookieで行ってるぽいので、optionに追加してあげれば取れました。

require 'open-uri'
require 'nokogiri'

# スクレイピング先のURL
url = 'http://b.hatena.ne.jp/entry/s/www.ruby-lang.org/ja/'
opt = {
  'User-Agent' => 'Opera/9.80 (Windows NT 5.1; U; ja) Presto/2.7.62 Version/11.01',
  'Cookie' => 'bookmarks_tab=all-bookmarks'
}

charset = nil
html = open(url, opt) do |f|
  charset = f.charset
  f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)

# xpath指定
doc.xpath('//*[@class="bookmark-list"]/li').each do |node|
  puts node.css('.comment').inner_text
end

 追記(2016/12/14)

失礼しました。
最後まで取得できてませんでしたね。。
30件以降はAjaxを使用して分割取得しているみたいです。

// BookMark.js?...
B.Entry.CommentListLoader = new B.Class({
// 移すとなんかあるかもしれないので省略
# Request Header
Accept:*/*
Accept-Encoding:gzip, deflate, sdch
Accept-Language:ja,en-US;q=0.8,en;q=0.6
Cache-Control:no-cache
Connection:keep-alive
Cookie:# ~~~
Pragma:no-cache
Referer:http://b.hatena.ne.jp/entry/qiita.com/seki_uk/items/4001423b3cd3db0dada7
User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36

# Query String Parameters
view source
view URL encoded
eid:312351169
page:1
per_page:500
shown:30
comment_only:0

nokogiriを使用したのは今回が初めてで詳しくないのですが、
一度hatenaにアクセス後、cookie情報をメモリに格納し、
スクレイピング時に使用して、
以下のURLにヘッダとパラメータを偽装してアクセスする形になるのかなと思いました。
http://b.hatena.ne.jp/entry.comment_fragments

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2016/12/14 13:23

    丁寧にご回答いただき、ありがとうございます。
    >一度hatenaにアクセス後、cookie情報をメモリに格納し、
    >スクレイピング時に使用して、
    >以下のURLにヘッダとパラメータを偽装してアクセスする形になるのかなと思いました。
    >http://b.hatena.ne.jp/entry.comment_fragments
    頂いた情報をもとにこの方針で試行錯誤してみようと思います。
    ありがとうございました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.01%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる