Ruby on Railsで無限スクロールサイトのスクレイピング方法について

Question

###前提・実現したいこと
Railsでスクレイピングの練習をしているのですが、twitterのようにページ下部で無限スクロールするサイトでツイートのテキストを拾おうとすると最初の２０件しかスクレイピングできません。そこで色々とネットで調べてInfinite Scrollという仕組みがあるなどの情報まではわかったのですが、具体的にRailsでスクレイピングプログラムに落とし込むことができておりません。Infinite Scroll以外も含めて無限スクロールサイトをRailsでスクレイピング可能にする具体的な良い方法はないでしょうか？

###該当のソースコード

    agent = Mechanize.new
    agent.user_agent_alias = "Mac Safari"
    page = agent.get("https://twitter.com/ユーザー名")
    texts = page.search('.js-tweet-text-container')
    texts.each do |numbers|
      text = numbers.search('p').inner_text
      tweets = Tweet.where(text: text).first_or_initialize
      tweets.save
    end

  end

###試したこと
Google chromeの検証モードでスクロールをして画面下まで行くとHTML上で新しいツイートのリストが増えたのを確認しましたが、その仕組みまではよく分かりませんでした。

###補足情報(言語/FW/ツール等のバージョンなど)
言語: Ruby on Rails(2.1.3)
OS: MAC OS X EL Capitan(10.11.5)

Answer 1

ターゲットWebサイトがどのように Infinite Scroll を実現しているかによります。
たとえばここteratailでは、ここで紹介しているブックマークレットを実行することで無限スクロールできるようになりますが、その裏では、Google chromeの開発者ツールでネットワークタブを見る限り、クライアントからサーバへ以下のようなリクエストがでています(2016年8月29日現在):
https://teratail.com/questions/ajax_feed/20/60/btnActive/0
https://teratail.com/questions/ajax_feed/20/80/btnActive/0
teratailの場合は、上記URLのパラメータを変えることで任意の部分をjson形式で得られるので、それをほどいて必要なコンテンツを取り出せばよいです。

ただし、teratailの場合はAPIが用意されているので、そちらを使うのが期待されたやり方です。

twitterもAPIが用意されています。

Comments

[Dongrill]

ご返信遅くなってしまい申し訳ありません。ご回答ありがとうございました。教えていただいた通りにtwitter APIを用いて自分なりに試行錯誤してみます。