いわゆる「もっと読む」部分をクロールする方法

Question

railsでnokogiriというgemを使ってクロールするサイトを作っているのですが、一定の場所までスクロールすると次の要素が読み込まれるページのクロールに悩まされています。
例えばhttps://www.google.co.jp/ならアクセスすれば全ての要素が読み込まれるのでどの要素をクロールしても読み込まれますが
https://www.youtube.com/user/playstationjp/videos
こういったページの場合getした瞬間に読み込まれている要素はクロールできてもそれ以降はできません。
どうすればよいのでしょうか。

  uri = "https://www.hogehoge.com"
  @doc = Nokogiri::HTML(open(uri),nil,"utf-8")

Answer 1

スクレイピングするよりはYoutube Data APIで取得した方がよいと思いますよ。

Comments

[Yaiba184]

youtubeってAPIあるんですか！
ありがとうございます勉強します！！

[Yaiba184]

youtube data api だと取得できる値の限界が50でした。。。
50以上の動画があるチャンネルの場合はどうすればよいのでしょうか
もっと読む部分のちょっと先を読み込んで終わってしまいます
ご教授願えませんか

[asm]

受け取ったnextpagetokenをpagetokenとして次回のリクエストに渡します。

[Yaiba184]

ありがとうございます！できました！！！

Answer 2

Seleniumという自動ブラウザ操作用ライブラリを利用すれば、Javascriptで要素が後から追加されるようなサイトをクロールすることも可能です。gemがあるため、簡単に導入できるかと思います。

Comments

[Yaiba184]

ありがとうございます！
調べてみます！！