Ruby Nokogiri 取得できない部分がある

Question

ソースコード

require 'open-uri'
require 'nokogiri'

doc = Nokogiri::HTML(URI.open("https://blog.takuros.net/entry/2014/04/15/070434"))
puts doc.xpath("/html/body/div[2]/div/div[2]/div/div/div/div/article/div/footer/div[6]")

出力

<div class="comment-box">

    <ul class="comment">
      <li class="read-more-comments" style="display: none;"><a>もっと読む</a></li>
    </ul>

      <a class="leave-comment-title js-leave-comment-title">コメントを書く</a>

  </div>

質問

スクレイピング先
画像内の上二つのliタグの部分が取得できていないように思うのですが、なぜなのか教えてほしいです。

Answer 1

JavaScriptで追加しているのでしょう。

取得するにはJavaScriptを解釈できるツールを使います。多いのが Selenium + ブラウザ。

Comments

[Tai4]

なるほど、そうなんですね
ありがとうございます