Nokogiriでタグ内の文字列を指定して要素を取得したい

Question

###環境
ruby 2.3.1p112 (2016-04-26 revision 54768) [x86_64-darwin17]
nokogiri (1.10.1)

###実装箇所

以下のようにgemのnokogiriを使ってスクレイピングしています。

url = "http:website-no-url.com
charset = nil
html = open(url) do |f|
  charset = f.charset
  f.read
end
doc = Nokogiri::HTML.parse(html, nil, charset)

###実現したいこと

この後、
doc.xpath('//div[@class="box"]')
と入力すると、

<div class="box">&#13;

								</div>

と返ってきますが、chromeの検証機能で確認すると子要素が存在します。
その子要素を取得したいのですが、どうすれば良いのでしょうか。

ご教示いただけることがあれば、何卒よろしくお願いいたします。

Answer 1

Xpathが正しい前提で回答をします。

openで取得できるのは、動的にページが生成される前のものです。(※Mechanizeも同じ)
これに対して、「chromeの検証機能」で表示されるのは動的にページが生成されたあとのものです。
そのため、上のコードでは動的にページが生成される前のhtmlに存在しない要素は取得できません。

openでは、動的に生成される要素を扱えないので、WatirかCpybaraを使ってください。
(Watir, Capybara経由でSeleniumを使うほうが簡単なのでおすすめします。)

もしくは、ブラウザの「ページのソースを表示」で表示されるhtmlに
取得したい要素が別の形式で存在しないか、確認してXpathを作り変えてください。

Comments

[s_diff]

capybara/poltergeistを使うことで取得できました。
ご回答ありがとうございました。