Ruby スクレイピング 表示されない仕様？

Question

Rubyのkaminariを用いて、外国企業の業績をスクレイピングをしたく、下記サイトの損益計算書の所をスクレイピングしたのですが、

リンク内容

数字のところがハイフンになってスクレイピング出来ませんでした。

フリーキャッシュフローや損益計算書の文字は表示できるのですが、

一部をスクレイピングさせないような設定などがされているのでしょうか？

教えて頂けると幸いです。

require 'open-uri'
require 'nokogiri'
require 'sanitize'

url = 'https://jp.tradingview.com/symbols/NASDAQ-AAPL/?utm_campaign=symbol-info&utm_medium=widget_new&utm_source=jp.tradingview.com'

charset = nil
html = open(url) do |f|
  charset = f.charset
  f.read 
end


doc = Nokogiri::HTML.parse(html, nil, charset)
body = doc.at_css(".tv-widget-fundamentals__value")


File.open("./nokogiri.txt","w") do |f|
  f.write(body)
end

Comments

[m.ts10806]

そもそも、スクレイピングの許可はとったのでしょうか。

[mbaby__8]

スクレイピング自体初めてなので、とっていないです。
上記のコードは試しに動くかのサンプルで用いています。

[m.ts10806]

「制御されてないからいい」「規約に書いてないからいい」ではないです。
人のサイトの情報をアクセスしたうえで勝手に抜いてくるわけですから。
判断つかないなら手を出さないことを強くすすめます。
訴えられても文句は言えません。「知らなかった」では済まないという意味です。

[mbaby__8]

そうなんですね。
丁寧にありがとうございます。

Answer 1

Webサイトの作りとして、サーバーサイドで情報をHTMLに埋め込んでダウンロードさせる方式と、データ無しのHTMLをとりあえずダウンロードさせてからJavaScriptで情報をあらためて取得して埋め込む方式があって、後者の場合、最初にダウンロードしてきたHTMLに情報は入ってません。

これは対策としてそうしている、という場合もあるかもですが、初期表示までの時間の短縮だったり、スクロール等のユーザー操作に応じてデータをダウンロードして動的に埋め込むような仕組みにするためだったり、色んな理由で行う事なので、対策など関係なく普通に珍しい話ではないです。(非同期通信、Ajax、等の用語をもし知らないなら、まずはそこから勉強してみましょう)

そういったサイトをスクレイピングする場合、HTMLをダウンロードしてきて解析するツールではなく、ブラウザを自動操作する系のツールを使用します。「selenium」というツールが有名ですが、最近だと「puppeteer」というChromeを自動操作するためのライブラリをGoogleが出していたりもします。興味があれば調べてみてください。