質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

ネットワーク

ネットワークとは、複数のコンピューター間を接続する技術です。インターネットが最も主流なネットワークの形態で、TCP/IP・HTTP・DNSなどの様々なプロトコルや、ルータやサーバーなどの様々な機器の上に成り立っています。

Q&A

解決済

1回答

2251閲覧

サイトから文章が取得できない

Naggy

総合スコア32

Ruby

Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

ネットワーク

ネットワークとは、複数のコンピューター間を接続する技術です。インターネットが最も主流なネットワークの形態で、TCP/IP・HTTP・DNSなどの様々なプロトコルや、ルータやサーバーなどの様々な機器の上に成り立っています。

0グッド

0クリップ

投稿2017/01/27 20:56

###質問内容
現在、スクレイピングの練習をしているのですが、javascriptでDOMをあつかっているサイトからうまく文章を収集できません。
例えば有名なところで言えば、2ch.scなどがそうで、スクレイピングをするだけでは文章をちゃんと取得できないのです。
これにどう対応すればうまくサイトのHTMLソースを手に入れることができるでしょうか。

###使用言語
Ruby

###該当のソースコード

require 'open-uri' require 'nokogiri' url = 'http://viper.2ch.sc/test/read.cgi/news4vip/1461508791/l50' charset = nil html = open(url, 'User-Agent' => 'Mozilla/5.0 (iPhone; U; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Mobile/9A334 Safari/7534.48.3', 'Cookie' => 'READJS="off"') do |f| charset = f.charset f.read end doc = Nokogiri::HTML.parse(html, nil, charset) doc.css('dt').each do |node| p node.inner_text end

###試したこと
上記のように、
2chに関してはjsモードからcgiモードに切り替えればうまくいくかもしれないと、cookieを指定しています。
これはREADJS="off"のクッキーによってcgiモードにしているためです。
しかし、うまくいきませんでした。
ただ、この方法では2ch.sc以外では通用しないので、何か普遍的な対応策を教えていただけると幸いです。

###使用している環境

ruby 2.3.1p112 (2016-04-26 revision 54768) [x86_64-darwin15]

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

普遍的な対応策としては、JavaScriptを使って作成されたデータを取得するには、Selenium等の「ブラウザを動かしてスクレイピングする方法」を使うしか無いです。

投稿2017/01/28 04:33

otn

総合スコア84505

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Naggy

2017/01/28 20:35

Seleniumを使ったらうまくいきました! ありがとうございました!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問