後書きでレンダリングするページをスクレイピングする場合の選択肢。

Question

素のHTMLを後からJavaScriptでDOM上書きしているようなページの場合、VBAマクロやUWSCではうまくスクレイピングすることができません。
このようなページをスクレイピングしたい場合、選択肢としてどのような方法がありますでしょうか？（Goutte、PhantomJSなど）

選択肢とそれぞれのメリット・デメリットを教えていただけるとありがたいです。

Answer 1

サイトの構造によりますのでケースバイケースですが、基本的にこういった後からレンダリングされるものは、ajaxで別途データを取得して処理しているはずです。
ブラウザでデバッグしながら見れば、どういうデータをPOSTしてどういった内容が返ってくるかわかるかと思いますので、それに合わせてプログラムを取得するしかないかと思います。

Comments

[mneko]

ご回答ありがとうございます！。
汎用的に使える方法はないということで理解致しました。