javascript適用後のソースコードの入手

Question

あるサイトのダウンロードリンクをクロールして自動取得することを考えています。

wget を使用してHTML ファイルを取得したところ、 JavaScript が使用されていたサイトであった為、JavaScript適用前のソースコードが手に入り、ブラウザで確認できる表示の物とは異なりました。

このような場合、 JavaScript を実行した結果を取得する方法はあるのでしょうか？

Answer 1

phantomjsを使用すれば可能です。

以下は、入力したURLを開いて、３秒待った状態のhtmlを標準出力します。
URLはangularjsを用いたシングルページアプリケーションです。

phantomjs scrape.js http://edgy.black/ > scraped.html

//scrape.js

// Dependencies
var system= require('system');
var webpage= require('webpage');

// Environment
var url= system.args[1];

// Setup webpage
var delay= 3000;//ms
var page= webpage.create();
page.open(url,function(status){
  setTimeout(function(){
    var html= page.evaluate(function(){
      return document.documentElement.outerHTML;
    });

    system.stdout.write(html);
    phantom.exit(0);
  },delay);
});

Answer 2

基本的にはありません。
ただし、JavaScript ファイルも合わせて取得し、自分のサーバー内でJavaScriptを実行し、パースした結果を取得することになります。
昨今では、nodejsといった**サーバーサイド JavaScript **との組み合わせで実現可能でしょう。

現に、Google は1、2年前からJavaScript で実行されない限り取得できなかったコンテンツをリスティングしているので、技術的には可能だと思います。