ブラウザのJavaScriptを無効状態でnoscriptを回避する方法

Question

非常に特殊な案件ではありますが、ご教示くださいますと幸いです。

サイトをスクレイピングするプログラムを書いているのですが、javaScriptをONにしていなければページが全く表示されないサイトがあります。

DOMが取得できさえすれば、JavaScriptの操作をする必要はありませんが、無理やりでもJavaScriptを有効にしたものとサイト側に認識させる方法はないでしょうか？

---

使用言語等

• Ruby
• Mechanize (スクレイピング用ライブラリ)

問題点

seleniumなど、JavaScriptが有効にできるWebドライバーを用いれば即解決かとは思いますが、
コストパフォーマンスから見て1からコーディングすることは可能であれば避けたいところです。

試したこと

HTTPリクエストヘッダにてJavaScriptが有効であることを定義しているフィールドがないか？
検索や、いくつか試してみましたが解決に至らず、リクエストヘッダでJavaScriptの判定をしているのかどうか不明な状態です。

---

情報が少なく申し訳ございません。
何卒宜しくお願いいたします。

Answer 1

HTTPリクエストヘッダにてJavaScriptが有効であることを定義しているフィールドがないか？

無いです。

実際にJavaScriptが動いてサーバー側に何かを通信することで、サーバー側で判断してページを出し分けているのでしょう。
そのJavaScriptを解析して同じ事をすればできるかも知れませんが、Seleniumを使う方が早いかも知れません。

Answer 2

無理やりでもJavaScriptを有効にしたものとサイト側に認識させる方法

JavaScriptの有効/無効の結果はサイト側（サーバ）は認識しませんし、する必要もないです。
アクセス解析のためのWebビーコンなどが統計を出すためAjaxでレポートを得ている程度。

ブラウザは「応答されるHTMLの字句解析」「CSS装飾」「JavaScriptによるダイナミックHTML」が基本機能です
（HTML5の現在はアプリケーションを実装しやすくするためのAPIが増えた）。

対して、多くのスクレイピング用ライブラリは「応答されるHTMLの字句解析」以上の機能を持っていません。
そこで、ダイナミックHTML用に「ヘッドレスブラウザ」が使われるようになっているのではないでしょうか。

コストパフォーマンスから見て1からコーディングすることは可能であれば避けたい

スクレイピング用ライブラリに「JavaScriptの実行結果まで解析する機能を加える」ことを考えたら、
コストパフォーマンスから見て、Seleniumを使うのが良いはずです。