Javascriptを使ったウェブページのスクレイピング

Question

前提・実現したいこと

GASで、Javascriptを使ったウェブページのスクレイピングをしようと考えています。
具体的には、以下の通りです。

【やりたいこと】
対象ページでJavaScriptを使った出力されている情報を取得したい
具体的には以下の通りです。

　＜対象ページ＞
https://mnrate.com/item/aid/B07YS1N8L3

　＜取得したい情報＞
「サイズ（中型2）」「最安値（14000）」「出品者数（17）」「3か月の販売数（81個）」

該当のソースコード

function getProductInfo() {

  //抽出対象URL
  var url_mono = 'https://mnrate.com/item/aid/B07YS1N8L3' ;

  var response = getResource(url_mono);
  var source = parseResponse(response);

  //sourceに「サイズ（中型2）」「最安値（14000）」「出品者数（17）」「3か月の販売数（81個）」の情報が入っていない

}

function getResource(target_url) {
  var _options = {
    url: target_url,
    renderType: "html",
    outputAsJson: true
  };
  var _payload = encodeURIComponent(JSON.stringify(_options));
  var _request =
    "https://phantomjscloud.com/api/browser/v2/" +
    API-KEY +
    "/?request=" +
    _payload;
  var _response = UrlFetchApp.fetch(_request).getContentText();

  return _response;
}

function parseResponse(response) {
  var _json = JSON.parse(response);
  var _source = _json["content"]["data"];

  return _source;
}

試したこと

PhantomJSを使って、Javascriptのの情報も取得させようと考えましたがうまく動作しません。
var index1 = source.indexOf('中型');
などでキーワードを検索したのですが、対象キーワードが見つからず-1が返却されます。

補足情報（FW/ツールのバージョンなど）

Google Apps Script

Comments

[m.ts10806]

当該サイトはスクレイピングしても問題ないサイトなのでしょうか

[papinianus]

PhantomJSが動くということを知らなかったのですが、出典を共有してください。回答の参考にしたいと考えます。

[ryoko_yamanaka]

こちらを参考にさせていただきました。
https://tonari-it.com/python-scraping-phantomjs-cloud/

Answer 1

ウェブページのスクレイピング

できません。

ご質問コード内の 抽出対象URL をブラウザに表示して確認したところ、一定のスクレイピング対策がなされています（クライアント・サイド・レンダリング）。

GASのAPIドキュメントでも HTMLのDOMを操作するサービスは提供していませんので、応答されたHTMLを文字列処理する場合に限って、なんとかスクレイピングできる状況です。

このようなGAS のAPI提供状況からも、黎明期の「何でもかんでも情報共有」と、スクレイピングを歓迎する時代は終わり、サイト運営は常に「コストに直結」するため、スクレイピングを否定する時代になっていることを理解してください。

また、ブラウザに表示したHTMLソースを見て、即座に技術的に可否の判断ができないならやめたほうがいいと思います。

スクレイピングのネガティブな側面：

1. 「IPアドレス＆タイムスタンプ」といった証拠ログの提供行為となる。
2. 利用規約外のアクセス方法を理由に法的措置を取られたら圧倒的不利となる。

黎明期とは異なり、法の整備も進んでいます。

Comments

[ryoko_yamanaka]

ご丁寧にご回答下さりありがとうございます。
スクレイピングの現状なども教えていただきありがとうございます。
スクレイピングの対策をされているようなサイトから強引に情報を収集するというようなことを
したくありませんので、今回は諦めたいと思います。

[AkitoshiManabe]

技術的視点で PhantomJS への着眼は良いと思ったのですが、利用規約が明示されていないサイトでしたので、ちょっと怖い。そうした考えで、否定的な回答とさせていただきました。