Node.jsでJavaScriptが必要なwebサイトのソースを取得する

Question

前提・実現したいこと

Node.jsでJavaScriptを有効にする必要のあるwebサイトのソースを取得する

該当のソースコード

//モジュール
const request = require("request");
const cheerio = require("cheerio");

var option = {
  url: url,
  method: "GET"
}
request(option, (error, response, body) => {
  const $ = cheerio.load(body);
  console.log($("html").html()); //実際にはブラウザ上でjavascriptを有効した際に出力される要素を取得
}

試したこと

requestのみ。

補足情報（FW/ツールのバージョンなど）

Node.js v12.14.0
request 2.88.2
cheerio 1.0.0-rc.3

Answer 1

JavaScriptを有効にする必要のあるwebサイトのソースを取得する

多くのJavaScriptでダイナミックにデータをレンダリングしているサイトは
裏でAjax通信を行って情報の核となるデータを直接ロードして居ることが多いです。

デベロッパーツールのネットワークタブを開き、XHRで監視してみては？

またHTMLはWebマスターのデザインの都合でコロコロ変わるので、
JSONで得られる方が圧倒的に楽だったりします。

そのサイトがどういう構造なのかを分析する必要があるので、
それ以上の事はアドバイス出来ません。

Comments

[LUCKY5296]

ご丁寧な回答をありがとうございます。
デベロッパーツールより確認したら、求めていたデータがJSON形式で送信されていました。
ありがとうございました。