GASで動的サイトのwebスクレイピング

実現したいこと

https://teideninfo.tepco.co.jp/day/teiden/index-j.html
東電の停電情報から前日（2024年5月28日）の停電情報を取得したい。

発生している問題・分からないこと

メイン関数を実行すると本日(2024年5月29日）の停電情報しか取得できない。

GASで不可能な場合、可能な方法がありましたら教えていただけますと幸いです。

該当のソースコード

GAS(main)
1function main() {
2  let html=phantomJSCloud('https://teideninfo.tepco.co.jp/day/teiden/index-j.html');
3  console.log(html);
4}

GAS(phantomJSCloud)
1function phantomJSCloud(URL) {
2
3  let key = "phantomJSCloudで取得したAPIキー";
4
5  //HTTPSレスポンスのオプション項目を設定する
6  let option =
7    {
8      url:URL,
9      renderType:"HTML",
10      outputAsJson:true
11    };
12
13  //オプション項目をJSONにしてエンコードする
14  let payload = JSON.stringify(option);
15  payload = encodeURIComponent(payload);
16
17  //PhantomJsCloudのAPIリクエストを行うためのURLを設定
18  let apiUrl = "https://phantomjscloud.com/api/browser/v2/"+ key +"/?request=" + payload;
19  // console.log(apiUrl);
20  let response = UrlFetchApp.fetch(apiUrl);
21  // console.log(response);
22  let json = JSON.parse(response.getContentText());
23  // console.log(json);
24  let source = json["content"]["data"];
25  return source;
26}

試したこと・調べたこと

teratailやGoogle等で検索した
ソースコードを自分なりに変更した
知人に聞いた
その他

上記の詳細・結果

https://boook24.com/?p=1462
PhantomJsCloud GASで動的ページをスクレイピングを参考にした。

補足

特になし

poto568

2024/05/29 06:11

https://www.tepco.co.jp/legal/ 利用規約に違反する使い方ではないことを質問文に明記すると回答がつきやすくなるかもしれません。 GASとか動的ページとかはよくわかりませんが、とりあえずデータが欲しいだけならxmlで取れるみたいです。 (htmlでの出力時にいろいろ丸めてあるみたいなので若干表記が異なりますが。) https://teideninfo.tepco.co.jp/day/teiden/day001-j.xml (質問で提示されたページのソースに書いてあります。)