GASでのログインが必要な動的ページのスクレイピング

Question

実現したいこと

電力会社の使用状況照会ページから自動でスクレイピングを行い、
Googleスプレッドシートにデータを転記したいと考えています。

発生している問題・分からないこと

ログインは突破できたものの取得したcontentにデータが含まれず、
また、ブラウザでは同URLでグラフと一覧表示の切り替えができることから
動的サイトかと思われます。

そのためPhantomJsCloud経由でスクレイピングをしようとしていますが、
エラーが発生してしまいデータを取得できません。
解決策をご教示いただけないでしょうか？

以下エラー内容

Exception: Limit Exceeded: URLFetch URL Length.
login @ 自動取得.gs:138

該当のソースコード

class CookieUtil {
  /*  
  Cookieデータから指定されたキーに対応する値を取得する
  @param {string} cookies Cookieデータ（"name=value;...")
  @param {string} key 取得したいCookieのキー
  @return {string} 指定されたキーに対応する値。見つからない場合は代替メッセージを返す。
  */
  static getValue(cookies, key) {

    // Cookieデータをセミコロンで分割し、各Cookieのキーと値のペアを取得する
    const cookiesArray = cookies.split('; ');

    // 各Cookieのキーと値のペアに対してループを行う
    for (const c of cookiesArray) {
      // キーと値のペアをイコールで分割する
      const cArray = c.split('=');

      // キーが指定されたキーと一致する場合、対応する値を返す
      if (cArray[0] == key) {
        return cArray[1];
      }
    }

    // 指定されたキーに対応する値が見つからない場合、代替メッセージを返す
    return "値が見つかりませんでした";
  }
}


function login() {

  // ログインページを開く(GET)
  const loginURL = 'https://www.e-site.kyuden.co.jp/oksite/'

  // リクエスト送信
  let response = UrlFetchApp.fetch(loginURL)

  // レスポンスヘッダーからCookieを取得
  let cookies = response.getAllHeaders()["Set-Cookie"];
  cookies = cookies + "";

  Logger.log('取得したクッキー：\n' + cookies)

  /* cookies = [];
 
   if (typeof cookies["Set-Cookie"] !== 'undefined') {
     // Set-Cookieヘッダーが2つ以上の場合はcookies['Set-Cookie']の中身は配列
     cookies = typeof cookies["Set-Cookie"] == 'string' ? [cookies['Set-Cookie']] : cookies['Set-Cookie'];
     for (var i = 0; i < cookies.length; i++) {
       // Set-Cookieヘッダーからname=valueだけ取り出し、セミコロン以降の属性は除外する
       cookies[i] = cookies[i].split(';')[0];
     };
   }
   cookie = cookies.replace("JSESSIONID=", "");
   */

  // CookieからJSESSIONIDとBIGipServerEigyoKodai_PooLを取得
  let cookie_JSESSIONID = CookieUtil.getValue(cookies, 'JSESSIONID')
  let cookie_BSEKP = CookieUtil.getValue(cookies, 'HttpOnly,BIGipServerEigyoKodai_PooL')

  Logger.log('クッキー JSESSIONIDの値：\n' + cookie_JSESSIONID);
  Logger.log('クッキー BIGipServerEigyoKodai_PooLの値：\n' + cookie_BSEKP);

  // コンテンツ(ログインページのHTML)を取得
  let content = response.getContentText("UTF-8")

  // Cheerioライブラリを使用し、ログインページのHTML情報からtokenを取得
  let $ = Cheerio.load(content)

  // 以下のパラメータはログインフォーム内に記載されているため取得
  const attention = $('[name="attention"]').val()
  const title = $('[name="title"]').val()
  const desc = $('[name="desc"]').val()

  // ログインフォーム送信(POST)
  // リクエストヘッダー(cookieとuser-agent)
  let headers = {
    'cookie': 'JSESSIONID=' + cookie_JSESSIONID + '; ' + 'BIGipServerEigyoKodai_PooL=' + cookie_BSEKP,
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36'
  }

  // リクエストデータ(token＋ログイン情報)
  let payload = {
    'loginId': 'loginId',
    'password': 'password',
    'attention': attention,
    'title': title,
    'desc': desc
  }

  // ヘッダー・リクエストデータをセット
  let options = {
    'method': 'post', // POSTメソッド
    'headers': headers,
    'payload': payload,
    'followRedirects': true // リダイレクト処理を抑止しておく
  };

  // リクエスト送信
  response = UrlFetchApp.fetch('https://www.e-site.kyuden.co.jp/oksite/login/EPHW0010', options)
  content = response.getContentText("UTF-8")

  // 結果の確認
  Logger.log("初回のアクセス：" + response.getResponseCode())
  //Logger.log(content)

  // データを取得したいページのURL
  let targetURL = "https://www.e-site.kyuden.co.jp/oksite/login/EPHW0310"

  // 先ほどと同じoptionsを使用しURLからデータを取得
  response = UrlFetchApp.fetch(targetURL, options)
  content = response.getContentText("UTF-8")

  Logger.log("目的ページへのアクセス：" + response.getResponseCode())

  $ = Cheerio.load(content);

  // trの中身が取れているかを確認
  if ($('tbody tr').length > 0) {
    // 要素が取れている：成功
    console.log("取得：" + '成功')
  } else {
    // 要素が取れていない:失敗
    console.log("取得：" + '失敗')
  }

  //スクリプトプロパティからPhantomJsCloudのAPIキーを取得する
  let key = PropertiesService.getScriptProperties().getProperty('PHANTOMJSCLOUD_ID');

  //オプション項目をJSONにしてペイロードとして定義し、エンコードする
  payload = JSON.stringify(options);
  let payload2 = encodeURIComponent(payload);

  //PhantomJsCloudのAPIリクエストを行うためのURLを設定
  let apiUrl = "https://phantomjscloud.com/api/browser/v2/" + key + "/?request=" + payload2;

  //設定したAPIリクエスト用URLにフェッチして、情報を取得する。
  response = UrlFetchApp.fetch(apiUrl);

  //取得したjsonデータを配列データとして格納
  let json = JSON.parse(response.getContentText());

  //APIから取得したデータからJSから生成されたソースコードを取得
  let source = json["content"]["data"];
  return source;
}

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

エラーを検索したところ

引用テキスト回避策としてHTTP/GETではなく、HTTP/POSTに切り替える

とのことでしたが、optionsのmethodは既にpostなので対応に行き詰まっています。

補足

特になし

Comments

[poto568]

> Limit Exceeded: URLFetch URL Length.

と言われているので、135行目で作った apiUrl の中身を
表示してみると問題の切り分けになるかもしれません。