PhantomJsCloudのHTMLを取得するところで「Exception: Invalid argument」エラー

実現したいこと

PhantomJsCloudで動的なWebページをスクレイピングする

発生している問題・エラーメッセージ

error
1Exception: Invalid argument: http://<!DOCTYPE%20html><html%20lang="en"%20class="font-marketsans"><head><link%20rel="dns-prefetch"%20href="//ir.ebaystatic.com"><link%20rel="dns-prefetch"%20href="//secureir.ebaystatic.com"><link%20rel="dns-prefetch"%20href="//i.ebayimg.com"><link%20rel="dns-prefetch"%20href="//rover.ebay.com">
2
3~~ 中略 ~~
4
5gas_login	@ コード.gs:81

↓和訳
例外が発生しました。無効な引数

該当のソースコード

javascript
1function gas_login(){
2  
3  /* ------------------------ シート基本情報 ------------------------ */
4  // アラートを表示するためにUIを取得
5  const ui = SpreadsheetApp.getUi();
6  // スプレッドシート＆シートオブジェクトを取得
7  const ss = SpreadsheetApp.getActiveSpreadsheet();
8　// シート名を指定
9  const sheet = ss.getSheetByName('シート1');
10
11  /* ------------------------「B列のハイパーリンク（URL）」を取得 ------------------------ */
12  // B列の最終入力行を取得
13  var lastRow = sheet.getRange(sheet.getMaxRows(), 2).getNextDataCell(SpreadsheetApp.Direction.UP).getRow();
14  // B列の入力範囲を取得(6行B列から何行目まで取得するか)
15  var range = sheet.getRange(6,2,lastRow);
16  // リッチテキストを取得する
17  var data = range.getRichTextValues();
18
19  // 取得したURLを格納する二次元配列
20  var urlArray = [];
21  for (var i = 0; i < lastRow; i++) {
22    // B列にあるURLを取得
23    var url = data[i][0].getLinkUrl(); 
24    // pushメソッドでurlArray配列の末に取得したハイパーリンクを追加していく
25    urlArray.push([url]);
26  }
27
28  /* ------------------------ eBayにログイン ------------------------ */
29  //ログインURL
30  var login_url = "https://www.ebay.com/signin/s";
31  
32  //ログイン情報(PayLoadデータ)
33  var payload_data = {
34    login_id: "sample@gmail.com",
35    password: "samplePW"
36  };
37  
38  //POSTデータ(POSTオプション)
39  var post_option = {
40    method: "post",
41    payload: payload_data,
42    followRedirects: false
43  };
44  
45  //レスポンス(POSTリクエスト)
46  var response = UrlFetchApp.fetch(login_url, post_option);
47  
48  //レスポンスのヘッダーからcookieを取得
49  var cookies = response.getHeaders()["Set-Cookie"];
50  
51  // ログインで認証されたcookieはヘッダーで使用
52  var headers = { Cookie: cookies }; 
53  var get_option = {
54    method: "get",
55    headers: headers,
56    followRedirects: true
57  };
58  var url_test = "https://www.ebay.com/sample";
59
60  //PhantomJsCloud用の独自関数で動的なWebページのHTMLデータを取得する
61  let html = phantomJSCloudScraping(url_test);
62
63  response = UrlFetchApp.fetch(html, get_option); 　　　　　←ここでエラーになります。
64  var content = response.getContentText("UTF-8");
65}
66
67function phantomJSCloudScraping(URL) {
68  //スクリプトプロパティからPhantomJsCloudのAPIキーを取得する
69  let key = PropertiesService.getScriptProperties().getProperty('APIKEY');
70  //HTTPSレスポンスに設定するペイロードのオプション項目を設定する
71  let option =
72  {
73    url: URL,
74    renderType: "HTML",
75    outputAsJson: true
76  };
77  //オプション項目をJSONにしてペイロードとして定義し、エンコードする
78  let payload = encodeURIComponent(JSON.stringify(option));
79  //PhantomJsCloudのAPIリクエストを行うためのURLを設定
80  let apiUrl = "https://phantomjscloud.com/api/browser/v2/" + key + "/?request=" + payload;
81  //設定したAPIリクエスト用URLにフェッチして、情報を取得する。
82  let response = UrlFetchApp.fetch(apiUrl);
83  //取得したjsonデータを配列データとして格納
84  let json = JSON.parse(response.getContentText());
85  //APIから取得したデータからJSから生成されたソースコードを取得
86  let source = json["content"]["data"];
87  return source;
88}

試したこと①デモAPIキー

APIKEY_DEMOのKEYでデモのAPIキーを入力してみたところ、
以下のエラーがでました。

error
1Exception: Request failed for https://phantomjscloud.com returned code 400. Truncated server response: {"name":"HttpStatusCodeException","message":"Invalid URL   innerException: The \"url\" argument must be of type string. Received an instance of Arr... (use muteHttpExceptions option to examine full response)

↓和訳
例外が発生しました。リクエストに失敗しました。https://phantomjscloud.com コード 400 が返されました。サーバーの応答は切り捨てられています。{"name": "HttpStatusCodeException", "message": "Invalid URL innerException. "無効なURLです。引数 "url "は文字列型でなければなりません。Arr...のインスタンスを受信しました。

補足情報（FW/ツールのバージョンなど）

ログイン時のTokenと勘違いしているわけではないことを確認済みです。

行動規範の内容に同意します

回答1件

ベストアンサー

  //PhantomJsCloud用の独自関数で動的なWebページのHTMLデータを取得する
  let html = phantomJSCloudScraping(url_test);

  response = UrlFetchApp.fetch(html, get_option);

質問文記載の phantomJSCloudScraping() 関数の処理内容と合わせて考えると、本来UrlFetchApp.fetch()関数の第一引数には URL を指定するべきなのに、取得したwebページの内容をそのまま渡してしまっています。

取得したwebページに対して何らかのスクレイピング処理を行って、適切なURLを抽出し、その URL を指定するようにする必要があるのではないでしょうか。

投稿2022/09/16 15:20

退会済みユーザー

総合スコア0

Risney

2022/09/17 03:44

qnoir様早速のご回答ありがとうございます。おっしゃる通り、引数が原因でした。正常に処理はできるようになりましたが、欲しい結果は取得できなかったので、また別の質問を立てたいと思います。

行動規範の内容に同意します

あなたの回答

tips

プレビュー

行動規範の内容に同意します

質問の解決につながる回答をしましょう。サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。また、読む側のことを考えた、分かりやすい文章を心がけましょう。

15分調べてもわからないことは
teratailで質問しよう！

ただいまの回答率
85.41%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう！