Q&A
実現したいこと
PhantomJsCloudで動的なWebページをスクレイピングする
発生している問題・エラーメッセージ
error
1Exception: Invalid argument: http://<!DOCTYPE%20html><html%20lang="en"%20class="font-marketsans"><head><link%20rel="dns-prefetch"%20href="//ir.ebaystatic.com"><link%20rel="dns-prefetch"%20href="//secureir.ebaystatic.com"><link%20rel="dns-prefetch"%20href="//i.ebayimg.com"><link%20rel="dns-prefetch"%20href="//rover.ebay.com"> 2 3~~ 中略 ~~ 4 5gas_login @ コード.gs:81
↓和訳
例外が発生しました。無効な引数
該当のソースコード
javascript
1function gas_login(){ 2 3 /* ------------------------ シート基本情報 ------------------------ */ 4 // アラートを表示するためにUIを取得 5 const ui = SpreadsheetApp.getUi(); 6 // スプレッドシート＆シートオブジェクトを取得 7 const ss = SpreadsheetApp.getActiveSpreadsheet(); 8 // シート名を指定 9 const sheet = ss.getSheetByName('シート1'); 10 11 /* ------------------------「B列のハイパーリンク（URL）」を取得 ------------------------ */ 12 // B列の最終入力行を取得 13 var lastRow = sheet.getRange(sheet.getMaxRows(), 2).getNextDataCell(SpreadsheetApp.Direction.UP).getRow(); 14 // B列の入力範囲を取得(6行B列から何行目まで取得するか) 15 var range = sheet.getRange(6,2,lastRow); 16 // リッチテキストを取得する 17 var data = range.getRichTextValues(); 18 19 // 取得したURLを格納する二次元配列 20 var urlArray = []; 21 for (var i = 0; i < lastRow; i++) { 22 // B列にあるURLを取得 23 var url = data[i][0].getLinkUrl(); 24 // pushメソッドでurlArray配列の末に取得したハイパーリンクを追加していく 25 urlArray.push([url]); 26 } 27 28 /* ------------------------ eBayにログイン ------------------------ */ 29 //ログインURL 30 var login_url = "https://www.ebay.com/signin/s"; 31 32 //ログイン情報(PayLoadデータ) 33 var payload_data = { 34 login_id: "sample@gmail.com", 35 password: "samplePW" 36 }; 37 38 //POSTデータ(POSTオプション) 39 var post_option = { 40 method: "post", 41 payload: payload_data, 42 followRedirects: false 43 }; 44 45 //レスポンス(POSTリクエスト) 46 var response = UrlFetchApp.fetch(login_url, post_option); 47 48 //レスポンスのヘッダーからcookieを取得 49 var cookies = response.getHeaders()["Set-Cookie"]; 50 51 // ログインで認証されたcookieはヘッダーで使用 52 var headers = { Cookie: cookies }; 53 var get_option = { 54 method: "get", 55 headers: headers, 56 followRedirects: true 57 }; 58 var url_test = "https://www.ebay.com/sample"; 59 60 //PhantomJsCloud用の独自関数で動的なWebページのHTMLデータを取得する 61 let html = phantomJSCloudScraping(url_test); 62 63 response = UrlFetchApp.fetch(html, get_option); ←ここでエラーになります。 64 var content = response.getContentText("UTF-8"); 65} 66 67function phantomJSCloudScraping(URL) { 68 //スクリプトプロパティからPhantomJsCloudのAPIキーを取得する 69 let key = PropertiesService.getScriptProperties().getProperty('APIKEY'); 70 //HTTPSレスポンスに設定するペイロードのオプション項目を設定する 71 let option = 72 { 73 url: URL, 74 renderType: "HTML", 75 outputAsJson: true 76 }; 77 //オプション項目をJSONにしてペイロードとして定義し、エンコードする 78 let payload = encodeURIComponent(JSON.stringify(option)); 79 //PhantomJsCloudのAPIリクエストを行うためのURLを設定 80 let apiUrl = "https://phantomjscloud.com/api/browser/v2/" + key + "/?request=" + payload; 81 //設定したAPIリクエスト用URLにフェッチして、情報を取得する。 82 let response = UrlFetchApp.fetch(apiUrl); 83 //取得したjsonデータを配列データとして格納 84 let json = JSON.parse(response.getContentText()); 85 //APIから取得したデータからJSから生成されたソースコードを取得 86 let source = json["content"]["data"]; 87 return source; 88}
試したこと①デモAPIキー
APIKEY_DEMOのKEYでデモのAPIキーを入力してみたところ、
以下のエラーがでました。
error
1Exception: Request failed for https://phantomjscloud.com returned code 400. Truncated server response: {"name":"HttpStatusCodeException","message":"Invalid URL innerException: The \"url\" argument must be of type string. Received an instance of Arr... (use muteHttpExceptions option to examine full response)
↓和訳
例外が発生しました。リクエストに失敗しました。https://phantomjscloud.com コード 400 が返されました。サーバーの応答は切り捨てられています。{"name": "HttpStatusCodeException", "message": "Invalid URL innerException. "無効なURLです。引数 "url "は文字列型でなければなりません。Arr...のインスタンスを受信しました。
補足情報（FW/ツールのバージョンなど）
ログイン時のTokenと勘違いしているわけではないことを確認済みです。
回答1件
0
ベストアンサー
//PhantomJsCloud用の独自関数で動的なWebページのHTMLデータを取得する let html = phantomJSCloudScraping(url_test); response = UrlFetchApp.fetch(html, get_option);
質問文記載の phantomJSCloudScraping() 関数の処理内容と合わせて考えると、本来UrlFetchApp.fetch()関数の第一引数には URL を指定するべきなのに、取得したwebページの内容をそのまま渡してしまっています。
取得したwebページに対して何らかのスクレイピング処理を行って、適切なURLを抽出し、その URL を指定するようにする必要があるのではないでしょうか。
投稿2022/09/16 15:20
退会済みユーザー
総合スコア0
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2022/09/17 03:44