質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.44%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google スプレッドシート

Google スプレッドシートは、フリーで利用できる表計算ソフト。Webアプリのためインターネットに接続することで利用できます。チャートやグラフの作成のほか、シートを他のユーザーと共有したり、同時に作業を進めることも可能です。

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

Q&A

解決済

1回答

1930閲覧

PhantomJsCloudのHTMLを取得するところで「Exception: Invalid argument」エラー

Risney

総合スコア148

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google スプレッドシート

Google スプレッドシートは、フリーで利用できる表計算ソフト。Webアプリのためインターネットに接続することで利用できます。チャートやグラフの作成のほか、シートを他のユーザーと共有したり、同時に作業を進めることも可能です。

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

0グッド

0クリップ

投稿2022/09/14 10:03

実現したいこと

PhantomJsCloudで動的なWebページをスクレイピングする

発生している問題・エラーメッセージ

error

1Exception: Invalid argument: http://<!DOCTYPE%20html><html%20lang="en"%20class="font-marketsans"><head><link%20rel="dns-prefetch"%20href="//ir.ebaystatic.com"><link%20rel="dns-prefetch"%20href="//secureir.ebaystatic.com"><link%20rel="dns-prefetch"%20href="//i.ebayimg.com"><link%20rel="dns-prefetch"%20href="//rover.ebay.com"> 2 3~~ 中略 ~~ 4 5gas_login @ コード.gs:81

↓和訳
例外が発生しました。無効な引数

該当のソースコード

javascript

1function gas_login(){ 2 3 /* ------------------------ シート基本情報 ------------------------ */ 4 // アラートを表示するためにUIを取得 5 const ui = SpreadsheetApp.getUi(); 6 // スプレッドシート&シートオブジェクトを取得 7 const ss = SpreadsheetApp.getActiveSpreadsheet(); 8 // シート名を指定 9 const sheet = ss.getSheetByName('シート1'); 10 11 /* ------------------------「B列のハイパーリンク(URL)」を取得 ------------------------ */ 12 // B列の最終入力行を取得 13 var lastRow = sheet.getRange(sheet.getMaxRows(), 2).getNextDataCell(SpreadsheetApp.Direction.UP).getRow(); 14 // B列の入力範囲を取得(6行B列から何行目まで取得するか) 15 var range = sheet.getRange(6,2,lastRow); 16 // リッチテキストを取得する 17 var data = range.getRichTextValues(); 18 19 // 取得したURLを格納する二次元配列 20 var urlArray = []; 21 for (var i = 0; i < lastRow; i++) { 22 // B列にあるURLを取得 23 var url = data[i][0].getLinkUrl(); 24 // pushメソッドでurlArray配列の末に取得したハイパーリンクを追加していく 25 urlArray.push([url]); 26 } 27 28 /* ------------------------ eBayにログイン ------------------------ */ 29 //ログインURL 30 var login_url = "https://www.ebay.com/signin/s"; 31 32 //ログイン情報(PayLoadデータ) 33 var payload_data = { 34 login_id: "sample@gmail.com", 35 password: "samplePW" 36 }; 37 38 //POSTデータ(POSTオプション) 39 var post_option = { 40 method: "post", 41 payload: payload_data, 42 followRedirects: false 43 }; 44 45 //レスポンス(POSTリクエスト) 46 var response = UrlFetchApp.fetch(login_url, post_option); 47 48 //レスポンスのヘッダーからcookieを取得 49 var cookies = response.getHeaders()["Set-Cookie"]; 50 51 // ログインで認証されたcookieはヘッダーで使用 52 var headers = { Cookie: cookies }; 53 var get_option = { 54 method: "get", 55 headers: headers, 56 followRedirects: true 57 }; 58 var url_test = "https://www.ebay.com/sample"; 59 60 //PhantomJsCloud用の独自関数で動的なWebページのHTMLデータを取得する 61 let html = phantomJSCloudScraping(url_test); 62 63 response = UrlFetchApp.fetch(html, get_option);      ←ここでエラーになります。 64 var content = response.getContentText("UTF-8"); 65} 66 67function phantomJSCloudScraping(URL) { 68 //スクリプトプロパティからPhantomJsCloudのAPIキーを取得する 69 let key = PropertiesService.getScriptProperties().getProperty('APIKEY'); 70 //HTTPSレスポンスに設定するペイロードのオプション項目を設定する 71 let option = 72 { 73 url: URL, 74 renderType: "HTML", 75 outputAsJson: true 76 }; 77 //オプション項目をJSONにしてペイロードとして定義し、エンコードする 78 let payload = encodeURIComponent(JSON.stringify(option)); 79 //PhantomJsCloudのAPIリクエストを行うためのURLを設定 80 let apiUrl = "https://phantomjscloud.com/api/browser/v2/" + key + "/?request=" + payload; 81 //設定したAPIリクエスト用URLにフェッチして、情報を取得する。 82 let response = UrlFetchApp.fetch(apiUrl); 83 //取得したjsonデータを配列データとして格納 84 let json = JSON.parse(response.getContentText()); 85 //APIから取得したデータからJSから生成されたソースコードを取得 86 let source = json["content"]["data"]; 87 return source; 88}

試したこと①デモAPIキー

APIKEY_DEMOのKEYでデモのAPIキーを入力してみたところ、
以下のエラーがでました。

error

1Exception: Request failed for https://phantomjscloud.com returned code 400. Truncated server response: {"name":"HttpStatusCodeException","message":"Invalid URL innerException: The \"url\" argument must be of type string. Received an instance of Arr... (use muteHttpExceptions option to examine full response)

↓和訳
例外が発生しました。リクエストに失敗しました。https://phantomjscloud.com コード 400 が返されました。サーバーの応答は切り捨てられています。{"name": "HttpStatusCodeException", "message": "Invalid URL innerException. "無効なURLです。引数 "url "は文字列型でなければなりません。Arr...のインスタンスを受信しました。
イメージ説明

補足情報(FW/ツールのバージョンなど)

ログイン時のTokenと勘違いしているわけではないことを確認済みです。
イメージ説明

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

//PhantomJsCloud用の独自関数で動的なWebページのHTMLデータを取得する let html = phantomJSCloudScraping(url_test); response = UrlFetchApp.fetch(html, get_option);  

質問文記載の phantomJSCloudScraping() 関数の処理内容と合わせて考えると、本来UrlFetchApp.fetch()関数の第一引数には URL を指定するべきなのに、取得したwebページの内容をそのまま渡してしまっています。

取得したwebページに対して何らかのスクレイピング処理を行って、適切なURLを抽出し、その URL を指定するようにする必要があるのではないでしょうか。

投稿2022/09/16 15:20

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Risney

2022/09/17 03:44

qnoir様 早速のご回答ありがとうございます。 おっしゃる通り、引数が原因でした。 正常に処理はできるようになりましたが、 欲しい結果は取得できなかったので、 また別の質問を立てたいと思います。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.44%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問