質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.12%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google スプレッドシート

Google スプレッドシートは、フリーで利用できる表計算ソフト。Webアプリのためインターネットに接続することで利用できます。チャートやグラフの作成のほか、シートを他のユーザーと共有したり、同時に作業を進めることも可能です。

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

解決済

PhantomJsCloudのHTMLを取得するところで「Exception: Invalid argument」エラー

Risney
Risney

総合スコア142

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google スプレッドシート

Google スプレッドシートは、フリーで利用できる表計算ソフト。Webアプリのためインターネットに接続することで利用できます。チャートやグラフの作成のほか、シートを他のユーザーと共有したり、同時に作業を進めることも可能です。

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

1回答

0リアクション

0クリップ

366閲覧

投稿2022/09/14 10:03

実現したいこと

PhantomJsCloudで動的なWebページをスクレイピングする

発生している問題・エラーメッセージ

error

Exception: Invalid argument: http://<!DOCTYPE%20html><html%20lang="en"%20class="font-marketsans"><head><link%20rel="dns-prefetch"%20href="//ir.ebaystatic.com"><link%20rel="dns-prefetch"%20href="//secureir.ebaystatic.com"><link%20rel="dns-prefetch"%20href="//i.ebayimg.com"><link%20rel="dns-prefetch"%20href="//rover.ebay.com"> ~~ 中略 ~~ gas_login @ コード.gs:81

↓和訳
例外が発生しました。無効な引数

該当のソースコード

javascript

function gas_login(){ /* ------------------------ シート基本情報 ------------------------ */ // アラートを表示するためにUIを取得 const ui = SpreadsheetApp.getUi(); // スプレッドシート&シートオブジェクトを取得 const ss = SpreadsheetApp.getActiveSpreadsheet();  // シート名を指定 const sheet = ss.getSheetByName('シート1'); /* ------------------------「B列のハイパーリンク(URL)」を取得 ------------------------ */ // B列の最終入力行を取得 var lastRow = sheet.getRange(sheet.getMaxRows(), 2).getNextDataCell(SpreadsheetApp.Direction.UP).getRow(); // B列の入力範囲を取得(6行B列から何行目まで取得するか) var range = sheet.getRange(6,2,lastRow); // リッチテキストを取得する var data = range.getRichTextValues(); // 取得したURLを格納する二次元配列 var urlArray = []; for (var i = 0; i < lastRow; i++) { // B列にあるURLを取得 var url = data[i][0].getLinkUrl(); // pushメソッドでurlArray配列の末に取得したハイパーリンクを追加していく urlArray.push([url]); } /* ------------------------ eBayにログイン ------------------------ */ //ログインURL var login_url = "https://www.ebay.com/signin/s"; //ログイン情報(PayLoadデータ) var payload_data = { login_id: "sample@gmail.com", password: "samplePW" }; //POSTデータ(POSTオプション) var post_option = { method: "post", payload: payload_data, followRedirects: false }; //レスポンス(POSTリクエスト) var response = UrlFetchApp.fetch(login_url, post_option); //レスポンスのヘッダーからcookieを取得 var cookies = response.getHeaders()["Set-Cookie"]; // ログインで認証されたcookieはヘッダーで使用 var headers = { Cookie: cookies }; var get_option = { method: "get", headers: headers, followRedirects: true }; var url_test = "https://www.ebay.com/sample"; //PhantomJsCloud用の独自関数で動的なWebページのHTMLデータを取得する let html = phantomJSCloudScraping(url_test); response = UrlFetchApp.fetch(html, get_option);      ←ここでエラーになります。 var content = response.getContentText("UTF-8"); } function phantomJSCloudScraping(URL) { //スクリプトプロパティからPhantomJsCloudのAPIキーを取得する let key = PropertiesService.getScriptProperties().getProperty('APIKEY'); //HTTPSレスポンスに設定するペイロードのオプション項目を設定する let option = { url: URL, renderType: "HTML", outputAsJson: true }; //オプション項目をJSONにしてペイロードとして定義し、エンコードする let payload = encodeURIComponent(JSON.stringify(option)); //PhantomJsCloudのAPIリクエストを行うためのURLを設定 let apiUrl = "https://phantomjscloud.com/api/browser/v2/" + key + "/?request=" + payload; //設定したAPIリクエスト用URLにフェッチして、情報を取得する。 let response = UrlFetchApp.fetch(apiUrl); //取得したjsonデータを配列データとして格納 let json = JSON.parse(response.getContentText()); //APIから取得したデータからJSから生成されたソースコードを取得 let source = json["content"]["data"]; return source; }

試したこと①デモAPIキー

APIKEY_DEMOのKEYでデモのAPIキーを入力してみたところ、
以下のエラーがでました。

error

Exception: Request failed for https://phantomjscloud.com returned code 400. Truncated server response: {"name":"HttpStatusCodeException","message":"Invalid URL innerException: The \"url\" argument must be of type string. Received an instance of Arr... (use muteHttpExceptions option to examine full response)

↓和訳
例外が発生しました。リクエストに失敗しました。https://phantomjscloud.com コード 400 が返されました。サーバーの応答は切り捨てられています。{"name": "HttpStatusCodeException", "message": "Invalid URL innerException. "無効なURLです。引数 "url "は文字列型でなければなりません。Arr...のインスタンスを受信しました。
イメージ説明

補足情報(FW/ツールのバージョンなど)

ログイン時のTokenと勘違いしているわけではないことを確認済みです。
イメージ説明

以下のような質問にはリアクションをつけましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

リアクションが多い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

2022/09/14 11:55

こちらの質問が他のユーザーから「過去に投稿した質問と同じ内容の質問」という指摘を受けました。

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.12%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google スプレッドシート

Google スプレッドシートは、フリーで利用できる表計算ソフト。Webアプリのためインターネットに接続することで利用できます。チャートやグラフの作成のほか、シートを他のユーザーと共有したり、同時に作業を進めることも可能です。

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。