質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.47%
Google スプレッドシート

Google スプレッドシートは、フリーで利用できる表計算ソフト。Webアプリのためインターネットに接続することで利用できます。チャートやグラフの作成のほか、シートを他のユーザーと共有したり、同時に作業を進めることも可能です。

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

Q&A

解決済

1回答

1170閲覧

Webスクレイピング時に取得した情報がnullになる

Risney

総合スコア148

Google スプレッドシート

Google スプレッドシートは、フリーで利用できる表計算ソフト。Webアプリのためインターネットに接続することで利用できます。チャートやグラフの作成のほか、シートを他のユーザーと共有したり、同時に作業を進めることも可能です。

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

0グッド

1クリップ

投稿2022/07/13 08:07

編集2022/07/18 16:15

前提

Pythonではなく、
GASを使用してログインが必要なWebページのスクレイピングして、
取得した文字列をGoogleスプレッドシートに出力したいです。

実現したいこと

ログイン後のページのhtml内の要素の取得

eBayアカウントページの
右セクションShipping details内のcustomer nameを取得したいです。
イメージ説明

発生している問題・エラーメッセージ

HTMLの取得でつまずきました。
ログの情報がnullと表示されます。
イメージ説明

該当のソースコード

まずは「Shipping details」全体を抜き出そうとしてみました。

javascript

1function gas_login(){ 2 var login_url = "https://www.ebay.com/signin/s"; 3 4 //ログイン情報(PayLoadデータ) 5 var payload_data = { 6 login_id: "sampleAddress@gmail.com", 7 password: "samplePass" 8 }; 9 10 //POSTデータ(POSTオプション) 11 var post_option = { 12 method: "post", 13 payload: payload_data, 14 followRedirects: false 15 }; 16 17 //レスポンス(POSTリクエスト) 18 var response = UrlFetchApp.fetch(login_url, post_option); 19 20 //レスポンスのヘッダーからcookieを取得 21 var cookies = response.getHeaders()["Set-Cookie"]; 22 23 // ログインで認証されたcookieはヘッダーで使用 24 var headers = { Cookie: cookies }; 25 var get_option = { 26 method: "get", 27 headers: headers, 28 followRedirects: true 29 }; 30 var scraping_url = "https://www.ebay.com/sh/ord"; 31 32 response = UrlFetchApp.fetch(scraping_url, get_option); 33 var content = response.getContentText("UTF-8"); 34 35 var regText = /<div class="shipping-details">()<\/div>/; 36 var html = content.match(regText); 37 38 Logger.log(html); 39}

試したこと

・ログインURLの確認
ログイン画面を開いている時のブラウザのバーに表示しているURLではなく、ログイン処理時にPOSTしているログインであることを確認しました。
イメージ説明

・取得するタグと文字列の変更
/<title>([\s\S]*?)<\/title>/;にしたところ、抜き出せたので、
検索の仕方が悪いということですよねきっと。。

もう少し自分でも調査してみます!

補足情報(FW/ツールのバージョンなど)

参考サイト:GASでログインしてスクレイピングする方法【コード付きで解説】

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

データの取得方法が悪いだけみたいなので、この質問はクローズします。

投稿2022/07/18 16:14

Risney

総合スコア148

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.47%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問