質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
Cookie

HTTPにおけるCookieとは、クライアントのウェブブラウザ上に保存された一時的なデータを指します。クライアント側のJavaScriptでも、サーバー側のHTTPヘッダーでもクッキーの読み書き・修正・削除が可能です。

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

受付中

サイト側が特定のユーザーエージェントなどで与えるCooikeを変更する

492610
492610

総合スコア4

Cookie

HTTPにおけるCookieとは、クライアントのウェブブラウザ上に保存された一時的なデータを指します。クライアント側のJavaScriptでも、サーバー側のHTTPヘッダーでもクッキーの読み書き・修正・削除が可能です。

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。

0回答

0評価

1クリップ

206閲覧

投稿2022/05/20 09:39

編集2022/05/23 00:33

Google App Scriptを使ってあるサイトにログインしデータを取得しようと思っています。
ログイン自体は出来たようなのですが、その後のページ遷移の為に必要だと思われるCookieが取得できず困っています。
私の記述が間違っているのであればまだいいのですが、
サイト側が特定のユーザーエージェントなどで与えるCooikeを変更していた場合、徒労に終わってしまいます。

恐らく可能かとは思います、が実際にこのようなケースを経験されたとこはありますでしょうか。
或いは私の記述に誤りがある可能性が高いでしょうか。

一応、Chromeのデベロッパーツールを使い、ユーザーエージェントをGASの
「Mozilla/5.0 (compatible; Google-Apps-Script)」
に変更してみましたところ問題なくログイン出来てしまいました。

実際の処理としては
同じくデベロッパーツールで確認したところ、

  • POST用ログインページ GET 302 →ログインページへ
  • ログインページ GET 200
  • (ログインページに入力しボタンクリック)
  • (POSTのペイロード:ID、パスワード、ログインページ下部にjsで生成されたcsrf対策トークン)
  • POST用ログインページ POST 302 →ユーザー画面へ ←ここのCookieがGASとクライアントで異なる
  • ユーザー画面 GET 200

という感じでした。

なのでGASでは

var response = UrlFetchApp.fetch('ログインページ'); var csrfToken = Parser.from().to().build();//token抜き出し var cookie = response.getAllHeaders()["Set-Cookie"]; var header = { "Cookie": cookies[0], }; var login_payload = { "mailAddress": "ID", "password": "パスワード", "csrfToken": csrfToken[0] } var post_options = { method: "post", payload: login_payload, headers: header, muteHttpExceptions : true, followRedirects: false, }; //POST response = UrlFetchApp.fetch('POST用ログインページ',post_options); header = { "Cookie": cookies[0], //**←ここのCookieがGASとクライアントで異なる** };

という風なコードを書いてみましたが中身が異なりその後のセッションの継続が出来ない状態です。

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Cookie

HTTPにおけるCookieとは、クライアントのウェブブラウザ上に保存された一時的なデータを指します。クライアント側のJavaScriptでも、サーバー側のHTTPヘッダーでもクッキーの読み書き・修正・削除が可能です。

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

JavaScript

JavaScriptは、プログラミング言語のひとつです。ネットスケープコミュニケーションズで開発されました。 開発当初はLiveScriptと呼ばれていましたが、業務提携していたサン・マイクロシステムズが開発したJavaが脚光を浴びていたことから、JavaScriptと改名されました。 動きのあるWebページを作ることを目的に開発されたもので、主要なWebブラウザのほとんどに搭載されています。