質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.12%
Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

解決済

GASでログインが必要なシステムのスクレイピングがしたい

AMI
AMI

総合スコア1

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

1回答

0グッド

0クリップ

703閲覧

投稿2022/11/18 02:13

前提

GASで職場の就業管理システムをスクレイピングし、
システムに入力されている出勤時間/退勤時間を
スプレッドシートに転記するスクリプトを作成したいと思っています。
※スクレイピングの許可は得ています

Google Chromeのデベロッパーツールで就業管理システムの
ログイン処理を検証した結果、PayloadのForm Dataには以下3項目が格納されます。

  •  userName: "ログイン画面で入力した名前"
  •  password: "ログイン画面で入力したパスワード"
  •  _csrf: "ログインごとに異なる文字列(ランダムに生成されていると思われます)"

ログイン時に「_csrf」のようなランダムな文字列が生成されるシステムでは、
「UrlFetchApp.fetch」の「post options」をどのように指定すればよいでしょうか。

このようなシステムのスクレイピングは難しい、という内容でもかまいませんので
ご回答いただけますと助かります。

現状、下記のソースコードで「UrlFetchApp.fetch」の部分でエラーが発生しております。

実現したいこと

「UrlFetchApp.fetch」を動作するようにする

発生している問題・エラーメッセージ

Exception: DNS error: "職場の就業管理システムのログイン画面のURL" main @ コード.gs:18

該当のソースコード

GAS

1function main() { 2 //ログイン処理 3 const Login_url = "職場の就業管理システムのログイン画面のURL"; 4 5 let login_payload = { 6 "userName":"ログイン画面で入力する名前", 7 "password":"ログイン画面で入力するパスワード", 8 // 「_csrf」に対する処理がわからない 9 } 10 11 let post_options = { 12 method: "post", 13 payload: login_payload, 14 followRedirects: false 15 }; 16 var response = UrlFetchApp.fetch(Login_url, post_options); 17 Logger.log(response); 18}

以下のような質問にはグッドを送りましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

グッドが多くついた質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

回答1

1

ベストアンサー

_csrfは、Web ブラウザでアクセスする場合、どのように受け取っているのでしょうか。

GAS で、Webブラウザと同じようにアクセスして、受け取った _csrf の値をスクレイピングして送信データに設定します。


また、Exception: DNS error: "職場の就業管理システムのログイン画面のURL" のエラーになっているのが原因と思いますが、職場の就業管理システムは、社外のGoogle のサーバーからインターネット経由でアクセスできるシステムでしょうか?

投稿2022/11/18 03:15

編集2022/11/18 03:19
CHERRY

総合スコア24689

AMI❤️を押しています

良いと思った回答にはグッドを送りましょう。
グッドが多くついた回答ほどページの上位に表示されるので、他の人が素晴らしい回答を見つけやすくなります。

下記のような回答は推奨されていません。

  • 間違っている回答
  • 質問の回答になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

このような回答には修正を依頼しましょう。

回答へのコメント

AMI

2022/11/18 03:44

> CHERRY様 ご回答ありがとうございます。大変参考になります。 _csfrの受け取り方ですが、デベロッパーツールのどの項目を見ればわかりますでしょうか。 そもそものエラーの根本的な原因の認識が間違っていたかもしれません。 コメントいただきました通り、職場の就業管理システムは、 社外のGoogle のサーバーからインターネット経由でアクセスできません。 GASで別のサーバーなどを経由するような仕組みは構築可能でしょうか。
CHERRY

2022/11/18 04:47

> GASで別のサーバーなどを経由するような仕組みは構築可能でしょうか。 職場の就業管理システムをインターネットからアクセスできるように公開する以外の方法で、GAS によるアクセスは無理と思います。 別解としては、社内のPC に Python や Node.js 等の実行環境を構築して、社内システムのスクレイピングした集計結果を Google スプレッドシートに登録するような処理を Python や Node.js で書くほうが簡単かもしれません。
AMI

2022/11/18 05:47

大変ご丁寧にありがとうございました。Pythonによる仕組み構築に発想を切り替えてみます。

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.12%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。