質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.53%
Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

Q&A

解決済

1回答

3145閲覧

GASでログインが必要なシステムのスクレイピングがしたい

AMI

総合スコア2

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

0グッド

0クリップ

投稿2022/11/18 02:13

前提

GASで職場の就業管理システムをスクレイピングし、
システムに入力されている出勤時間/退勤時間を
スプレッドシートに転記するスクリプトを作成したいと思っています。
※スクレイピングの許可は得ています

Google Chromeのデベロッパーツールで就業管理システムの
ログイン処理を検証した結果、PayloadのForm Dataには以下3項目が格納されます。

  •  userName: "ログイン画面で入力した名前"
  •  password: "ログイン画面で入力したパスワード"
  •  _csrf: "ログインごとに異なる文字列(ランダムに生成されていると思われます)"

ログイン時に「_csrf」のようなランダムな文字列が生成されるシステムでは、
「UrlFetchApp.fetch」の「post options」をどのように指定すればよいでしょうか。

このようなシステムのスクレイピングは難しい、という内容でもかまいませんので
ご回答いただけますと助かります。

現状、下記のソースコードで「UrlFetchApp.fetch」の部分でエラーが発生しております。

実現したいこと

「UrlFetchApp.fetch」を動作するようにする

発生している問題・エラーメッセージ

Exception: DNS error: "職場の就業管理システムのログイン画面のURL" main @ コード.gs:18

該当のソースコード

GAS

1function main() { 2 //ログイン処理 3 const Login_url = "職場の就業管理システムのログイン画面のURL"; 4 5 let login_payload = { 6 "userName":"ログイン画面で入力する名前", 7 "password":"ログイン画面で入力するパスワード", 8 // 「_csrf」に対する処理がわからない 9 } 10 11 let post_options = { 12 method: "post", 13 payload: login_payload, 14 followRedirects: false 15 }; 16 var response = UrlFetchApp.fetch(Login_url, post_options); 17 Logger.log(response); 18}

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

_csrfは、Web ブラウザでアクセスする場合、どのように受け取っているのでしょうか。

GAS で、Webブラウザと同じようにアクセスして、受け取った _csrf の値をスクレイピングして送信データに設定します。


また、Exception: DNS error: "職場の就業管理システムのログイン画面のURL" のエラーになっているのが原因と思いますが、職場の就業管理システムは、社外のGoogle のサーバーからインターネット経由でアクセスできるシステムでしょうか?

投稿2022/11/18 03:15

編集2022/11/18 03:19
CHERRY

総合スコア25157

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

AMI

2022/11/18 03:44

> CHERRY様 ご回答ありがとうございます。大変参考になります。 _csfrの受け取り方ですが、デベロッパーツールのどの項目を見ればわかりますでしょうか。 そもそものエラーの根本的な原因の認識が間違っていたかもしれません。 コメントいただきました通り、職場の就業管理システムは、 社外のGoogle のサーバーからインターネット経由でアクセスできません。 GASで別のサーバーなどを経由するような仕組みは構築可能でしょうか。
CHERRY

2022/11/18 04:47

> GASで別のサーバーなどを経由するような仕組みは構築可能でしょうか。 職場の就業管理システムをインターネットからアクセスできるように公開する以外の方法で、GAS によるアクセスは無理と思います。 別解としては、社内のPC に Python や Node.js 等の実行環境を構築して、社内システムのスクレイピングした集計結果を Google スプレッドシートに登録するような処理を Python や Node.js で書くほうが簡単かもしれません。
AMI

2022/11/18 05:47

大変ご丁寧にありがとうございました。Pythonによる仕組み構築に発想を切り替えてみます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.53%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問