GASでログインが必要なシステムのスクレイピングがしたい

Question

前提

GASで職場の就業管理システムをスクレイピングし、
システムに入力されている出勤時間/退勤時間を
スプレッドシートに転記するスクリプトを作成したいと思っています。
※スクレイピングの許可は得ています

Google Chromeのデベロッパーツールで就業管理システムの
ログイン処理を検証した結果、PayloadのForm Dataには以下3項目が格納されます。

• 　userName: "ログイン画面で入力した名前"
• 　password: "ログイン画面で入力したパスワード"
• 　_csrf: "ログインごとに異なる文字列（ランダムに生成されていると思われます）"

ログイン時に「_csrf」のようなランダムな文字列が生成されるシステムでは、
「UrlFetchApp.fetch」の「post options」をどのように指定すればよいでしょうか。

このようなシステムのスクレイピングは難しい、という内容でもかまいませんので
ご回答いただけますと助かります。

現状、下記のソースコードで「UrlFetchApp.fetch」の部分でエラーが発生しております。

実現したいこと

「UrlFetchApp.fetch」を動作するようにする

発生している問題・エラーメッセージ

Exception: DNS error: "職場の就業管理システムのログイン画面のURL"
main	@ コード.gs:18

該当のソースコード

function main() {
  //ログイン処理
  const Login_url = "職場の就業管理システムのログイン画面のURL";

  let login_payload = {
    "userName":"ログイン画面で入力する名前",
    "password":"ログイン画面で入力するパスワード",
    // 「_csrf」に対する処理がわからない
  }

  let post_options = {
  method: "post",
  payload: login_payload,
  followRedirects: false
  };
  var response = UrlFetchApp.fetch(Login_url, post_options);
  Logger.log(response);
}

Answer 1

_csrfは、Web ブラウザでアクセスする場合、どのように受け取っているのでしょうか。

GAS で、Webブラウザと同じようにアクセスして、受け取った _csrf の値をスクレイピングして送信データに設定します。

---

また、Exception: DNS error: "職場の就業管理システムのログイン画面のURL" のエラーになっているのが原因と思いますが、職場の就業管理システムは、社外のGoogle のサーバーからインターネット経由でアクセスできるシステムでしょうか？

Comments

[AMI]

> CHERRY様
ご回答ありがとうございます。大変参考になります。
_csfrの受け取り方ですが、デベロッパーツールのどの項目を見ればわかりますでしょうか。

そもそものエラーの根本的な原因の認識が間違っていたかもしれません。
コメントいただきました通り、職場の就業管理システムは、
社外のGoogle のサーバーからインターネット経由でアクセスできません。
GASで別のサーバーなどを経由するような仕組みは構築可能でしょうか。

[CHERRY]

> GASで別のサーバーなどを経由するような仕組みは構築可能でしょうか。

職場の就業管理システムをインターネットからアクセスできるように公開する以外の方法で、GAS によるアクセスは無理と思います。

別解としては、社内のPC に Python や Node.js 等の実行環境を構築して、社内システムのスクレイピングした集計結果を Google スプレッドシートに登録するような処理を Python や Node.js で書くほうが簡単かもしれません。

[AMI]

大変ご丁寧にありがとうございました。Pythonによる仕組み構築に発想を切り替えてみます。