GASを使ってWebサイトにログイン

Question

GASを用いてWebサイトにログインして情報を取得したいのですが、上手くいきません。
具体的にはこちらのサイトを参考にしていますが

var response = UrlFetchApp.fetch(url, options);

ここで404エラーが発生してしまいます。どのようにすれば404を回避してログインできるか
もしくはIndeedは外部のスクリプトからのログインを禁止しているのか教えていただきたいです
私が書いたコードは下記です

var LOGIN_URL = "https://secure.indeed.com/account/login";
var userid = "実際はユーザーIDを入れています";
var password = "実際はパスワードを入れています";

function myFunction() {
  try {
    // HTTPリクエストのパラメータをobjectで設定
    // POSTで渡すフォームデータはpayloadで指定
    var options = {
      method: "post",
      followRedirects: false,
      contentType: "application/x-www-form-urlencoded",
      payload: {
        userId: userid,
        password: password
      }
    };
    var response = UrlFetchApp.fetch(LOGIN_URL, options);
  } catch (e) {
    Logger.log('\n' + JSON.stringify(e, null, '  '));
  } finally {
    return;
  };
};

Answer 1

もしくはIndeedは外部のスクリプトからのログインを禁止しているのか

はい、Indeedはスクレイピングを明文で禁止しています（利用規約）。

第三者が運用するものかどうかを問わず、自動化システムまたはソフトウェアを使用して本サイトからデータを抽出する行為 (画面スクレイピングやクローリングなど) は禁止されています。

Comments

[naoya7076]

不勉強でした。ありがとうございます！