【GAS】スクレイピング Yahoo!プロモーション広告（YSS・YDN）

Question

Yahoo!プロモーション広告（YSS・YDN）の管理画面に、GASを使ってログインしようと試みているのですが、
ログインページから先のページに遷移することができない状態です。

過去の、こちらのサイトの投稿（https://teratail.com/questions/157194）から、
Rubyでのログイン方法が掲載されていたのですが、GASに応用することができず困っております。。

下記のコードでは、ログインページ遷移後に、
レポートのダウンロードリンクからcsvファイルをスプレッドシートに転記するものとなりますが、
ひとまずログインをしたいと考えております。

function scriping() {

  // ログインページ
  var LOGIN_URL1 = "https://login.bizmanager.yahoo.co.jp/login"
  var LOGIN_URL2 = "https://login.bizmanager.yahoo.co.jp/login.php"; //post投げるURL

  // CSVファイルダウンロード先のリンク
  var CSV_DOWNLOAD_URL = "******";
    
  // ログインID
  var id = "AAAAAAA";
  // パスワード
  var password = "aaaaaaa";

  var options = {
    method : "post",
    followRedirects: true, 
    payload : {
      user_name: id,
      password: password
    }
  };
 
　// ログインフォームを踏む（crumb対策のため）
　UrlFetchApp.fetch(LOGIN_URL1);

  // ログイン（post投げる）
  var response = UrlFetchApp.fetch(LOGIN_URL2, options);
  
  var headers = response.getAllHeaders();
  var cookies = [];
  if ( typeof headers['Set-Cookie'] !== 'undefined' ) {
  var cookies = typeof headers['Set-Cookie'] == 'string' ? [ headers['Set-Cookie'] ] : headers['Set-Cookie'];
  for (var i = 0; i < cookies.length; i++) {
    cookies[i] = cookies[i].split( ';' )[0];
    };
   }
  
    var options2 = {
    method : "get",
    followRedirects: false,
    headers : {
      Cookie: cookies.join(';')
    }    
  };
  

  // CSVファイル取得
  response = UrlFetchApp.fetch(CSV_DOWNLOAD_URL, options2);
  var data = response.getContentText("UTF-8");
  

  // スプレッドシートへの書き込み
  var spreadsheetObj = SpreadsheetApp.getActiveSpreadsheet();
  var sheet = spreadsheetObj.getSheetByName("csv");
  var csv = Utilities.parseCsv(data);
  sheet.getRange(1, 1, csv.length, csv[0].length).setValues(csv);
}
　//このコードだと上手くいかず、スプレッドシートにはログインフォームのhtmlソースが転記されてしまう。。。

Answer 1

これほど丁寧に書かれてるベストアンサーなのですから、ちゃんと意味を読み取ってください。

.crumb の valueは、一度関連する Yahoo! のページを閲覧するなどして Cookie を持っている場合は何らかの値が埋め込まれ、逆に Cookie を持っていないユーザでは空欄になるように見えます。

ここではっきりクッキーを持つ必要性が語られます。最後にもう一度、適切なクッキーを保持すべきと書かれてます。
クッキーを保存してセットしてください。
単に開いたらいいというのは、クッキーを保持させるという課題に対する、mechanizeで実行する場合の解決策です。

　// ログインフォームを踏む（crumb対策のため）
　UrlFetchApp.fetch(LOGIN_URL1);

ページを開いただけでクッキーのことなんか何もしてないですね。対策になってません

Comments

[anakama]

指摘ありがとうございます！

cookieを保持して、ログインページでcrumbを取得することはできたのですが、、
2度目のログインページでpostして、fromデータを渡すときに、
crumbの値がログインページを叩く度に変わってしまいログインできずです。

gasではブラウザ操作できないのはわかっていますが、
postするためにログインページを再度叩かずに、crumbを取得してブラウザ操作でログインするしかないのでしょうか？？

[papinianus]

その状態のコードに質問を編集してください。

推測で回答するとcookieとcrumを二回目のときに渡してないからではないかと思います