現在GASを利用して、ログイン&スクレイピングができるか学習含めトライしています。
下記スクリプトを作成しましたが、ログイン完了後の画面にならず何かしらで引っかかているようですが原因が分からず。。どなたかご指摘いただけないでしょうか。
認証においてcookieが必要な模様で、ログイン前にcookieを取得してからログインしよう試みております。
お手数ですがヒントを頂けると幸いです。
参考サイト:
http://qiita.com/morinokami/items/46b76b365f030be83418
function myFunction() { var PRE_URL = "https://qiita.com/"; var response = UrlFetchApp.fetch(PRE_URL); //トークンを取得 var regexp = /<input type=\"hidden\" name=\"authenticity_token\" value=\"(.*?)\" \/>/; var elements = response.getContentText().match(regexp); //cookieを取得 var headers = response.getAllHeaders(); var cookies = []; if ( typeof headers['Set-Cookie'] !== 'undefined' ) { //Set-Cookieヘッダーが2つ以上の場合はheaders['Set-Cookie']の中身は配列 var cookies = typeof headers['Set-Cookie'] == 'string' ? [ headers['Set-Cookie'] ] : headers['Set-Cookie']; for (var i = 0; i < cookies.length; i++) { // Set-Cookieヘッダーからname=valueだけ取り出し、セミコロン以降の属性は除外する cookies[i] = cookies[i].split( ';' )[0]; }; } var payload = { "utf8": "✓", "identity" : "メールアドレス", "password" : "パスワード", "authenticity_token" : elements[1] } var options = { "method" : "POST", "payload" : payload, "muteHttpExceptions" : true, "validateHttpsCertificates" : false, "headers" : { Cookie: cookies[0] } } var response = UrlFetchApp.fetch("https://qiita.com/login", options); var elems = response.getContentText(); Logger.log(response);//これでログイン後の情報がみれるはずなのですが、、 }
あなたの回答
tips
プレビュー