質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.47%

  • Google Apps Script

    905questions

    Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

  • Google

    633questions

    Googleは、アメリカ合衆国に位置する、インターネット関連のサービスや製品を提供している企業です。検索エンジンからアプリケーションの提供まで、多岐にわたるサービスを提供しています。

  • Google API

    548questions

    Googleは多種多様なAPIを提供していて、その多くはウェブ開発者向けのAPIです。それらのAPIは消費者に人気なGoogleのサービス(Google Maps, Google Earth, AdSense, Adwords, Google Apps,YouTube等)に基づいています。

  • スクレイピング

    359questions

ログイン後の画面をGoogle Apps Scriptでスクレイピングしたいdす

受付中

回答 0

投稿

  • 評価
  • クリップ 2
  • VIEW 97

hectol

score 14

下記サイトにログイン後のページに表示される情報を取得したいです。
https://c0banpool.com/index.php?page=login

GASだけでもUrlFetchApp.fetchでログイン情報をPOSTすることにより、
ログイン後画面からもスクレイピングできるとの記事を読みやってみましたが、
ログインできませんでした。

ctokenの部分がネックなのかもしれません。

宜しくお願い申し上げます。

function GetPoolinfo() {
  var ctoken = GetCtoken()
  Logger.log(ctoken);
  //POSTデータ
  "ctoken="+ ctoken +"&username=??%40gmail.com&password=????"
  var payload = {
    "ctoken": ctoken,
    "username" : "??@gmail.com",
    "password" : "????"
  }
  // POSTオプション
  var options = {
    "method" : "POST",
    "payload" : payload
  }

  // アクセス先(http headerなどでPOSTのURLなどを調べる)
  var url = "https://c0banpool.com/index.php?page=login"
  // POSTリクエスト
  var response = UrlFetchApp.fetch(url, options);
  var content = response.getContentText();
  Logger.log(content);

  // レスポンスヘッダーからcookieを取得
  var cookies = response.getHeaders()["Set-Cookie"];

  // ログインで認証されたcookieはヘッダーで使用
  var headers = { 'Cookie' : cookies };
  options = {
    method : "get",
    headers : headers,
    followRedirects: true, //リダイレクトあり
  };
  var topUrl = "https://c0banpool.com/index.php?page=statistics&action=pool"
  response = UrlFetchApp.fetch(topUrl, options);
  var content = response.getContentText("UTF-8");
  //Logger.log(content);
}

function GetCtoken() {
  // POSTデータ
  var payload = {
    id : "loginForm"
  }
  // POSTオプション
  var options = {
    "method" : "POST",
    "payload" : payload,
    "followRedirects" : false
  }

  // アクセス先(http headerなどでPOSTのURLなどを調べる)
  var url = "https://c0banpool.com/index.php?page=login"
  // POSTリクエスト
  var response = UrlFetchApp.fetch(url, options);
  var content = response.getContentText();
  //Logger.log('============変換後 "%s".',response);

  var step1 = content.match(/<input type="hidden" name="ctoken" value=".*>/g);

  var extract = []
  for (var i=0;i<=step1.length-1;i++){
    extract.push(step1[i]
  .replace(/<input type="hidden" name="ctoken" value="/g,"")
  .replace(/">/g,"")
  .replace(/\n/g));
  }
  var extract= extract[0];
  //Logger.log(extract);
  return extract;
}
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正の依頼

  • papinianus

    2018/10/24 11:05

    多分ctokenのせいだと思いますが、例えばpostmanみたいなツールで、ctokenを渡してログインさせることができるか検証してみると、あらかじめ渡したctokenでログインできるかが検証可能だと思います。それができなければ、gasでは本質的に無理じゃないかと。

    キャンセル

まだ回答がついていません

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.47%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Google Apps Script

    905questions

    Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

  • Google

    633questions

    Googleは、アメリカ合衆国に位置する、インターネット関連のサービスや製品を提供している企業です。検索エンジンからアプリケーションの提供まで、多岐にわたるサービスを提供しています。

  • Google API

    548questions

    Googleは多種多様なAPIを提供していて、その多くはウェブ開発者向けのAPIです。それらのAPIは消費者に人気なGoogleのサービス(Google Maps, Google Earth, AdSense, Adwords, Google Apps,YouTube等)に基づいています。

  • スクレイピング

    359questions