Line bot作成について

Question

前提・実現したいこと

Lineでのbotを作成したいです。
基本的な部分は作成できたのですが、Webスクレイピングがうまくいきません。
下記のソースですと、
待ち時間
と入力すると、
表示します
と帰ってきますが、
表示します　ではなく、https://example.comのソースコード(191行目～535行目)を表示させたいです。
下記ソースを少し編集しました。

発生している問題

webスクレイピングができない

ソース

function doPost(e) {
  var replyToken= JSON.parse(e.postData.contents).events[0].replyToken;
  if (typeof replyToken === 'undefined') {
    return;
  }

  var url = 'https://api.line.me/v2/bot/message/reply';
  var channelToken = 'ここにアクセストークン（ロングターム）を貼り付け';

 var input = JSON.parse(e.postData.contents).events[0].message;

  var message = 'こんにちは';
  var options = {
  method : "GET"
};

//アクセス先URLにGETリクエストを送信し、レスポンスを取得
var response = UrlFetchApp.fetch("http://cfabond2020.php.xdomain.jp/ma.php",options);

//レスポンスからページソース(内容)を取得
var content = response.getContentText("UTF-8");

var regex = /<div>(.*)</div>/g;

var match;
var ct = 0;
var data = [];

while((match = regex.exec(content)) !== null){
  Logger.log(match);
  data[ct] = match[1];
  ct++;
} 
var plain = content.replace(/</?[^>]+>/ig, "");

var message1 = encodeURIComponent(data);



  if(input.type == 'text') {
    if(input.text.match('待ち時間')) {
      message = message1;
    }
  }

  var messages = [{
    'type': 'text',
    'text': message,
  }];

  UrlFetchApp.fetch(url, {
    'headers': {
      'Content-Type': 'application/json; charset=UTF-8',
      'Authorization': 'Bearer ' + channelToken,
    },
    'method': 'post',
    'payload': JSON.stringify({
      'replyToken': replyToken,
      'messages': messages,
    }),
  });
  return ContentService.createTextOutput(JSON.stringify({'content': 'post ok'})).setMimeType(ContentService.MimeType.JSON);
}

試したこと

色々と調べたのですが、webスクレイピングの方法を書いているサイトがありませんでした。一つだけ見つけたのですが、(https://for-ne.info/gas)少しやりたいことが違って、、でもソースは使えると思います。

補足情報（FW/ツールのバージョンなど）

Google apps script を使用しています。

Comments

[tsubaki961]

Postman等HTTPリクエストを簡易的に行うツールで、 `http://cfabond2020.php.xdomain.jp/ma.php` にGETリクエストを送った際のレスポンスは確認しましたか？

[daichi-onoue]

確認してません。

どのように確認すれば良いのでしょうか？

[papinianus]

いまわたしが http://cfabond2020.php.xdomain.jp/ma.php を開くと 193 行目はテーブルの途中ですし全体で478行しかなく、どこを取りたいか不明です。

また、cfabond2020 のサイト自体質問者様の管理するサイトだと思いますが(そうでない場合、スクレイプが利用規約に反しているか確認が必要です)、であれば、bot に読み出させるページは別ページで作ったほうがよいです。どのみちlineではhtmlタグがそのままは使えないと思うので、加工の手間がかかり、思ったところが抜き出せないレベルでは、そうした処理でまた苦労することが強く予想されます。

Answer 1

他の質問に移動しました。
プロフィールから、次の質問を確認してください。