gasでスクレイピング（Parserを用いて）

Question

前提・実現したいこと

gasのparserライブラリを使用してlivedoorニュース(https://www.livedoor.com/)のトピックをスクレイピングしたい。

発生している問題・エラーメッセージ

思ったようにスクレイピングが出来ていないです。
正規表現にかける前から、そもそも欲しいワード(ニュースタイトル)を引っ張っている様子がありません。

該当のソースコード

function my_search(){
  let url ='https://www.livedoor.com/';
  //URLに対しフェッチを行ってHTMLデータを取得する
  let html = UrlFetchApp.fetch(url).getContentText();
  //Parserライブラリを使用して条件を満たしたHTML要素を抽出する

  let start =`'トップ/主要/トピックス/詳細']);" style="visibility: visible;">`;
  let end =`</a>`;

  let newsList = Parser.data(html)
    .from(start)
    .to(end)
    .iterate();

  //ログ出力でスクレイピング結果を表示する(加工前)
  console.log(newsList);
}

試したこと

様々な動画を見ても原因がわかりません。ご教示いただけると幸いです。

Comments

[byayo907]

こんにちは。トピックとは、https://www.livedoor.com/の「主要」と書いてあるところのことでしょうか。

[byayo907]

https://non-dimension.com/solution-403forbidden/
これが原因では？

[shun8132]

ご返信ありがとうございます！
【主要】の中のトピックニュースですね。

いただいたURLとは違いそうです。。。
エラーは出ないのですが、持ってきた結果に、欲しい情報が載っていないという感じです。。。

Answer 1

Cheerioという便利なライブラリもあるので検討してみたらいかがでしょうか？

Comments

[shun8132]

ありがとうございます！
動画で見てみました！　Cheerio、便利そうですね！
トライしてみます！