JavaScriptで、連想配列と再帰呼び出しを用いてブログの記事を順番に表示する方法

Question

JavaScriptで、連想配列と再帰呼び出しを用いて記事のリンク(例えばQiita)を上から順番にブラウザに表示する方法を教えていただきたいです。
あくまでも自然検索の範囲内です。
node.jsを使用します。
全てのリンクの数を取得まではできました。
全てのリンク数分ループし、
配列に入れていき、
同じリンクには飛ばないようにするイメージです。
リンク先に同じサイトのリンクがあれば飛びます。

const puppeteer = require("puppeteer");
    
  url = "https://qiita.com"
puppeteer.launch({

  args: ['--no-sandbox','--disable-gpu'],
  ignoreHTTPSErrors: false,
  headless: false,
  slowMo: 300

}).then(async browser => {

  try {
    const page = await browser.newPage();

    await page.setViewport({width: 1200, height: 800});
    await page.goto(url);
    const sumurl = await page.evaluate(() => {return document.links.length});
    await browser.close();
  } catch(e) {
    console.log("Error: Please check your code.");
    console.log(e);
}

});

概要だけでもかまいませんのでよろしくお願いします。

Comments

[Lhankor_Mhy]

補足願います。
『ブログ』とは、具体的にはどのブログですか？
『ブログの記事』とは、具体的にはどの記事ですか？
『順番』とは、どのような順番ですか？
『表示する』とは、どこに表示するのですか？
よろしくお願いします。

[m.ts10806]

「スクレイピング」であればかなりグレーな部分も多いです。規約違反となることもあるので取得先の事情は十分に考慮してください。
「○○はできました」と書いただけでは誰にも伝わらないのでそのコード、やり方は必ず具体的に記載してください

Answer 1

「リンクの収集と重複の排除」と「URLリストに対するデータ取得」を分けて考えると良いですよ。

それからリンクのnormalizeは必要なので、URLのパーサを使うようにしたほうが良いです。違う表現で同じページを指すことが極めて多いので。

また、URLリストの要素は「深さ」を考慮する必要があります。リンクを抽出したページが最初のページからどのくらいの距離を持つのかを保持できるようにします。