cheerio(Node.jsのライブラリ)を使ったスクレイピングで検索結果のタイトルが取得できない

Question

前提・実現したいこと

検索エンジンduckduckGoの検索結果のタイトル一覧（URLも一緒に）をcheerioで取得したいです。

発生している問題・エラーメッセージ

まずはタイトルを取得したいのですが、idやクラスを指定しても空白が返ってきてしまいます。

該当のソースコード

const client = require('cheerio-httpcli');
const keyword = "テスト";
const targetURL = 'http://duckduckgo.com/';

client.fetch(targetURL, { q: keyword })
    .then((result) => {
        result.$('#links').each(function (idx, elm) {
　　　　　　　console.log( result.$(this).find('h2').text() );
　　　　　　　console.log(elm);
        });
    })
    .catch((err) => {
        console.log(err);
    })
    .finally(() => {
        console.log('done');
    });

試したこと

同様のことをGoogle検索であればできた（タイトルとURLを取得）のですが、duckduckGoとなるとできませんでした。
console.log(elm)でオブジェクトは返ってきたのですが、なぜか子要素にあるはずのh2タグは取得できません。
よろしくお願いいたします。

補足情報（FW/ツールのバージョンなど）

node v12.16.0
cheerio-httpcli 6.13.4

画像はidの#lihks以下をまとめて取得したいです。

Answer 1

cheerioで取得したいです

それは無理です。

cheerio は 応答されたHTMLを解析できますが、それ以上の情報(JavaScriptで動的生成される文書木)は解析できません。

Google検索であればできた

Googleは検索結果をHTMLで応答していますが、DuckDuckGo の検索結果一覧は JavaScriptで動的生成しています
（この事象はブラウザでページのソースを表示して確認しました）。

Comments

[moimoi_sushi]

ありがとうございます。ソースを見ても動的サイトであることに気がつきませんでした。

duckduckGoの場合、" https://duckduckgo.com/html/?q=テスト "とhtmlの階層を付与すると静的サイトの結果として出力できたので、これで同じことをしたらうまくいきました。