Python スクレイピング requestsで取得できないWEBページについて

Question

ご覧いただき、ありがとうございます！
スクレイピングについてのご質問となります、詳しい方ご教授お願い申し上げます。

下記URL先において、一部情報がrequestsでは取得できません。
https://wowma.jp/category/42/ranking?spe_id=bl_1
※具体的には、コードの<!-- ランキング商品リスト -->より以下の情報です。

調べてみると、ブラウザ上でHTMLを構築している可能性があるのですが、原因及び対策がよくわかりません。

このような状況下で、
１．今回取得できていない原因が合っているかどうか。
２．１が合っている場合、HTMLを取得するための模範的なコードをご説明いただけないか。

以上、何卒宜しくお願い致します。

Answer 1

１．今回取得できていない原因が合っているかどうか。

はい。ブラウザ上でJavaScriptで追加されているノードでしょう。

２．１が合っている場合、HTMLを取得するための模範的なコードをご説明いただけないか。

いろいろ方法がありますが、今情報が多いのは、Seleniumというライブラリを使ってブラウザをコントロールしてブラウザから情報を取得する方法です。このサイトでも質問が多いです。他の方法の質問は見たこと無いですね。