Pythonでスクレイピングできない（一部しかできない）ページがあるので理由と取得方法を知りたい

Question

Pythonでスクレイピングできない（一部しかできない）ページがある。
コードは下記の通り。
（progateのclass指定のあるh3タグの取得を実行している）

import requests
from bs4 import BeautifulSoup

URL = "https://prog-8.com/"

res = requests.get(URL)
soup = BeautifulSoup(res.text, 'lxml')


h = soup.find_all("h3", class_ = "landing-heading landing-lesson-intro__small-section-title right-spacer")
print(h)

結果はリストで[]となる。（None）
ピンポイントにh3のclassを指定しているのに取得できない。
取得できない理由と取得する方法を教えてほしい。

Comments

[hoshi-takanori]

JavaScript で動的に生成されたコンテンツだと思われますので、Selenium を使えば良いのでは。

[1-row]

JavaScriptで動的に生成されたコンテンツなので、requestsでは取得できないということですね。レンダリングするページをスクレイピングするにはSeleniumを使用しなければ取得できないということですね。

[hoshi-takanori]

そういうことです。
https://gammasoft.jp/blog/how-to-download-web-page-created-javascript/

Answer 1

JavaScriptで動的に生成されたコンテンツだったので、ヘッドレスブラウザを使って取得できました。

Answer 2

コードに記載されている URL の https://prog-8.com/ (トップページの URL) には、 h3 で、該当するクラスを持つ要素はないようです。

実際には、ログイン後に表示される特定のページ URL ということであれば、質問のコードでは、BeautifulSoup で取得する内容は、ログインしていない状況の HTML なので、Webブラウザでもログインしていない状況で、要素を確認してみてください。

Comments

[1-row]

ログイン前のページです。どうやらJavaScriptで動的に生成されたコンテンツのようでrequests後に生成さているためHTMLを取得できていないようです。

Answer 3

私もprogate登録してありますので確認したところ、そのようなクラスを持つ要素はなかったですが、
URLが正しくないのか、クラスが正しくないのか、一度ご確認いただけますでしょうか？？

Comments

[1-row]

Chromeの開発者ツールで確認すると対象のタグは存在していますがrequestsで取得した中身を確認すると確かにh3しか存在していません。
この部分です。→ <h3 class="landing-heading landing-lesson-intro__small-section-title right-spacer">イラスト中心のスライドで学ぶ</h3>