Q&A
JavaScript で動的に生成されたコンテンツだと思われますので、Selenium を使えば良いのでは。
Pythonでスクレイピングできない（一部しかできない）ページがある。
コードは下記の通り。
（progateのclass指定のあるh3タグの取得を実行している）
python
1import requests 2from bs4 import BeautifulSoup 3 4URL = "https://prog-8.com/" 5 6res = requests.get(URL) 7soup = BeautifulSoup(res.text, 'lxml') 8 9 10h = soup.find_all("h3", class_ = "landing-heading landing-lesson-intro__small-section-title right-spacer") 11print(h)
結果はリストで[]となる。（None）
ピンポイントにh3のclassを指定しているのに取得できない。
取得できない理由と取得する方法を教えてほしい。
JavaScriptで動的に生成されたコンテンツなので、requestsでは取得できないということですね。レンダリングするページをスクレイピングするにはSeleniumを使用しなければ取得できないということですね。
回答3件
0
自己解決
JavaScriptで動的に生成されたコンテンツだったので、ヘッドレスブラウザを使って取得できました。
投稿2020/06/08 13:29
総合スコア0
0
コードに記載されている URL の https://prog-8.com/ (トップページの URL) には、 h3 で、該当するクラスを持つ要素はないようです。
実際には、ログイン後に表示される特定のページ URL ということであれば、質問のコードでは、BeautifulSoup で取得する内容は、ログインしていない状況の HTML なので、Webブラウザでもログインしていない状況で、要素を確認してみてください。
投稿2020/06/07 13:01
総合スコア25218
ログイン前のページです。どうやらJavaScriptで動的に生成されたコンテンツのようでrequests後に生成さているためHTMLを取得できていないようです。
0
私もprogate登録してありますので確認したところ、そのようなクラスを持つ要素はなかったですが、
URLが正しくないのか、クラスが正しくないのか、一度ご確認いただけますでしょうか？？
投稿2020/06/07 12:38
総合スコア96
Chromeの開発者ツールで確認すると対象のタグは存在していますがrequestsで取得した中身を確認すると確かにh3しか存在していません。
この部分です。→ <h3 class="landing-heading landing-lesson-intro__small-section-title right-spacer">イラスト中心のスライドで学ぶ</h3>
あなたの回答
tips
プレビュー
