BeautifulSoupで全てNoneで返ってきます

Question

基礎中の基礎のことで大変申し訳ございません。
とあるwebサイトを下記のようにスクレイピングしようとしたのですができませんでした。

---

from bs4 import BeautifulSoup
import requests

load_url = "URL"
html = requests.get(load_url)
soup = BeautifulSoup(html.content, "html.parser")

aaa = soup.find("h1", class_="float_lang_base_1 relativeAttr")
print(aaa)

---

結果はNoneになってしまいました。
別サイトでも試みましたがすべてNoneで返ってきました。
書き方が間違っているのでしょうか？
何卒ご教授をお願いいたします。

Comments

[meg_]

見つけようとしている要素はhtmlの中に存在しているのでしょうか？

[help-man]

確認してみます。

[meg_]

それはどのように確認されたのでしょうか？(BeautifulSoupでは動的に生成された要素は解析できないかと思います。)

[help-man]

試しに『print(soup)』でやってみたらエラーが起きました。
調べてみたらどうやら「リクエストの際にヘッダーにユーザーエージェントを記載していないから」だそうです。

Answer 1

orで複数指定するときはリストで指定します

from bs4 import BeautifulSoup
html = """
<h1 class="float_lang_base_1">1</h1>
<h1 class="relativeAttr">2</h1>
<h1 class="float_lang_base_1 relativeAttr">3</h1>
<h1 class="relativeAttr float_lang_base_1">4</h1>
"""
soup = BeautifulSoup(html,"html.parser")

print(soup.find_all("h1", class_="float_lang_base_1 relativeAttr"))
#[<h1 class="float_lang_base_1 relativeAttr">3</h1>]

print(soup.find_all("h1", class_=["float_lang_base_1", "relativeAttr"]))
#[<h1 class="float_lang_base_1">1</h1>, <h1 class="relativeAttr">2</h1>,
#<h1 class="float_lang_base_1 relativeAttr">3</h1>, <h1 class="relativeAttr float_lang_base_1">4</h1>]

Answer 2

自己解決できました。
どうやら「リクエストの際にヘッダーにユーザーエージェントを記載していないから」だそうです。
大変お騒がせいたしました。

Answer 3

プログラムの書き方は合ってます。

それに該当するタグが存在しないからでしょう。
print(html.content)して中を見てみましょう。

「ブラウザの開発者ツールで見たらあるのに」という場合は、
・フレームの中のノード
・JavaScriptで動的に追加されたノード
など。

Comments

[help-man]

ありがとうございます。やってみます！