BeautifulSoupでのエラーの原因について教えてください

Question

お世話になります。
記載しているコードで以下のエラーがでてしまうのは何故でしょうか。

エラー内容：'NoneType' object has no attribute 'find_all'

#yahuuニュースの最新トピックス一覧を表示する
import requests
from bs4 import BeautifulSoup

target_url="https://www.yahoo.co.jp/"
html=requests.get(target_url)


soup=BeautifulSoup(html.content,"html.parser")

topic=soup.find(class_="topicsList_main")
for element in topic.find_all("a"):
    print(element.text)

Comments

[tiitoi]

yahoo は Javascript が使えない環境で接続すると通常のページが表示されないので、Selenium を使うしかないと思いますよ

[sirara]

そうだったんですね。
Python2年生という書籍のコードを写経したのですが、書籍では同じコードでエラーは出てないんですよね。
最近requestsが使えなくなってしまったんですかね。

[tiitoi]

print(soup.prettify()) とすると、取得できたソースを表示できますが、topicsList_main というクラスのタグはどこにもないです。
スクレイピングのコードはWebサイトの構成が変わると動かなくなるので、ネット上や書籍のコードは基本動かないです。

Answer 1

Yahooのページで topicsList_main というクラスが見つからないようです。