yahooニュースの最新トピックス一覧のスクレイピング

Question

前提・実現したいこと

yahooニュースの、ジャンルITの最新トピックス一覧のスクレイピングがしたいです。

発生している問題・エラーメッセージ

AttributeError                            Traceback (most recent call last)
<ipython-input-32-60ce7fde742d> in <module>
      9 #classで検索し、その中の全てのaタグを検索して表示する
     10 topic = soup.find(class_="topicsList_main")
---> 11 for element in topic.find_all("a"):
     12     print("・"+element.text )

AttributeError: 'NoneType' object has no attribute 'find_all'

該当のソースコード

import requests
from bs4 import BeautifulSoup

#Webページを取得して解析する
load_url = "https://news.yahoo.co.jp/categories/it"
html = requests.get(load_url)
soup = BeautifulSoup(html.content,"html.parser")

#classで検索し、その中の全てのaタグを検索して表示する
topic = soup.find(class_="topicsList_main")
for element in topic.find_all("a"):
    print("・"+element.text )

考えたこと

当該エラーの意味は、タグ"a"で抜き出せるものがない、というエラーと認識しています。
これは、
・topicsList_mainというclassがそもそも存在しない
・classは存在するが、"a"タグが存在しない。したがって"a"タグで抜き出そうとするのが間違いである
どちらかではないのかと思っているのですが、結論が出ないので質問させていただきました。ご回答のほどお待ちしております。

Answer 1

こちらの質問・回答とまったく同じです。

以下、ご参照ください。　

Python: トピックス一覧を表示したい。

Comments

[yama0309]

解決しました。過去の質問も確認するようにいたします。ありがとうございました。

[_whitecat_22]

何かの書籍かブログなどを参考にされているかと思いますが、クローリング先のサイトも、随時、変更が為されているため、都度都度、その要素があるのかを確認してみてくださいね。
お役に立てたならば嬉しく思います。^^

[yama0309]

臨機応変に対応できるように、根幹を理解しないといけないですね。
まだ言われたことしかできない段階ですが少しずつ前進していきたいと思います。
今後とも宜しくお願いいたします。

[_whitecat_22]

私もまだまだ習得中の身ですので、お互いにがんばりましょう！^^