Python: トピックス一覧を表示したい。

Question

現在、pythonを勉強し始めたばかりのものです。
yahooニュースから　ITの最新トピックスを取得しようとしておりますが、
エラーが出てしまします。
うまくいくと見出しだけ取得できるそうなのですが、
解決策を教えて頂きたいです。
宜しくお願い致します。
###下記がエラーとして出てきます。

Traceback (most recent call last):
  File "C:/Users/hannchou6/AppData/Local/Programs/Python/Python36-32/chap2-12.py", line 9, in <module>
    for element in topic.find_all("a"):
AttributeError: 'NoneType' object has no attribute 'find_all'

###下記が対象のコードです。

import requests
from bs4 import BeautifulSoup

load_url = "https://news.yahoo.co.jp/categories/it"
html = requests.get(load_url)
soup = BeautifulSoup(html.content, "html.parser")

topic = soup.find(class_="topicsList_main")
for element in topic.find_all("a"):
    print(element.text)

Comments

[meg_]

topic = soup.find(class_="topicsList_main")
上記で取得できてませんね。該当するクラスがないようです。サイトのhtmlは確認されましたか？

[MitAbe]

ありがとうございます。
解決いたしました。
これからも質問あると思いますが、何卒宜しくお願い致します。

Answer 1

対象のコードで、"a"タグのあるソースを取得できてないために、エラーとなっています。
class_="topicsList_main" で囲まれたソースの範囲内に、"a"タグは存在しますか？
そもそも、class_="topicsList_main" が存在しないのではないでしょうか。
Chromeブラウザのデベロッパーツールにて、取得したい箇所のclassやid名、css_selectorなどを確認してみてください。

BeautifulSoupより、Seleniumで取得したほうが簡単そうではあります。

Comments

[MitAbe]

_whitecat_22様
ありがとうございます。
お教えいただいた通り確認して、修正したら見出しだけ獲得できました。

本当にありがとうございます。

[_whitecat_22]

よかったです^^
少しでもお役に立てたならば嬉しく思います。