Yahooニュースのコメントをスクレイピングしたいです

Question

問題点

Yahooニュースのコメントをスクレイピングしたいです。
現状、Yahoo.co.jpのサイトの中から特定のキーワードを含むものを見つけてそのタイトルとURLを読み取ります。そして、そのURLを更に読み取ってニュースの個別ページに行き、その中からコメントに当たる部分を取ってこようとしています。
しかし、右クリックからの検証で得られたページのソースコードが示す、コメントのhtml構造を取ってこようとしてもうまく値を取ってくることが出来ません。これの原因は何なのでしょうか？

import urllib.request
from bs4 import BeautifulSoup

def get_yahoo_news():
    # ヘッドラインニュースのタイトル格納用リスト
    news_data = []

    # urlの指定
    url = 'http://www.yahoo.co.jp/'

    # ユーザーエージェントを指定？？
    ua = ''

    req = urllib.request.Request(url, headers={'User-Agent': ua})
   
    #htmlの取得
    html = urllib.request.urlopen(req)

    # htmlパース
    soup = BeautifulSoup(html, "html.parser")
    topicsindex = soup.find('div', attrs={'class': 'topicsindex'})

    
    for li in topicsindex.find_all('li'):
        a = li.find('a')
        # 記事タイトルとURLを保存
        news_data.append([a.contents[0], a.get('href')])
        
    return news_data

def main():
    # Yahooトップのトピック記事タイトルを取得
    news_data = get_yahoo_news()

    # 取得データの表示
    
    carelist = []

    for news in news_data:
        if "女性" in news[0]:
            carelist.append(news)

    print(carelist)
    
    comment = []
    
   
    for carenews in carelist:
        
        url = carenews[1] 
        ua = ''

        req = urllib.request.Request(url, headers={'User-Agent': ua})
   
    #htmlの取得
        html = urllib.request.urlopen(req)

    # htmlパース
        soup = BeautifulSoup(html, "html.parser")
        topicsindex = soup.find("span", attrs={"class":"cmtBody"})
        

        
        print(topicsindex)
        
        

if __name__ == '__main__':
    main()
    

特に該当の部分を抜粋すると以下のようになります。

  soup = BeautifulSoup(html, "html.parser")
  topicsindex = soup.find("span", attrs={"class":"cmtBody"})

Answer 1

curlやwgetで http://www.yahoo.co.jp/ を取得してみると、 class="topicsindex" がないようです。
ブラウザのソース表示から見ると存在しているので、もしかすると、Javascriptでセットしているかもしれません。

Comments

[mark_Hamil]

この場合、スクレイピングは難しいということでしょうか？