動的サイトでスクレイピング（href要素）したい

Question

前提・実現したいこと

以下のWebサイトよりニュース記事のURL及びタイトルを取得したいのですが、
どのタグで指定しても空のリストが返ってきてしまいます。

NTT Ltd Newsroom
https://hello.global.ntt/en-us/newsroom

該当のソースコード

from bs4 import BeautifulSoup 
import urllib.request as req

url = 'https://hello.global.ntt/en-us/newsroom'
html = req.urlopen(url)
soup = BeautifulSoup(html,'html.parser')

#以下でリスト取得後、href要素を指定することでURLを取得しようとしました
soup.find_all('div', class_ 'search-item search-item--list')

補足情報

スクレイピング初心者です。ご教示いただけると幸いです。

Answer 1

ツールによるスクレイピングはいかがでしょうか？
記事の情報をすばやく抽出できます。
以下の動画が役に立つかもしれないと思います。
News記事の検索結果ページからデータ取集

Comments

[Nobu.Y]

ご紹介ありがとうございます。
今回はSeleniumを使い取得することができました。
今後の参考にさせていただきます。

Answer 2

見たところ、記事情報は Javascript で動的にとってきているようなので、urllib.request での取得は無理です。
Selenium を使って、スクレイピングしてください。

Selenium(Python)を使ってWebスクレイピング - Qiita

「selenium python」「selenium スクレイピング」などで調べると解説記事が出てきます。

Comments

[Nobu.Y]

ご回答ありがとうございました。
無事Seleniumを使い取得することができました。
お助けいただきありがとうございます。