cnnのサイトのニュースタイトルをスクレイピングしたい

Python初心者です。
入門書や初心者向けの解説サイトでスクレイピングを勉強したので、cnnのwebサイトから最新のニュースタイトルとそのURLをスクレイピングしてcsvデータに整理する、というプログラムを書いてみようと思います。
HTMLデータの取得まではできるのですが、肝心のニュースタイトルとURLがうまく抜き出せず困っています。

python
1from bs4 import BeautifulSoup
2import requests
3
4html_doc = requests.get('https://edition.cnn.com').text
5soup = BeautifulSoup(html_doc, 'html.parser')
6print(soup.prettify())

このようにBeautifulSoupとrequestsを使ってHTMLを書き出すところまではできます。
しかし、ここでprint(soup.find('a'))を入力しても以下のようなニュースタイトルとURLの部分が見当たりません。

divがたくさん入れ子になっているから無理なのでしょうか？
何かヒントをいただけると嬉しいです。よろしくお願いいたします。

--追記--
soup.find_all('h3', {'class': 'cd__headline'})
とやってもダメでした。class名の_の数を間違えているのでしょうか？
カウント方法をご存知でしたら教えていただきたいです。

firedfly

2019/02/20 01:21

過不足のないよい質問文ですね。「CNNのサイト」にURL記法でリンクを張るとさらに親切になります。

行動規範の内容に同意します

回答2件

seleniumをご利用になるのであれば、以下のような感じで取得できますが、まぁfiredflyさんの回答の通りAPI/RSSをご利用になるのがCNNさん側にも好ましいのではと思います。

python
1elems = find_elements_by_css_selector('span.cd__headline-text')
2for elem in elems:
3	print(elem.text)

投稿2019/02/20 04:01

t_obara

総合スコア5488

aomatsu_

2019/02/21 13:41

ご回答ありがとうございました！スクレイピングしたいサービスが見つかったときには、まずAPIがあるかどうか確認しようと思います。

行動規範の内容に同意します

ベストアンサー

こんにちは。
下のようなコードで取得したHTMLをテキスト出力してみると、
ニュース部分はJSONで返して、ブラウザ側で動的にHTMLを生成しているようです。

Python
1from bs4 import BeautifulSoup
2import requests
3
4html_doc = requests.get('https://edition.cnn.com').text
5soup = BeautifulSoup(html_doc, 'html.parser')
6
7with open('result.txt', mode='w', encoding='utf-8') as f:
8    f.write(soup.prettify())

JSON
1{"uri":"/2019/02/19/business/japan-companies-uk-economy/index.html","headline":"\u003cstrong>Japan Inc poured billions into Britain. Now it's having regrets\u003c/strong>","thumbnail":"//cdn.cnn.com/cnnnext/dam/assets/181128163340-london-waterloo-bridge-pedestrians-small-11.jpg","duration":"","description":"Japan's top companies are losing patience with the United Kingdom as Brexit fast\u003cstrong> \u003c/strong>approaches. ","layout":""}