pythonでスクレイピング

Question

前提・実現したいこと

pythonでスクレイピングを行うプログラムを作成しています。
今回はgoogleよりニュースのヘッドラインを取得したいと思いますが、
コマンドプロンプトにて実行しても、何も表示されません。

発生している問題・エラーメッセージ

実行結果が表示されない。コマンドプロンプトに戻ってくる。

該当のソースコード

python
ソースコード
import requests
from bs4 import BeautifulSoup

WebサイトのURLを指定

url = "https://news.google.com/?hl=ja&gl=JP&ceid=JP:ja"

Requestsを利用してWebページを取得する

r = requests.get(url)

BeautifulSoupを利用してWebページを解析する

soup = BeautifulSoup(r.text, 'html.parser')

soup.find_allを利用して、ヘッドラインのタイトルを取得する

elems = soup.find_all("a", class_="ipQwMb Q7tWef")
for e in elems:
print(e.getText())

解決方法についてご教授ください。
宜しくお願い致します。

Comments

[meg_]

GoogleニュースはスクレイピングOKでしょうか？

Answer 1

print(r.text)して、HTMLを確認しましょう。そういうノードが無いと思います。

また、Googleはスクレイピングを禁止しているはずなので、スクレイピングの学習であれば他のサイトを使いましょう。