PythonでGoogleニュースのスクレイピング方法を教えてください

現在、Pythonを始めて、ニュースのスクレイピングできるようになりたいと思っています。
以下のプログラムでGoogleニュースのヘッドライン記事を集めようとしましたが、何も返してくれません。
このプログラミングを動かしている環境は
Windows10でJupyter Notebookで書いています。

原因と解決策を教えていただけないでしょうか？

python
1import urllib.request
2from bs4 import BeautifulSoup
3
4
5class Scraper:
6    def __init__(self, site):
7        self.site = site
8        
9    def scrape(self):
10        r = urllib.request.urlopen(self.site)
11        html = r.read()
12        parser = "html.parser"
13        sp = BeautifulSoup(html, parser)
14        for tag in sp.find_all("a"):
15            url = tag.get("href")
16            if url is None:
17                continue
18            if "html" in url:
19                print("\n" + url)
20                
21news = "https://news.google.com/"
22Scraper(news).scrape()

can110

2019/09/29 10:01

Googleニュースはスクレイピング禁止されていないでしょうか？規約を確認した結果を追記ください。

tatenori

2019/09/29 10:08

規約にはスクレイピングに関する箇所が見つけられませんでした

can110

2019/09/29 10:12

規約のURLはどこでしょうか？

tatenori

2019/09/29 10:14

https://policies.google.com/terms?hl=ja これを確認しました。

meg_

2019/09/29 10:14

規約には「Google が提供するインターフェースおよび手順以外の方法による本サービスへのアクセスを試みてはなりません」とあります。明示的に自動化によるアクセス禁止とは書かれていませんがスクレイピングはGoogleが提供する手順ではないでしょう。また、robots.txtによるとアクセス禁止のアドレスもありますので注意が必要です。