スクレイピングが上手く実行できない

Question

前提・実現したいこと

発生している問題・エラーメッセージ

スクレイピングのコードを書いたのですが、htmlが表示されません。
どこに問題があるのか教えていただけますと幸いです。

エラーメッセージ：無し

該当のソースコード

import urllib.request
from bs4 import BeautifulSoup

class Scraper:
    def __init__(self,site):
        self.site = site
    
    def scrape(self):
        r = urllib.request.urlopen(self.site)
        html = r.read()
        parser = "html.parser"
        sp = BeautifulSoup(html,parser)
        for tag in sp.find_all("a"):
            url = tag.get("href")
            if url is None:
                continue
            if "href" in url:
                print(url)    

news = "https://news.google.com/"
Scraper(news).scrape()

Answer 1

https://news.google.com/ のソースコードをみてみると、ほとんどが圧縮されたjavascript で、実際の UI は javascript により動的に生成しているようです。
このため、 javascript により実際に動的に生成される html からスクレイピングしないと、<a> タグの URL を抜き出すことはできません。

Selenium など、実際のブラウザを制御するタイプのクローラを用いるのはいかがでしょうか？

Comments

[Yushishi]

Seleniumですね。。
一旦そちらを試してみようと思います。有難うございます！