python3 ウェブスクレイパーのコードについて

Question

独学ﾌﾟﾛｸﾞﾗﾏｰという本のP243に記載されている。ｳｪﾌﾞｽｸﾚｲﾊﾟｰのｺｰﾄﾞを書いてみましたが
何もおきません。ｺｰﾄﾞに誤りがあるのか。ほかに問題があるのかがわかりません。```python3
コード

from bs4 import BeautifulSoup
class Scraper:
	def __init__(self, site):
		self.site = site
	def scrape(self):
		r = urllib.request.urlopen(self.site)
		html = r.read()
		parser = "html.parser"
		sp = BeautifulSoup(html, parser)
		for tag in sp.find_all("a"):
			url = tag.get("href")
			if url is None:
				continue
			if "html" in url:
				print("\n" + url)
news = "https://news.google.com/"
Scraper(news).scrape()

Answer 1

結論から言うと、コードに誤りがある他、スクレイピングしているサイトに条件に一致する箇所がありません。

インデントが全て無くなっていますので、手元で復元しつつ実行してみたところ、文法エラーで実行できませんでした。
私の方で文法エラーを修正したコードは以下の通りです。

import urllib.request
from bs4 import BeautifulSoup

class Scraper(object):
    def __init__(self, site):
        self.site = site

    def scrape(self):
        r = urllib.request.urlopen(self.site)
        html = r.read().decode()
        parser = "html.parser"
        sp = BeautifulSoup(html, parser)
        for tag in sp.find_all("a"):
            url = tag.get("href")
            if url is None:
                continue
            if "html" in url:
                print("\n" + url)

def main():
    news = "https://yahoo.co.jp/"
    scrapper = Scraper(news)
    scrapper.scrape()

if __name__ == "__main__":
    main()

問題点は以下の通りでした。

• クラスのコンストラクタがinitという誤った名前になっており、クラスの初期化ができなかった。正しくは__init__。
• Scraperクラスのインスタンスを作成していない。

ただ、何も出力されなかった(つまり文法エラーすら出なかった)とのことですので、コピペミスか何かで手元ではただしく動作していたものと仮定し、処理の流れを確認してみました。
このコードはスクレイピングしたページから、htmlという文字列を含むリンクを全て抽出する処理をしています。news.google.comのソースを確認してみたところ、おそらく条件に一致する箇所がなかったため何も出力されなかったものと思われます(難読化されていて、完全に確認はできませんでした)。

試しにスクレイピング先をyahooに変えてみたところ、以下のような結果が得られました。

$ python nanikore.py 

https://info-premium.yahoo.co.jp/promo/paypay/faq.html

https://about.yahoo.co.jp/docs/pr/disclaimer.html
$

おそらく問題なく動作したものと思われます。

Comments

[m.t.challenger]

ありがとうございました。