Pythonでのスクレイピングについて

Question

Windows10環境で､Python3.7 IDLEにて以下を実行しました｡

import urllib.request
from bs4 import BeautifulSoup

class Scraper:
	def __init__(self, site):
		self.site = site


	def scrape(self):
		r = urllib.request.urlopen(self.site)
		html = r.read()
		parser = "html.parser"
		sp = BeautifulSoup(html, parser)
		for tag in sp.find_all("a"):
			url = tag.get("href")
			if url is None:
				continue
			if "html" in url:
				print("\n" + url)

news = "https://news.google.com/"
Scraper(news).scrape()

すると何の結果も出力されませんでした｡

ライブラリのインストールがうまく行ってないのかと思い以下のみを実行するとエラーは表示されませんでした｡

import urllib.request
from bs4 import BeautifulSoup

Python3.7 IDLEの設定が悪いのかと以下を試してみましたが､ふつうに出力されました｡

Print("1")
>>>　1

どこがおかしいのか､教えてください｡
よろしくおねがいします｡

追記:
ご回答ありがとうございました｡
一部変更してみましたが､今度はエラーが出てしまいました｡

モジュールが足りない､という意味なのでしょうか...

Answer 1

Google Newsのスクレイピングは、利用規約で禁止されています。

ロボットやスパイダーまたは他のデバイスの使用あるいは手動による本サービスのコンテンツの監視やコピーは許可されません。

Comments

[退会済みユーザー]

コメントありがとうございます。サイトを変更しました｡

[maisumakun]

スクレイピングは、サイトを変えればほぼ作り直しです。

Answer 2

if "html" in url:

この条件文をクリアしていないからです

for tag in sp.find_all("a"):
    url = tag.get("href")
    print(url)

みたいにするとわかりやすいかもしれません

Comments

[退会済みユーザー]

ご回答ありがとうございました｡変更後に上記エラーが表示されてしまいました...