🎄teratailクリスマスプレゼントキャンペーン2024🎄』開催中!

\teratail特別グッズやAmazonギフトカード最大2,000円分が当たる!/

詳細はこちら
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

2回答

656閲覧

参考書通りにスクレイピングのコードを書いたのですが何も起きません

github

総合スコア4

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2020/01/01 17:57

前提・実現したいこと

googleのニュースのリンクを出力するプログラムです
一字一句正確に入力したのですがターミナルに何も表示されません
どこに問題があるかわかりません
解決手段がわかりましたら教えていただけると助かります

python3

1import urllib.request 2from bs4 import BeautifulSoup 3 4 5class Scraper: 6 def __init__(self, site): 7 self.site = site 8 9 def scrape(self): 10 r = urllib.request.urlopen(self.site) 11 html =r.read() 12 parser = "html.parser" 13 sp = BeautifulSoup(html, parser) 14 for tag in sp.find_all("a"): 15 url = tag.get("href") 16 if url is None: 17 continue 18 if "html" in url: 19 print( '\n' + url) 20 21news = "https://news.google.com/" 22Scraper(news).scrape()

発生している問題・エラーメッセージ

何も表示されずにプログラムが終了する

試したこと

各箇所にprint('a')やprint('b')などを挿入する
if url is Noneは実行されたが
if "html" in urlが実行されてないことが判明する

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

1年強前の質問に、同じソースで困っているという質問とその回答を発見しました。

Webスクレイピングコードが動作しません。

リンク先で述べられていますが、WEBサイトの構造が変化したことにより、参考書に記載されているコードと合致しなくなったものと思われます。

投稿2020/01/02 02:23

frederick_1974

総合スコア303

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

print(url) を実行してみると "html" が含まれている行がないのがわかりますよ。
htmlが含まれてる行がないので、何も表示されないのは正常です。
別のサイトでスクレイピングしてみてはいかがですか?

あるいは、"html" を "http" に変更して試してみてください。

投稿2020/01/02 01:24

編集2020/01/02 01:30
shiracamus

総合スコア5406

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問