Q&A
ウェブスクレイパーで特定の話題をピックアップしたい
書籍「独学プログラマー」で勉強中です。
Yahoo!のホーム画面に載っているピックアップニュースをhttps://news.yahoo.co.jp/から取得することはできました。
しかし、たとえばYahoo!に取り上げられているピックアップニュースの中でも「トランプ氏」に限ったニュースだけを取得したい場合はどうすればよいのでしょうか？もしよろしければ一例を示していただければ幸いです。
エラーはないが。。。
エラーはないですが、興味のないピックアップニュースも抽出されてしまう。そういうコードを書いているのでそれは当然なのですが、上記の目的を達するために下記コードをどう書き換えればいいのか分からないです。
該当のソースコード
Python3
1import urllib.request 2from urllib.parse import urljoin 3from bs4 import BeautifulSoup as BS 4 5class Scraper: 6 def __init__(self, site): 7 self.site = site 8 9 def scrape(self): 10 r = urllib.request.urlopen(self.site) 11 html = r.read() 12 parser = 'html.parser' 13 sp = BS(html, parser) 14 for tag in sp.find_all('a'): 15 url = tag.get('href') 16 if url is None: 17 continue 18 if 'pickup' in url: 19 print('\n' + urljoin(self.site, url)) 20 21news = 'https://news.yahoo.co.jp/' 22Scraper(news).scrape()
試したこと
'pickup'を'トランプ氏'に変えて
news = 'https://news.yahoo.co.jp/'に追加の何かコードを足せばいいのかなとは思うのですがわかりません。
補足情報（FW/ツールのバージョンなど）
ここにより詳細な情報を記載してください。
回答2件
0
とても難しいですね。方針はいろいろ考えられます。
- タイトルに「トランプ氏」が入っている記事を拾う
トランプ氏関連のニュースでも、タイトルにトランプ氏が入っている保証はありません。「『米大統領』と『トランプ』のどちらかが含まれる」みたいに条件を複雑にすることも考えられますが、余計なものまで拾うかもしれません（たとえばオバマ前大統領関連のニュースとか）。
- 本文も見て判定する
タイトルだけで判定するよりはマシかもしれませんが、単純なキーワードで引っ掛ける限り、本質的にはタイトルだけ見た場合と同じ問題があります。
- ニュースサイトのタグとかを見る
ニュースサイトによってはニュースにタグやカテゴリを付与しているので、そういう情報が使えるかもしれません。yahooニュースでできるかどうかはわかりません。
- 文書分類する
自然言語処理とかの技術を使えばトランプ氏に関連するニュースをかなりの高精度で判別できると思います。ただ、単純なスクレイピングだけではできません。
ということで、どのくらい頑張るのか、どのくらいで妥協するのかにもよりますが、基本的にこういうことは「なかなか一筋縄ではいかない」ことは知っておいていただけるといいのかなぁ、と思いました。
投稿2020/02/16 13:43
総合スコア30933
0
案０：
Aタグのリンクテキストに、キーワードが含まれているものをピックアップする。
（トランプくらいであればこれでもいいかもしれません）
案１：
それぞれリンク先のページを取得して、そのページの本文にキーワードが含まれているかどうか判断する。
案２：
検索欄があるので、そこにキーワードを入力して、表示されたページを全件取得する。
投稿2020/02/16 13:41
編集2020/02/16 13:58
総合スコア84800
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2020/02/16 13:45 編集
2020/02/17 12:18