スクレイピングについて

Question

pythonでスクレイピングを行こなおうと思い、様々なサイトで紹介されているYahooのニュース一覧を取得しようとしていますが、現時点のYahooのニューストピックスの情報をどのように抜き出してよいかわからない状態です。

書籍や（書籍発行時点）や数年前スクレイピングのやりかたを記載しているWebサイトでは、Class=’Topics’の様な分かりやすい表示がされていましたが、現時点のHTMLは、どのClassやIdを指定すれば良いのかわからない状態です。
（それとも、スクレイピングさせないために、複雑にしているのでしょうか？）

下記コードから、どのように、Topのニュース記事だけを抜き出せばよいのかご教授ください。

import requests
from bs4 import BeautifulSoup

y_url = "https://www.yahoo.co.jp/"
re = requests.get(y_url)
res.encoding = res.apparent_encoding
# print(re.text)

soup = BeautifulSoup(re.text, 'html.parser')

soup

Answer 1

yahooのは初めてなのでスクレイピング対策されていた場合、以下のコードは使えなくなる可能性もありますが一応さくっと作ったのでご参考までにどうぞ。
イメージが湧くと思います。

import requests
from bs4 import BeautifulSoup


url = 'https://www.yahoo.co.jp/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
section = soup.find('section', { 'id': 'tabpanelTopics1' })
div = section.find('div')
li_list = div.select('ul > li')
# print(li_list)

for li in li_list:
    # 記事のリンクを取得
    a = li.find('a')
    if a is None:
        continue
    print(a.get('href'))

    # 記事のタイトルを取得
    span = a.select_one('h1 > span')
    if span is None:
        continue
    print(span.text)

見た感じ、ある程度はスクレイピング対策がされていると思います。
classやidの名前がプログラム上で生成されているっぽく見えます（ランダムっぽい文字列になっているので）

ただ、ニュースに関してはIDが指定されているっぽいので、あとは適当に辿っていけば目的は達成できるかと思います。

あとはclass化するなりdefで関数にするなりお好きにどうぞ。

あと、一応言っておきますと、スクレイピングは適度な頻度で行ってくださいね。
robots.txt、利用規約を見て禁止されていないかチェックした上でやってください。
負荷をかけすぎるとタイーホされちゃうので。

Comments

[退会済みユーザー]

section = soup.find('section', { 'id': 'tabpanelTopics1' })を
section= soup.find(id='tabpanelTopics1')と記載しても、変わりないと思うのですが、なぜ、
soup.find('section', { 'id': 'tabpanelTopics1' })と記載しているのでしょうか？
違いを教えていただけると助かります。
よろしくお願いいたします。

[deo_deo]

なぜと言われると理由は2つあって、
1. sectionを指定しない場合、IDが重複していた場合に想定してない要素を取得してしまうから
2. あとからコードを見た時にわかりやすい（どの要素の何のIDを取得しようとしているのかがひと目でわかる）

1についてはID属性は1ページ内に1つだけと決まりがありますが、HTMLはエラーを表示してはくれません。（つまり重複する可能性もあります、ネーミングに関しては重複する可能性は十分にあります。サイトが大きければ大きいほど）

あと、指定の違いに関して言えばメソッドの中身を見てみるとわかります。
以下がBeautifulSoupのソースコードのfindメソッドの該当箇所です。
https://github.com/wention/BeautifulSoup4/blob/master/bs4/element.py#L1154

見てみると、findは必須の引数が存在しません。
全てデフォルト引数になっていますよね。
何も指定しなければfindメソッドはNoneを返します。

第一引数がnameになっていますよね。
これはHTML要素のタグ名とでも思ってください。
section要素のid属性='tabpanelTopics1'をfind（つまり探す）するということです。
pythonはちょっと特殊で引数の順番はなんとでも出来ちゃいます。
php等の言語では引数の順番を意識する必要がありますが、pythonはあまり気にしなくてもメソッドを呼び出す際になんとでも出来ます。
例でいうと
soup.find('section', { 'id': 'tabpanelTopics1' })
soup.find('section', attrs={ 'id': 'tabpanelTopics1' })
soup.find(attrs={ 'id': 'tabpanelTopics1' }, name='section')
これらは全て同じ結果になります。

ただし、以下はダメ。エラーになります。
soup.find(attrs={ 'id': 'tabpanelTopics1' }, 'section')

この辺りについては、クラス定義とかキーワード引数、可変長引数等を勉強されるといいと思います。

他に質問があればお気軽にお聞きください。