スクレイピングが思った通りに動いてくれない

Question

スクレイピングの練習でヤフーのニュース見出しを抽出しようとしていますが、問題が発生してます。
検証画面のスクショを貼っておきますので参考にしてください。
イメージとしては、「ポスト安倍〜、新在留資格〜、中国〜」と抽出できるつもりでコードを書きました。

import pandas as pd
import requests
from bs4 import BeautifulSoup
from google.colab import files

url = "https://www.yahoo.co.jp"
#URLの読み込み
response = requests.get(url).text
#URLを初期化して見やすくしてます
soup = BeautifulSoup(response, "html.parser")
print(soup.prettify())
#特定の見出しを吸い上げようとしてます
tags = soup.find_all("ul", {"class": "emphasis"})
print(tags)

printの出力が[]となり、テキストが表示されません。
参考にしているサイトでタグ名、クラス名を変更して行った際は、起動しました。
クラス名かタグに問題があると思うのですが、解決に至ってません。

Answer 1

requestsでアクセスした場合とブラウザでアクセスした場合とでは見ているページが異なります。

User-Agentによりページを切り替えているため

1. requests用にセレクタを指定する
2. User-Agentを変更しブラウザと同じセレクタを指定する

どちらか選択してください。

1の場合
r = requests.get(url)

2の場合
r = requests.get(url, headers=headers)

それぞれtest.htmlでセレクタを確認の上作成してください。

import requests
from bs4 import BeautifulSoup

url = 'https://www.yahoo.co.jp/'

headers = {
    'User-Agent':
    'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'
}

r = requests.get(url)
# r = requests.get(url, headers=headers)

if r.status_code == requests.codes.ok:

    soup = BeautifulSoup(r.content, 'html.parser')

    # prettifyで整形されたファイルで保存
    with open('test.html', mode = 'w', encoding = 'utf-8') as fw:
        fw.write(soup.prettify())

Comments

[AkiEmon]

回答ありがとうございました！
正常に動作しました！