[Python] Beautiful soupでclass属性を指定した検索ができません

Question

Google検索で「soup」と検索したページのhtlmをrequests()で取得して、
その中の class=r の要素を抽出することを目的にして、
コマンドラインで下のようなコードを書きました。

>>> import requests, bs4
>>> res = requests.get('https://www.google.com/search?q=soup')
>>> res.raise_for_status()
>>> soup = bs4.BeautifulSoup(res.text)
>>> elm = soup.select(".r")
>>> len(elm)
0

しかしlen()で確認すると何もないという結果が帰ってきてしまいます。
soup.select()の引数に'.ｒ'の代わりに"[class='r']"と書いてみても駄目でした。
何が問題でしょうか？

↓ページのHTMLです。欲しいのはこういう属性値ｒを持った要素です。

Comments

[hayataka2049]

googleはスクレイピング等を禁止しています。
https://support.google.com/webmasters/answer/66357
試みないでください。この質問は取り下げてください（回答が付く前であればゴミ箱マークから削除依頼が可能です）。

[shiracamus]

print(soup) してみれば、目当てのHTML行がないことがわかります。

[toera]

>shiracamusさん
プリントしてみたところ、確かに当てはまるHTML行がありませんでした。
ブラウザの「要素を調査」から開発者ツールで見た場合にはclass ='r'とあるのはなぜなんでしょうね…
とにかく原因がわかりました、ありがとうございます。

>hayataka2049さん
規約を読んだところ
＞自動化されたクエリを Google から明示的な許可を事前に得ずに Google のシステムに送信することは禁止されています。
とのことですが、この質問では自動でなく手動です。問題はあるのでしょうか？

[JUN_SAN]

サーバー直下のrobots.txtを見れば、そのページをスクレイピング及びクローリングしてよいかはわかるはずです。「明示的な許可」とはこのことではないでしょうか。

Answer 1

requests関数を使う場合、Webサイトによっては、headers引数を指定する必要があるかもしれません。

import requests
from bs4 import BeautifulSoup

def testGoogle():

    strHeaders = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"}
    res = requests.get('https://www.google.com/search?q=soup', headers=strHeaders)
    res.raise_for_status()
    soup = BeautifulSoup(res.text, 'html.parser')
    elm = soup.select(".r")
    print(len(elm))

if __name__ == '__main__':
    testGoogle()

Answer 2

下記でいかがでしょうか？

elem = soup.find_all(class_='r')