BeautifulSoup4でGoogleの検索件数を取得

Question

前提・実現したいこと

BeautifulSoup4でGoogleの検索件数を取得したい

発生している問題・エラーメッセージ

[Input]
1
teratail

[Output]
None
Traceback (most recent call last):
  File "search.py", line 34, in <module>
    search_keyword(keyword_list)
  File "search.py", line 25, in search_keyword
    stats_text = result_stats.text
AttributeError: 'NoneType' object has no attribute 'text'

このようにresult_statsが取得できません。

該当のソースコード

import requests as web
from bs4 import BeautifulSoup

def create_keyword_list():
    N = int(input())
    keyword_list = []
    for i in range(N):
        keyword_list.append(input())
    return keyword_list

def search_keyword(keyword_list):
    keyword_dict = {}
    for keyword in keyword_list:
        res = web.get("https://www.google.com/search?q={}".format(keyword))
        soup = BeautifulSoup(res.text, "html.parser")

        result_stats = soup.find("#result-stats div")
        print(result_stats)
        stats_text = result_stats.text
        stats_text = stats_text.replace("約 ", "").replace(" 件", "").replace(",", "")
        keyword_dict[keyword] = int(stats_text)
        
    for k, v in keyword_dict:
        print(str(k) + "｜", str(v))

if __name__ == '__main__':
    keyword_list = create_keyword_list()
    search_keyword(keyword_list)

以下の部分を取得したい。

<div id="result-stats">約 548,000 件<nobr> （0.30 秒）&nbsp;</nobr></div>

試したこと

・soup.find("div", id="result-stats")
など、別の探し方を何パターン化試した。
【追記】
・soup.find("div#result-stats")
・soup.find("#result-stats")

・soup.find('div')とすると、とりあえず値は返ってくる。

・soup.find(nobr)がNone

これらから<nobr>が引っかかっているような気がするのですが、解決策を教えてください。

【追記】
こちらのサイトにあるように、bs4はnobrタグを含む要素を飛ばすようなのですが、情報が少なくてよくわかりませんでした。
nobr以外のdiv要素を読み込むことはできますか？

Comments

[CHERRY]

Google は、HTML の仕様が頻繁に変わると思いますが、Web ブラウザではなく、プログラム ` res = web.get (〜)`の後に ` res.content ` で HTML を確認するとどの様な HTML が取得されていますか？

[退会済みユーザー]

ご指摘の通り確認したところ、result-statsがありませんでした。https://www.google.com/search?q=keyword、と検索したのですが、ソースコードが若干違うように見えました。
（hタグが全てdivになっているなど）
これを解消する方法はありますか？

[CHERRY]

Google は、おそらくスクレイピング対策で出力する HTML を変えているのだと思います。

「具体的にこうすれば、同じ出力になる」という情報はほとんどなくて不明なので、試行錯誤するしか無いと思います。

[退会済みユーザー]

なるほど。ありがとうございます。
でも、調べた感じ厳しそうですね。

Answer 1

soupまでは取得できていると思うので、
特定文字に囲われている部分を取得するようにすれば、望みの結果が得られるかと思います。

import re　

<div id="result-stats">　と　<nobr>に囲われいる部分を取得

result=re.findall('<div id="result-stats">(.*?)<nobr>',str(soup))

Answer 2

result_stats = soup.select_one("#result-stats")

でいかがですか？

Comments

[退会済みユーザー]

すみません、同じエラーが出ました。

Answer 3

result_stats = soup.find("#result-stats div")

ではなく、

result_stats = soup.select_one("div#result-stats")

としてみてはどうでしょうか？

Comments

[退会済みユーザー]

すみません、同じエラーが出ました。