質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

CSS

CSSはXMLやHTMLで表現した色・レイアウト・フォントなどの要素を指示する仕様の1つです。

Q&A

3回答

2006閲覧

BeautifulSoup4でGoogleの検索件数を取得

退会済みユーザー

退会済みユーザー

総合スコア0

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

CSS

CSSはXMLやHTMLで表現した色・レイアウト・フォントなどの要素を指示する仕様の1つです。

0グッド

0クリップ

投稿2020/05/15 07:25

編集2022/03/04 17:39

前提・実現したいこと

BeautifulSoup4でGoogleの検索件数を取得したい

発生している問題・エラーメッセージ

[Input] 1 teratail [Output] None Traceback (most recent call last): File "search.py", line 34, in <module> search_keyword(keyword_list) File "search.py", line 25, in search_keyword stats_text = result_stats.text AttributeError: 'NoneType' object has no attribute 'text'

このようにresult_statsが取得できません。

該当のソースコード

Python

1import requests as web 2from bs4 import BeautifulSoup 3 4def create_keyword_list(): 5 N = int(input()) 6 keyword_list = [] 7 for i in range(N): 8 keyword_list.append(input()) 9 return keyword_list 10 11def search_keyword(keyword_list): 12 keyword_dict = {} 13 for keyword in keyword_list: 14 res = web.get("https://www.google.com/search?q={}".format(keyword)) 15 soup = BeautifulSoup(res.text, "html.parser") 16 17 result_stats = soup.find("#result-stats div") 18 print(result_stats) 19 stats_text = result_stats.text 20 stats_text = stats_text.replace("約 ", "").replace(" 件", "").replace(",", "") 21 keyword_dict[keyword] = int(stats_text) 22 23 for k, v in keyword_dict: 24 print(str(k) + "|", str(v)) 25 26if __name__ == '__main__': 27 keyword_list = create_keyword_list() 28 search_keyword(keyword_list)

以下の部分を取得したい。

html

1<div id="result-stats">約 548,000 件<nobr> (0.30 秒)&nbsp;</nobr></div>

試したこと

・soup.find("div", id="result-stats")
など、別の探し方を何パターン化試した。
【追記】
・soup.find("div#result-stats")
・soup.find("#result-stats")

・soup.find('div')とすると、とりあえず値は返ってくる。

・soup.find(nobr)がNone

これらから<nobr>が引っかかっているような気がするのですが、解決策を教えてください。

【追記】
こちらのサイトにあるように、bs4はnobrタグを含む要素を飛ばすようなのですが、情報が少なくてよくわかりませんでした。
nobr以外のdiv要素を読み込むことはできますか?

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

CHERRY

2020/05/15 11:50 編集

Google は、HTML の仕様が頻繁に変わると思いますが、Web ブラウザではなく、プログラム ` res = web.get (〜)`の後に ` res.content ` で HTML を確認するとどの様な HTML が取得されていますか?
CHERRY

2020/05/15 12:57 編集

Google は、おそらくスクレイピング対策で出力する HTML を変えているのだと思います。 「具体的にこうすれば、同じ出力になる」という情報はほとんどなくて不明なので、試行錯誤するしか無いと思います。
退会済みユーザー

退会済みユーザー

2020/05/15 13:23

なるほど。ありがとうございます。 でも、調べた感じ厳しそうですね。
guest

回答3

0

soupまでは取得できていると思うので、
特定文字に囲われている部分を取得するようにすれば、望みの結果が得られるかと思います。

import re 

<div id="result-stats"> と <nobr>に囲われいる部分を取得

result=re.findall('<div id="result-stats">(.*?)<nobr>',str(soup))

投稿2022/03/04 08:39

ricky_

総合スコア4

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

python

1result_stats = soup.select_one("#result-stats")

でいかがですか?

投稿2020/05/15 08:01

x98000

総合スコア1096

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2020/05/15 10:54

すみません、同じエラーが出ました。
guest

0

Python

1result_stats = soup.find("#result-stats div")

ではなく、

Python

1result_stats = soup.select_one("div#result-stats")

としてみてはどうでしょうか?

投稿2020/05/15 07:55

autumn_nsn

総合スコア335

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2020/05/15 10:54

すみません、同じエラーが出ました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問