与えたキーワードを掛け合わせて自動でGoogle検索を行うシステムを作りたいです。

前提・実現したいこと

与えたキーワードを掛け合わせて自動でGoogle検索を行えるシステムを作りたいのですが、エラーが出てしまいエラーの対処法がわからないので分かる方がいらっしゃいましたら教えてください。
よろしくお願い致します。

該当のソースコード

python
1
2import requests as web
3from bs4 import BeautifulSoup
4
5# キーワードを標準入力から受け付ける
6def create_keyword_list():
7    N = int(input())
8    keyword_list = []
9    for i in range(N):
10        keyword_list.append(input())
11    print ("検索中です・・・\n")
12    return keyword_list
13
14
15# キーワードをミックスさせる
16def mix_keywords(keyword_list):
17    mixed_list = []
18    for i in range(0, len(keyword_list)):
19        for j in range(i + 1, len(keyword_list)):
20            mixed_list.append(keyword_list[i] + '+' + keyword_list[j])
21    return mixed_list
22
23# ミックスした言葉でweb検索して結果件数を取得する
24def search_keywords(mixed_list):
25    mixed_dict = {}
26    for w in mixed_list:
27        url = "https://www.google.co.jp/search?q=" + w
28        resp = web.get(url)
29        resp.raise_for_status()
30
31        soup = BeautifulSoup(resp.text, "html.parser")
32        result_stats = soup.find("div", attrs={"id" : "resultStats"})
33        stats_text = result_stats.text
34        stats_text = stats_text.replace("約 ", "").replace(" 件", "").replace(",", "")
35        mixed_dict[w] = int(stats_text)
36
37    print ("検索ワード | 結果件数")
38    for k, v in sorted(mixed_dict.items(), key=lambda x: x[1]): 
39        print (str(k) + " | " + str(v))
40
41if __name__ == '__main__':
42    keyword_list = create_keyword_list()
43    mixed_list = mix_keywords(keyword_list)
44    search_keywords(mixed_list)
45
46

エラー文

File "keyword_mixer.py", line 43, in <module>
search_keywords(mixed_list)
File "keyword_mixer.py", line 32, in search_keywords
stats_text = result_stats.text
AttributeError: 'NoneType' object has no attribute 'text'

meg_

2020/12/11 13:49

googleはスクレイピング禁止だと思いますが利用規約は読まれましたか？

oshoring

2020/12/11 13:55

コメントありがとうございます。申し訳ありません。 googleの利用規約でしょうか？利用規約は読んでいません。 googleはスクレイピング禁止というのはどういうことでしょうか？

A_kirisaki

2020/12/11 14:08

2020 年 12 月現在、利用規約（https://policies.google.com/terms?hl=ja&gl=jp）に明確に書かれているわけではありませんが、プログラムによるデータの自動収集は robots.txt に書いてある許可リストを守ることか慣習となっています。Google の robots.txt（https://www.google.com/robots.txt ）を眺めて何が OK で何が NG なのか調べるのもよいでしょう（そのへんライブラリがよしなにしてくれるかも）

oshoring

2020/12/12 13:37

コメントありがとうございます。参考になりました！