python google検索スクレイピングが途中で止まる

Question

前提

python+excel＆xlwingでgoogle検索のスクレイピングを作っています、エクセル側A2セルに行数の値とA列に1行置きに検索キーワードが入っておりある程度のところまでできました。実際に動かすとforの9回目で止まってしまいます。

実現したいこと

ここに実現したいことを箇条書きで書いてください。

• ▲▲機能を動作するようにする

発生している問題・エラーメッセージ

エラーメッセージ
 File "I:\python\gjk03.py", line 35, in WindowMain
    ans=(site_list[i])

IndexError: list index out of range
### 該当のソースコードのいち部分です
kw_list = [sht.cells(i*2+1, 1).value for i in range(count)] 
    print('作業行数:', count)
    
    for i in range(len(kw_list)):
    #i=0
    #while(i < count):    
       
        print(i)
        print(kw_list[i])
        surl = "https://www.google.co.jp/search?q=" + kw_list[i]
        request = requests.get(surl)
        #time.sleep(1)
        soup = BeautifulSoup(request.text, "html.parser")
        #soup=soup.findAll("a")
        site_list=soup.select('div.kCrYT > a')
        ans=(site_list[i])
        ans=str(ans)
　　以下略～

Comments

[退会済みユーザー]

質問者です、原因と回避方法が知りたいです。どなたか教えてください。
コードわかりにくかったりコピペ用に、全文アップします、お知らせ下さい。

Answer 1

そもそも論として、Googleの検索結果をスクレイピングすべきではありません。

Google の利用規約では、自動化されたクエリはその種類にかかわらず、Google からの明示的な許可を事前に得ることなく Google のシステムに送信することが禁止されています。（Google検索セントラルより）

ルール違反のアクセスに対してGoogle側が機械的にブロックを行ったり、Googleアカウントに対して何かしらの制裁が加えられたりしたとしても文句は言えません。

Answer 2

質問しようか迷っていた問題でした。それほど必要性もないのでしばらく待って質問を閉じようと思います。ただ、原因は知りたいです。