googleの検索上位100件をスクレイピングしたい

Question

前提

python初心者です。https://inasala.com/scraping-google-search/のサイトを参考にgoogleの検索上位100件をスクレイピングしようとしています。

###　質問
・https://inasala.com/scraping-google-search/のfor文の中に書いてある　　　　site.select('h3.zBAuLc')[0].textの[0]は何を表しているのか

・自分の書いたコードのエラー原因は何なのか

エラー内容

12個くらいまでは表示されますが、それ以降はエラーがでて表示されません

IndexError: list index out of range

自分の書いたコード

import requests as rq
from bs4 import BeautifulSoup

ser_wor = "プログラミング初心者"
print(f"検索ワード :{ser_wor}")
count = 100

url = f"https://www.google.co.jp/search?hl=ja&num={count}&q={ser_wor}"
html = rq.get(url)
html.raise_for_status()
soup = BeautifulSoup(html.content, "html.parser")
search_page = soup.select("div.kCrYT > a")

for i in range(len(search_page)):
    print(search_page[i].select("h3")[0].text)

Comments

[meg_]

Googleはスクレイピング禁止だったかと思います。利用規約等は確認されましたでしょうか？

Answer 1

site.select('h3.zBAuLc')[0].textの[0]は何を表しているのか

site.select('h3.zBAuLc') の結果はリストで返ってきます。なので、[0] は、そのリストの最初の要素を指しています(0 はインデックス)。

自分の書いたコードのエラー原因は何なのか

for ループを以下の様に書き変えてみると判るかと思いますが、途中に空(から)リスト([])があります。つまり、h3 タグの要素がない場合があるためです。

for i in range(len(search_page)):
    p = search_page[i].select("h3")
    print(p)
    if p:
        print(p[0].text)