Python/SeleniumによるWEBスクレイピングでキーワードを繰り返し検索してそれぞれのヒット数を取得したい

Question

前提

現在、以下のWEBスクレイピングの動画を見ていまして、自分でもWEB上の情報をCSVファイルに出力するというのを練習しています。

https://www.youtube.com/watch?v=VRFfAeW30qE&t=3587s

具体的には「Google検索からキーワードを検索し、ヒット数を取得、検索キーワードをクリアして、次のキーワードを検索し、ヒット数を取得、というのを繰り返し、最終的に漫画作品名と検索のヒット数をCSVで出力する」というのを題材としています。

繰り返し処理なので、for文でできると思い、色々試してみたものの、自分でもはっきりと違うとわかるコードしか書けなかったので、こちらで質問させていただきました。
for文に関する初歩的な質問で大変申し訳ないのですが、わかる方がいらっしゃったらご教示いただきたいです。

該当のソースコード

from selenium import webdriver
from time import sleep
from selenium.webdriver.common.by import By

#検索したいキーワード
keywords = ['ONE PIECE', 'NARUTO', 'ドラゴンボール', 'BLEACH', '銀魂', '呪術廻戦', 'HUNTER×HUNTER']

#Googleにアクセス
browser = webdriver.Chrome()
url = 'https://www.google.com/'
browser.get(url)
sleep(3)

## ここから繰り返し ##
#「検索キーワード」を入力
elem_keyword = browser.find_element(By.NAME,'q')
elem_keyword.send_keys(keywords[0])
sleep(2)

#検索をクリック
elem_searchbtn = browser.find_element(By.NAME,'btnK')
elem_searchbtn.click()
sleep(1)

#ヒット数を取得
elem_hit = browser.find_element(By.ID,'result-stats')
hit = elem_hit.text
sleep(1)

#検索キーワードをクリア
browser.find_element(By.NAME,'q').clear()
sleep(1)

## ここまで繰り返し ##


#表を作成
import pandas as pd
df = pd.DataFrame()
df['作品名'] = [keywords[0]]
df['ヒット数'] = [hit]
df

#CSVで出力
df.to_csv('漫画ヒット数調査結果.csv')

発生している問題

「繰り返し」の部分のfor文をどのように書けば良いのかわかっていない状況です。
やりたいことは検索キーワードをまとめて指定した上で、

1.検索キーワードを入力
2.検索をクリック
3.ヒット数を取得
4.キーワードをクリア
5.検索キーワードを入力
6.（以下すべてのキーワードが終わるまで繰り返し）

上記のように繰り返し、漫画のタイトルとそのヒット数を表にして、CSVで出力するというコードを書きたいと考えております。

補足情報（FW/ツールのバージョンなど）

Windows 11 Home
Python 3.12.0
Google Chrome バージョン: 118.0.5993.89（Official Build） （64 ビット）

Answer 1

検索履歴が cookie に記録されるため、検索ワードと前回の検索ワードが関連付けられてしまってヒット数が表示されない場合があります。(手元の環境では3~4回に1回程度) そのため、キーワードごとにブラウザ(Google Chrome)を起動・終了させています。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd

#検索したいキーワード
keywords = ['ONE PIECE', 'NARUTO', 'ドラゴンボール', 'BLEACH', '銀魂', '呪術廻戦', 'HUNTER×HUNTER']

#表を作成(予め列名を指定しておく)
df = pd.DataFrame(columns=['作品名', 'ヒット数'])

#Google search engine
url = 'https://www.google.com/'
#検索語入力欄
search_word = (By.NAME,'q')
#検索実行ボタン
search_button = (By.NAME,'btnK')
#ヒット数
result_id = (By.ID,'result-stats')

## ここから繰り返し ##
for key in keywords:
    #Googleにアクセス
    browser = webdriver.Chrome()
    browser.get(url)

    #「検索キーワード」を入力
    WebDriverWait(browser, 5).until(EC.visibility_of_element_located(search_word))
    elem_keyword = browser.find_element(*search_word)
    elem_keyword.send_keys(key)

    #検索をクリック
    WebDriverWait(browser, 5).until(EC.visibility_of_element_located(search_button))
    elem_searchbtn = browser.find_element(*search_button)
    elem_searchbtn.click()

    #ヒット数を取得
    WebDriverWait(browser, 5).until(EC.visibility_of_element_located(result_id))
    elem_hit = browser.find_element(*result_id)
    hit = elem_hit.text

    #作品名とヒット数をデータフレームに追加
    df.loc[len(df)] = [key, hit]

    # close browser
    browser.close()

## ここまで繰り返し ##

#CSVで出力
df.to_csv('漫画ヒット数調査結果.csv')

Comments

[abcdtaichi]

的確なご回答をいただきましてありがとうございました。
ご共有いただいたコードでもできましたし、検索キーワードをクリアしてキーワードを入力して再検索というカタチでもできました！

ご共有いただいたコードの中で、データフレームに追加する方法を知らなかったので、非常に勉強になりました。（また表をあらかじめ作成する点やimportされているものも調べてみたいと思います）
この機会に、さらにSeleniumやPandasの勉強をしたいと思います。

今回はご回答いただきましてありがとうございました。