selenium Forbidden エラー

Question

python の selenium を使って web情報を取得していたのですが何回か取得すると Forbidden エラーになってしまします。

そこで色々調べてua(ユーザーエージェント)を変えればいいのかなと思い変えて実行しても　Forbidden エラー　が発生します。

回避するにはどうしたらよいのでしょうか

どうぞ宜しくお願い致します。

import os
from selenium import webdriver

options = webdriver.ChromeOptions()

#ここにUAを書きます。今回はiPhoneでsafari
options.add_argument('--user-agent=Mozilla/5.0 (iPhone; CPU iPhone OS 10_2 like Mac OS X) AppleWebKit/602.3.12 (KHTML, like Gecko) Version/10.0 Mobile/14C92 Safari/602.1')

# いつもどおりchromedriverの場所を指定します
chromedriver = "/hogehoge/hoge/"

#chromeoptionとして先程設定したoptionsを設定します
driver = webdriver.Chrome(chrome_options=options,executable_path=chromedriver)

#以下はテストで行いたい処理を書きます。今回は開くだけ
driver.get('https://www.google.co.jp/')

Comments

[Y.H.]

Forbidden エラーになるURLは質問記載の通り、「https://www.google.co.jp/」ですか？
それとも別のWebサイトですか？

[meg_]

googleはスクレイピング禁止かと思いますが、そのせいではないですか？